计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2014年
20期
119-123
,共5页
媒资管理系统%Map-Reduce%数据收集%hadoop单线程模式%hadoop伪分布模式%hadoop全分布模式
媒資管理繫統%Map-Reduce%數據收集%hadoop單線程模式%hadoop偽分佈模式%hadoop全分佈模式
매자관리계통%Map-Reduce%수거수집%hadoop단선정모식%hadoop위분포모식%hadoop전분포모식
media resource management system%Map-Reduce%data collecting%standalone mode of hadoop%pseudo-distributed mode of hadoop%fully-distributed mode of hadoop
在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。
在傳統媒體資源管理繫統中,數據收集工作通常是基于C/S或B/S架構設計的,這對服務器的要求比較高。為瞭提高服務器的性能,傳統的模式就是購買更高性能的服務器,然而,近幾年齣現的雲計算也是一箇很好解決辦法。採用Apache公司的Hadoop Map-Reduce框架來實現數據收集功能,併通過實驗,將數據收集工作在傳統的單線程模式(傳統實現模式)、Hadoop偽分佈模式和全分佈模式下所需時間進行比較,併對執行結果進行瞭分析。研究錶明:使用Map-Reduce的這種雲模式,確實可以縮短執行時間,以達到提高服務器耑性能的目的。
재전통매체자원관리계통중,수거수집공작통상시기우C/S혹B/S가구설계적,저대복무기적요구비교고。위료제고복무기적성능,전통적모식취시구매경고성능적복무기,연이,근궤년출현적운계산야시일개흔호해결판법。채용Apache공사적Hadoop Map-Reduce광가래실현수거수집공능,병통과실험,장수거수집공작재전통적단선정모식(전통실현모식)、Hadoop위분포모식화전분포모식하소수시간진행비교,병대집행결과진행료분석。연구표명:사용Map-Reduce적저충운모식,학실가이축단집행시간,이체도제고복무기단성능적목적。
In the traditional media resource management system, the task of data collecting is based on the C/S or B/S mode which needs the high performance on servers. In order to acquire the higher performance, the traditional method is to buy servers with higher configuration, the new way is to adopt the cloud computing which is emerged in recent years. In this paper, using the Hadoop Man-Reduce framework of Apache implements data collecting from different sources. In the experiments, It analyzes the experimental results and comparison of three modes which are standalone, pseudo-distributed of Hadoop, fully-distributed of Hadoop. According to the studies, the Map-Reduce can cut down the time and improve the performance of the servers.