华南理工大学学报（自然科学版）
華南理工大學學報（自然科學版）
화남리공대학학보（자연과학판）
JOURNAL OF SOUTH CHINA UNIVERSITY OF TECHNOLOGY(NATURAL SCIENCE EDITION)
2014年
5期
135-142
,共8页
分布式计算系统%元数据%MapReduce%Hadoop分布式文件系统%名称节点%数据节点%块
分佈式計算繫統%元數據%MapReduce%Hadoop分佈式文件繫統%名稱節點%數據節點%塊
분포식계산계통%원수거%MapReduce%Hadoop분포식문건계통%명칭절점%수거절점%괴
distributed computing system%metadata%MapReduce%Hadoop distributed file system%name node%data node%block
经典MapReduce编程模型的输出结果不是单一的Hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件“整合”为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的“块典型分布”和“块非典型分布”的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.
經典MapReduce編程模型的輸齣結果不是單一的Hadoop分佈式文件繫統(HDFS)文件,為此,文中提齣瞭單一輸齣文件的MapReduce編程模型:SingleMapReduce.該模型通過攔截Job Successful狀態,將輸齣目錄下的所有文件“整閤”為單一文件.文中給齣瞭HDFS的4箇重要特徵,提齣瞭HDFS的“塊典型分佈”和“塊非典型分佈”的概唸,設計瞭一種通過整閤元數據來達到整閤文件的算法.理論分析和實驗結果錶明:該模型的MapReduce計算的輸齣結果為單一文件;該模型可以再次以文件的形式對MapReduce計算的輸齣結果進行分片,併可用併行方式導入大錶或大文件到HDFS中;該模型間接支持瞭名稱節點的擴展性.
경전MapReduce편정모형적수출결과불시단일적Hadoop분포식문건계통(HDFS)문건,위차,문중제출료단일수출문건적MapReduce편정모형:SingleMapReduce.해모형통과란절Job Successful상태,장수출목록하적소유문건“정합”위단일문건.문중급출료HDFS적4개중요특정,제출료HDFS적“괴전형분포”화“괴비전형분포”적개념,설계료일충통과정합원수거래체도정합문건적산법.이론분석화실험결과표명:해모형적MapReduce계산적수출결과위단일문건;해모형가이재차이문건적형식대MapReduce계산적수출결과진행분편,병가용병행방식도입대표혹대문건도HDFS중;해모형간접지지료명칭절점적확전성.
