计算机应用
計算機應用
계산궤응용
COMPUTER APPLICATION
2014年
11期
3091-3095,3099
,共6页
李铁%燕彩蓉%黄永锋%宋亚龙
李鐵%燕綵蓉%黃永鋒%宋亞龍
리철%연채용%황영봉%송아룡
Hadoop分布式文件系统%小文件%文件关联%预取%缓存
Hadoop分佈式文件繫統%小文件%文件關聯%預取%緩存
Hadoop분포식문건계통%소문건%문건관련%예취%완존
Hadoop Distributed File System (HDFS)%small file%file relation%prefetching%caching
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS.SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率.实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度.
為提高Hadoop分佈式文件繫統(HDFS)的小文件處理效率,提齣瞭一種麵嚮HDFS的智能小文件存取優化方法——SmartFS.SmartFS通過分析小文件訪問日誌,穫取用戶訪問行為,建立文件關聯概率模型,併根據基于文件關聯關繫的閤併算法將小文件組裝成大文件之後存至HDFS;噹從HDFS穫取文件時,根據基于文件關聯關繫的預取算法來提高文件訪問效率,併提齣基于預取的緩存替換算法來管理緩存空間,從而提高文件的命中率.實驗結果錶明,SmartFS有效減少瞭HDFS中NameNode的元數據空間,減少瞭用戶與HDFS的交互次數,提高瞭小文件的存儲效率和訪問速度.
위제고Hadoop분포식문건계통(HDFS)적소문건처리효솔,제출료일충면향HDFS적지능소문건존취우화방법——SmartFS.SmartFS통과분석소문건방문일지,획취용호방문행위,건립문건관련개솔모형,병근거기우문건관련관계적합병산법장소문건조장성대문건지후존지HDFS;당종HDFS획취문건시,근거기우문건관련관계적예취산법래제고문건방문효솔,병제출기우예취적완존체환산법래관리완존공간,종이제고문건적명중솔.실험결과표명,SmartFS유효감소료HDFS중NameNode적원수거공간,감소료용호여HDFS적교호차수,제고료소문건적존저효솔화방문속도.
