计算机科学
計算機科學
계산궤과학
Computer Science
2015年
10期
76-80
,共5页
Hadoop%海量小文件%小文件合并%预取缓存
Hadoop%海量小文件%小文件閤併%預取緩存
Hadoop%해량소문건%소문건합병%예취완존
Hadoop%Massive small files%Merged small files%Prefetching and cache
Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低.提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率.实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率.
Hadoop作為成熟的分佈式雲平檯,能提供可靠高效的存儲服務,常用來解決大文件的存儲問題,但在處理海量小文件時效率顯著降低.提齣瞭基于Hadoop的海量教育資源中小文件的存儲優化方案,即利用教育資源小文件間的關聯關繫,將小文件閤併成大文件以減少文件數量,併用索引機製訪問小文件及元數據緩存和關聯小文件預取機製來提高文件的讀取效率.實驗證明,以上方法提高瞭Hadoop文件繫統對小文件的存取效率.
Hadoop작위성숙적분포식운평태,능제공가고고효적존저복무,상용래해결대문건적존저문제,단재처리해량소문건시효솔현저강저.제출료기우Hadoop적해량교육자원중소문건적존저우화방안,즉이용교육자원소문건간적관련관계,장소문건합병성대문건이감소문건수량,병용색인궤제방문소문건급원수거완존화관련소문건예취궤제래제고문건적독취효솔.실험증명,이상방법제고료Hadoop문건계통대소문건적존취효솔.
