计算机应用与软件
計算機應用與軟件
계산궤응용여연건
COMPUTER APPLICATIONS AND SOFTWARE
2012年
11期
95-100
,共6页
HDFS%小文件%HIFM%分层索引%索引预加载%数据预取
HDFS%小文件%HIFM%分層索引%索引預加載%數據預取
HDFS%소문건%HIFM%분층색인%색인예가재%수거예취
HDFS(HadoopDistributedFileSystem)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用.然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想.提出一种基于小文件合并的方法HIFM(HierarchyIndexFileMerging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引.采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载.此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率.实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合.
HDFS(HadoopDistributedFileSystem)憑藉其高容錯、可伸縮和廉價存儲的優點,在噹前麵嚮雲計算的應用場景中得到瞭廣汎應用.然而,HDFS設計的初衷是存儲超大文件,對于海量小文件,由于NameNode內存開銷等問題,其存儲和讀取性能併不理想.提齣一種基于小文件閤併的方法HIFM(HierarchyIndexFileMerging),綜閤攷慮小文件之間的相關性和數據的目錄結構,來輔助將小文件閤併成大文件,併生成分層索引.採用集中存儲和分佈式存儲相結閤的方式管理索引文件,併實現索引文件預加載.此外,HIFM採用數據預取的機製,提高順序訪問小文件的效率.實驗結果錶明,HIFM方法能夠有效提高小文件存儲和讀取效率,顯著降低NameNode和DataNode的內存開銷,適閤應用在有一定目錄結構的海量小文件存儲的應用場閤.
HDFS(HadoopDistributedFileSystem)빙차기고용착、가신축화렴개존저적우점,재당전면향운계산적응용장경중득도료엄범응용.연이,HDFS설계적초충시존저초대문건,대우해량소문건,유우NameNode내존개소등문제,기존저화독취성능병불이상.제출일충기우소문건합병적방법HIFM(HierarchyIndexFileMerging),종합고필소문건지간적상관성화수거적목록결구,래보조장소문건합병성대문건,병생성분층색인.채용집중존저화분포식존저상결합적방식관리색인문건,병실현색인문건예가재.차외,HIFM채용수거예취적궤제,제고순서방문소문건적효솔.실험결과표명,HIFM방법능구유효제고소문건존저화독취효솔,현저강저NameNode화DataNode적내존개소,괄합응용재유일정목록결구적해량소문건존저적응용장합.
