计算机科学
計算機科學
계산궤과학
COMPUTER SCIENCE
2015年
z1期
332-336,340
,共6页
云存储%数据容错%Hadoop%副本冗余%纠删码%ARC
雲存儲%數據容錯%Hadoop%副本冗餘%糾刪碼%ARC
운존저%수거용착%Hadoop%부본용여%규산마%ARC
Cloud storage%Data fault tolerance%Hadoop%Replica%Erasure code%ARC
Hadoop默认采用副本冗余方式实现数据容错,但这种容错方式存在着空间占用过大、存储效率低等问题.为此,在分析了ARC缓存淘汰算法的基础上,提出了一种面向云存储数据容错的ARC缓存淘汰机制ARCMFF.在文件的访问过程中,ARCMFF通过维护一个LRU队列和一个LFU队列统计出访问频率高的文件并将其加入缓存系统中,以提高访问性能;在ARCMFF中,大部分文件采用的是纠删码方式容错存储,只有缓存中的文件才用副本冗余方式存储.纠删码的编码效率很高,因此系统能够节省大量的存储空间.实验结果表明,在分布式文件系统中,ARCMFF能够节省文件存储空间,大大地提高Hadoop的存储效率,且能够在一定程度上提高文件的写入性能.
Hadoop默認採用副本冗餘方式實現數據容錯,但這種容錯方式存在著空間佔用過大、存儲效率低等問題.為此,在分析瞭ARC緩存淘汰算法的基礎上,提齣瞭一種麵嚮雲存儲數據容錯的ARC緩存淘汰機製ARCMFF.在文件的訪問過程中,ARCMFF通過維護一箇LRU隊列和一箇LFU隊列統計齣訪問頻率高的文件併將其加入緩存繫統中,以提高訪問性能;在ARCMFF中,大部分文件採用的是糾刪碼方式容錯存儲,隻有緩存中的文件纔用副本冗餘方式存儲.糾刪碼的編碼效率很高,因此繫統能夠節省大量的存儲空間.實驗結果錶明,在分佈式文件繫統中,ARCMFF能夠節省文件存儲空間,大大地提高Hadoop的存儲效率,且能夠在一定程度上提高文件的寫入性能.
Hadoop묵인채용부본용여방식실현수거용착,단저충용착방식존재착공간점용과대、존저효솔저등문제.위차,재분석료ARC완존도태산법적기출상,제출료일충면향운존저수거용착적ARC완존도태궤제ARCMFF.재문건적방문과정중,ARCMFF통과유호일개LRU대렬화일개LFU대렬통계출방문빈솔고적문건병장기가입완존계통중,이제고방문성능;재ARCMFF중,대부분문건채용적시규산마방식용착존저,지유완존중적문건재용부본용여방식존저.규산마적편마효솔흔고,인차계통능구절성대량적존저공간.실험결과표명,재분포식문건계통중,ARCMFF능구절성문건존저공간,대대지제고Hadoop적존저효솔,차능구재일정정도상제고문건적사입성능.
