计算机系统应用
計算機繫統應用
계산궤계통응용
APPLICATIONS OF THE COMPUTER SYSTEMS
2014年
11期
208-213
,共6页
卞艺杰%马瑞敏%李亚冰%吴慧
卞藝傑%馬瑞敏%李亞冰%吳慧
변예걸%마서민%리아빙%오혜
HDFS%纠删码%副本备份容灾
HDFS%糾刪碼%副本備份容災
HDFS%규산마%부본비빈용재
HDFS%erasure code%multiple-backup
HDFS 文件系统通过多副本备份的方式解决数据损坏或丢失的问题,但是随着存储系统内容增多,在数据量级很大的时候,这种容灾方案消耗的额外存储空间是实际存储内容的数倍,不利于系统资源长期积累。文章提出使用纠删码编/解码文件代替 HDFS 的副本备份容灾策略,在保证数据安全性的前提下大大提高了存储空间利用率,降低存储额外消耗。
HDFS 文件繫統通過多副本備份的方式解決數據損壞或丟失的問題,但是隨著存儲繫統內容增多,在數據量級很大的時候,這種容災方案消耗的額外存儲空間是實際存儲內容的數倍,不利于繫統資源長期積纍。文章提齣使用糾刪碼編/解碼文件代替 HDFS 的副本備份容災策略,在保證數據安全性的前提下大大提高瞭存儲空間利用率,降低存儲額外消耗。
HDFS 문건계통통과다부본비빈적방식해결수거손배혹주실적문제,단시수착존저계통내용증다,재수거량급흔대적시후,저충용재방안소모적액외존저공간시실제존저내용적수배,불리우계통자원장기적루。문장제출사용규산마편/해마문건대체 HDFS 적부본비빈용재책략,재보증수거안전성적전제하대대제고료존저공간이용솔,강저존저액외소모。
Through the multiple-backup strategy HDFS can restore data easily when data is damaged or missed. However, the data stored in system increases all the time. When the data scale has become very big, the strategy will need several times of storage space to store the backup data. This article proposes to use erasure codes to replace the multiple-backup strategy, which can greatly improve the storage efficiency and reduce extra storage expend.