计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2013年
z2期
37-44
,共8页
分布式存储系统%网络拓扑%纠删码%数据修复%最小生成树
分佈式存儲繫統%網絡拓撲%糾刪碼%數據脩複%最小生成樹
분포식존저계통%망락탁복%규산마%수거수복%최소생성수
distributed storage system%network topology%erasure codes%data reconstruction%minimum spanning tree
大规模分布式容错存储系统采用纠删码作为数据冗余技术能够比多副本技术以更低的额外存储空间开销获得相同的数据可靠性.然而,基于纠删码的数据冗余技术在修复一个失效编码块时需要从其他节点下载多个编码块,不仅占用了大量网络资源,也严重降低了修复速度.现有的修复方法都没有考虑网络拓扑的影响.为此,提出并实现了一种基于网络拓扑的纠删码树型修复方法NTar.NTar依据网络拓扑将参与修复的节点组织成网络距离最小的树型结构,缩短修复期间数据的传输距离,从而减少占用的网络资源并缩短修复时间.此外,提出了节点选择算法Optree.Optree可快速地从所有可用节点中选出最优的参与修复的节点组合,并同时生成最优的树型修复结构.实验结果表明,相比于传统的星型修复,NTar可将修复占用的网络资源降低30%~45%,修复时间减少50%~70%.
大規模分佈式容錯存儲繫統採用糾刪碼作為數據冗餘技術能夠比多副本技術以更低的額外存儲空間開銷穫得相同的數據可靠性.然而,基于糾刪碼的數據冗餘技術在脩複一箇失效編碼塊時需要從其他節點下載多箇編碼塊,不僅佔用瞭大量網絡資源,也嚴重降低瞭脩複速度.現有的脩複方法都沒有攷慮網絡拓撲的影響.為此,提齣併實現瞭一種基于網絡拓撲的糾刪碼樹型脩複方法NTar.NTar依據網絡拓撲將參與脩複的節點組織成網絡距離最小的樹型結構,縮短脩複期間數據的傳輸距離,從而減少佔用的網絡資源併縮短脩複時間.此外,提齣瞭節點選擇算法Optree.Optree可快速地從所有可用節點中選齣最優的參與脩複的節點組閤,併同時生成最優的樹型脩複結構.實驗結果錶明,相比于傳統的星型脩複,NTar可將脩複佔用的網絡資源降低30%~45%,脩複時間減少50%~70%.
대규모분포식용착존저계통채용규산마작위수거용여기술능구비다부본기술이경저적액외존저공간개소획득상동적수거가고성.연이,기우규산마적수거용여기술재수복일개실효편마괴시수요종기타절점하재다개편마괴,불부점용료대량망락자원,야엄중강저료수복속도.현유적수복방법도몰유고필망락탁복적영향.위차,제출병실현료일충기우망락탁복적규산마수형수복방법NTar.NTar의거망락탁복장삼여수복적절점조직성망락거리최소적수형결구,축단수복기간수거적전수거리,종이감소점용적망락자원병축단수복시간.차외,제출료절점선택산법Optree.Optree가쾌속지종소유가용절점중선출최우적삼여수복적절점조합,병동시생성최우적수형수복결구.실험결과표명,상비우전통적성형수복,NTar가장수복점용적망락자원강저30%~45%,수복시간감소50%~70%.