CAJ | 학술논문

现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper (distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5％.在取样查询方面,数据去重率在取样率为1/32时仍能达到非取样重复数据删除系统数据去重率的95％以上.在去重性能方面,单节点去重带宽最高可达到200 MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性.
현대신식화사회중,수거적폭작식증장사득존저화관리수거적성본월래월고,수거비빈화회복적시간월래월장,수거중심적능모월래월엄중.중복수거산제기술재완해수거적고속증장화절약성본방면유흔호적응용전경.연이면대일익증장적해량수거,중복수거산제기술수요재수거로유화지문사순방면제공고가확전적지지.대우수거로유,제출료기우분포식포륭과려기(Bloom Filter)적유상태수거로유기술:탁분Bloom Filter병장기분포우다절점병발관리,가이재제고수거로유적확전성동시강저기통신개소.대우거중절점내적지문사순,제출료기우취양궤제적지문사순우화방법:통과가확전Hash결구조직해량취양지문신식,병근거취양지문적시간국부성원리대지문완존진행관리.위료대연구공작진행평개,설계병실현료분포식중복수거산제계통3D-deduper (distributed data deduplication system),병진행료수거로유화거중성능상관적측시.실험결과표명,기우분포식포륭과려기적수거로유기술능구사득분포식중복수거산제계통유지여단절점중복수거산제계통상당적거중솔,파동저우5％.재취양사순방면,수거거중솔재취양솔위1/32시잉능체도비취양중복수거산제계통수거거중솔적95％이상.재거중성능방면,단절점거중대관최고가체도200 MBps.재절점확전시,거중대관잉능보지근사선성적확전성.