计算机应用研究
計算機應用研究
계산궤응용연구
APPLICATION RESEARCH OF COMPUTERS
2013年
12期
3614-3617
,共4页
张志珂%蒋泽军%蔡小斌%彭成章
張誌珂%蔣澤軍%蔡小斌%彭成章
장지가%장택군%채소빈%팽성장
重复数据删除%相似哈希%相似索引%块查找磁盘瓶颈问题%二级索引
重複數據刪除%相似哈希%相似索引%塊查找磁盤瓶頸問題%二級索引
중복수거산제%상사합희%상사색인%괴사조자반병경문제%이급색인
deduplication%simi hash%similar index%chunk-lookup disk bottleneck problem%two-level index
由于EB(extreme binning)使用文件的最小块签名作为文件的特征,它不适合处理主要包括小文件的数据负载,会导致较差的重复数据删除率.为了改进EB,提出了相似索引.它把相似哈希作为文件的特征,是一种适用于以小文件为主的数据负载的重复数据删除的二级索引.实验结果表明,相似索引的重复数据删除率比EB高24.8％;相似索引的内存使用量仅仅是EB的0.265％.与EB相比,相似索引需要更少的存储使用量和内存使用量.
由于EB(extreme binning)使用文件的最小塊籤名作為文件的特徵,它不適閤處理主要包括小文件的數據負載,會導緻較差的重複數據刪除率.為瞭改進EB,提齣瞭相似索引.它把相似哈希作為文件的特徵,是一種適用于以小文件為主的數據負載的重複數據刪除的二級索引.實驗結果錶明,相似索引的重複數據刪除率比EB高24.8％;相似索引的內存使用量僅僅是EB的0.265％.與EB相比,相似索引需要更少的存儲使用量和內存使用量.
유우EB(extreme binning)사용문건적최소괴첨명작위문건적특정,타불괄합처리주요포괄소문건적수거부재,회도치교차적중복수거산제솔.위료개진EB,제출료상사색인.타파상사합희작위문건적특정,시일충괄용우이소문건위주적수거부재적중복수거산제적이급색인.실험결과표명,상사색인적중복수거산제솔비EB고24.8％;상사색인적내존사용량부부시EB적0.265％.여EB상비,상사색인수요경소적존저사용량화내존사용량.
