计算机研究与发展
計算機研究與髮展
계산궤연구여발전
JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT
2014年
11期
2458-2469
,共12页
赵小欢%夏靖波%付凯%李明辉
趙小歡%夏靖波%付凱%李明輝
조소환%하정파%부개%리명휘
网络流%频繁项%数据挖掘%剪枝策略%计数算法%散列算法%重尾分布%计数型布鲁姆过滤器
網絡流%頻繁項%數據挖掘%剪枝策略%計數算法%散列算法%重尾分佈%計數型佈魯姆過濾器
망락류%빈번항%수거알굴%전지책략%계수산법%산렬산법%중미분포%계수형포로모과려기
network flows%frequent items%data mining%pruning strategy%counting method%Hash method%heavy-tailed distribution%counting Blooming filter
在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络流频繁项挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM计数算法采用时间和流长组合赋权的方式为每个流项赋权,且算法每次剪枝操作时总是删除权值最小的流项.在IWFIM算法的基础上,依据网络流的重尾分布特性,又提出了一种能够结合散列方法和计数方法优点的网络流频繁项挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_IWFIM和IWFIM算法具有非常高的空间利用率和准确率,2种算法对于网络流频繁项的挖掘效果明显优于SS等3种算法,即使在使用其他算法1/3缓存的极端情况下,CBF_IWFIM和IWFIM 2种算法的频繁项识别效果仍然要优于SS等算法.
在噹前骨榦網絡鏈路速率呈幾何倍數增長的情況下,實時準確地挖掘齣網絡流中的頻繁項對于網絡管理和網絡安全具有重要的意義.在SS(space saving)計數算法的啟髮之下,針對網絡流的實際特性,提齣瞭一種剪枝操作受時間和流長雙重約束的網絡流頻繁項挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM計數算法採用時間和流長組閤賦權的方式為每箇流項賦權,且算法每次剪枝操作時總是刪除權值最小的流項.在IWFIM算法的基礎上,依據網絡流的重尾分佈特性,又提齣瞭一種能夠結閤散列方法和計數方法優點的網絡流頻繁項挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先採用改進的計數型佈魯姆過濾器(counting Blooming filter,CBF)在不保存網絡流信息的情況下過濾掉絕大部分的短流,然後採用IWFIM算法實現網絡流頻繁項挖掘.通過實際網絡流量測試錶明,CBF_IWFIM和IWFIM算法具有非常高的空間利用率和準確率,2種算法對于網絡流頻繁項的挖掘效果明顯優于SS等3種算法,即使在使用其他算法1/3緩存的極耑情況下,CBF_IWFIM和IWFIM 2種算法的頻繁項識彆效果仍然要優于SS等算法.
재당전골간망락련로속솔정궤하배수증장적정황하,실시준학지알굴출망락류중적빈번항대우망락관리화망락안전구유중요적의의.재SS(space saving)계수산법적계발지하,침대망락류적실제특성,제출료일충전지조작수시간화류장쌍중약속적망락류빈번항알굴산법(integrated weighted frequent items mining,IWFIM).IWFIM계수산법채용시간화류장조합부권적방식위매개류항부권,차산법매차전지조작시총시산제권치최소적류항.재IWFIM산법적기출상,의거망락류적중미분포특성,우제출료일충능구결합산렬방법화계수방법우점적망락류빈번항알굴산법(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM산법수선채용개진적계수형포로모과려기(counting Blooming filter,CBF)재불보존망락류신식적정황하과려도절대부분적단류,연후채용IWFIM산법실현망락류빈번항알굴.통과실제망락류량측시표명,CBF_IWFIM화IWFIM산법구유비상고적공간이용솔화준학솔,2충산법대우망락류빈번항적알굴효과명현우우SS등3충산법,즉사재사용기타산법1/3완존적겁단정황하,CBF_IWFIM화IWFIM 2충산법적빈번항식별효과잉연요우우SS등산법.