微型电脑应用
微型電腦應用
미형전뇌응용
MICROCOMPUTER APPLICATIONS
2011年
3期
48-51
,共4页
徐娜%刘四维%汪翔%倪卫明
徐娜%劉四維%汪翔%倪衛明
서나%류사유%왕상%예위명
Bloom filter%网页去重%长句%Hash函数
Bloom filter%網頁去重%長句%Hash函數
Bloom filter%망혈거중%장구%Hash함수
现在的互联网中存在网页重复的问题,这些问题将会使数据挖掘,搜索的复杂度加大.现有技术一些不足之处,针对互联网中的重复网页采用基于Bloom Filter的网页去重算法.使用了现有的网页去杂算法,对网页进行预处理,同时利用Bloom Filter结构大大降低了网页去重算法的时间复杂度和空间复杂度.从网页中提炼出表示网页特征的一些长句,从而把网页去重过程转换为一个搜索长句的过程,使用Bloom Filter减小了算法的时间复杂度.
現在的互聯網中存在網頁重複的問題,這些問題將會使數據挖掘,搜索的複雜度加大.現有技術一些不足之處,針對互聯網中的重複網頁採用基于Bloom Filter的網頁去重算法.使用瞭現有的網頁去雜算法,對網頁進行預處理,同時利用Bloom Filter結構大大降低瞭網頁去重算法的時間複雜度和空間複雜度.從網頁中提煉齣錶示網頁特徵的一些長句,從而把網頁去重過程轉換為一箇搜索長句的過程,使用Bloom Filter減小瞭算法的時間複雜度.
현재적호련망중존재망혈중복적문제,저사문제장회사수거알굴,수색적복잡도가대.현유기술일사불족지처,침대호련망중적중복망혈채용기우Bloom Filter적망혈거중산법.사용료현유적망혈거잡산법,대망혈진행예처리,동시이용Bloom Filter결구대대강저료망혈거중산법적시간복잡도화공간복잡도.종망혈중제련출표시망혈특정적일사장구,종이파망혈거중과정전환위일개수색장구적과정,사용Bloom Filter감소료산법적시간복잡도.
