舰船电子工程
艦船電子工程
함선전자공정
SHIP ELECTRONIC ENGINEERING
2014年
2期
86-90
,共5页
Hash%网页去噪%增量%Heritrix
Hash%網頁去譟%增量%Heritrix
Hash%망혈거조%증량%Heritrix
基于网页Hash值产生的增量式网络爬虫,可以实现网页的增量抓取过程.然而,由于网页噪声的存在,经典Hash算法对文本产生的Hash值过于敏感,导致通过Hash值对比判断网页变化的过程偏离实际情况.研究提出一种去噪后Hash产生方法,通过对网页文本块进行“正文”与“噪声”分类,去除噪声后对网页正文内容产生Hash值并判断网页是否变化,提高网页增量抓取效率.实验结果表明所提出的基于去噪后Hash产生方法的增量式抓取过程,Hash值敏感度降低,有效提高了网络爬虫增量抓取性能.
基于網頁Hash值產生的增量式網絡爬蟲,可以實現網頁的增量抓取過程.然而,由于網頁譟聲的存在,經典Hash算法對文本產生的Hash值過于敏感,導緻通過Hash值對比判斷網頁變化的過程偏離實際情況.研究提齣一種去譟後Hash產生方法,通過對網頁文本塊進行“正文”與“譟聲”分類,去除譟聲後對網頁正文內容產生Hash值併判斷網頁是否變化,提高網頁增量抓取效率.實驗結果錶明所提齣的基于去譟後Hash產生方法的增量式抓取過程,Hash值敏感度降低,有效提高瞭網絡爬蟲增量抓取性能.
기우망혈Hash치산생적증량식망락파충,가이실현망혈적증량조취과정.연이,유우망혈조성적존재,경전Hash산법대문본산생적Hash치과우민감,도치통과Hash치대비판단망혈변화적과정편리실제정황.연구제출일충거조후Hash산생방법,통과대망혈문본괴진행“정문”여“조성”분류,거제조성후대망혈정문내용산생Hash치병판단망혈시부변화,제고망혈증량조취효솔.실험결과표명소제출적기우거조후Hash산생방법적증량식조취과정,Hash치민감도강저,유효제고료망락파충증량조취성능.
