CAJ | 학술논문

随着互联网技术的发展，网络中包含的信息量承爆炸式增长，如何在数量繁多的信息中找到自己需要的，是一项不小的工程，因此，网络搜索引擎应运而生，随着搜索引擎的发展，越来越多的用户选择使用搜索引擎，但是搜索引擎并不完善，还需要种类繁多的网络爬虫进行辅助。尽管使用了网络爬虫进行辅助，但是为了提高搜索效率，我们需要对采取一些方式来使网络爬虫优先选取那些符合搜索要求的网页，在这种情况下，如何对网络爬虫系统中进行设置来提高URL去重的能力将会对网络爬虫的运行效率产生不小的影响。下文将就如何简单的对URL去重进行阐述。
수착호련망기술적발전，망락중포함적신식량승폭작식증장，여하재수량번다적신식중조도자기수요적，시일항불소적공정，인차，망락수색인경응운이생，수착수색인경적발전，월래월다적용호선택사용수색인경，단시수색인경병불완선，환수요충류번다적망락파충진행보조。진관사용료망락파충진행보조，단시위료제고수색효솔，아문수요대채취일사방식래사망락파충우선선취나사부합수색요구적망혈，재저충정황하，여하대망락파충계통중진행설치래제고URL거중적능력장회대망락파충적운행효솔산생불소적영향。하문장취여하간단적대URL거중진행천술。