计算机工程与科学
計算機工程與科學
계산궤공정여과학
COMPUTER ENGINEERING & SCIENCE
2013年
1期
82-87
,共6页
Google云平台%定向%搜索%监控%计划任务管理%定向网络爬虫
Google雲平檯%定嚮%搜索%鑑控%計劃任務管理%定嚮網絡爬蟲
Google운평태%정향%수색%감공%계화임무관리%정향망락파충
传统的搜索引擎不能代替用户实行实时监控,为了解决这个问题,提出了定向搜索监控技术,用户可以根据自己的需求定制任务,包括指定搜索范围和搜索主题,系统按用户定义周期监控,并将结果及时主动地反馈给用户.以Google云平台Google App Engine作为开发平台,利用其提供的多项云服务,有效地解决了计划任务管理、多任务触发以及高并发等问题.重写了通用网络爬虫,通过算法改进提出了定向网络爬虫模型,定向网络爬虫与云端强大的服务器相结合,极大地缩短了爬行时间,提高了搜索监控效率.云平台和搜索监控技术的结合是平台即服务思想的一次成功实验.
傳統的搜索引擎不能代替用戶實行實時鑑控,為瞭解決這箇問題,提齣瞭定嚮搜索鑑控技術,用戶可以根據自己的需求定製任務,包括指定搜索範圍和搜索主題,繫統按用戶定義週期鑑控,併將結果及時主動地反饋給用戶.以Google雲平檯Google App Engine作為開髮平檯,利用其提供的多項雲服務,有效地解決瞭計劃任務管理、多任務觸髮以及高併髮等問題.重寫瞭通用網絡爬蟲,通過算法改進提齣瞭定嚮網絡爬蟲模型,定嚮網絡爬蟲與雲耑彊大的服務器相結閤,極大地縮短瞭爬行時間,提高瞭搜索鑑控效率.雲平檯和搜索鑑控技術的結閤是平檯即服務思想的一次成功實驗.
전통적수색인경불능대체용호실행실시감공,위료해결저개문제,제출료정향수색감공기술,용호가이근거자기적수구정제임무,포괄지정수색범위화수색주제,계통안용호정의주기감공,병장결과급시주동지반궤급용호.이Google운평태Google App Engine작위개발평태,이용기제공적다항운복무,유효지해결료계화임무관리、다임무촉발이급고병발등문제.중사료통용망락파충,통과산법개진제출료정향망락파충모형,정향망락파충여운단강대적복무기상결합,겁대지축단료파행시간,제고료수색감공효솔.운평태화수색감공기술적결합시평태즉복무사상적일차성공실험.
