计算机工程
計算機工程
계산궤공정
COMPUTER ENGINEERING
2009年
2期
34-36
,共3页
爬虫%并行%流水线%负载平衡
爬蟲%併行%流水線%負載平衡
파충%병행%류수선%부재평형
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB.实验结果表明该方法具有良好的运行效率和稳定性.
針對併行爬蟲繫統在多任務併髮執行時所遇到的模塊間負載平衡問題,提齣流水線負載平衡模型(PLB),將不同的任務抽象為獨立模塊而達到各模塊的處理速度相等,採用多線程的方式實現基于PLB的併行爬蟲,根據線程的休眠和緩遲區的變化對線程數量進行動態調整以實現PLB.實驗結果錶明該方法具有良好的運行效率和穩定性.
침대병행파충계통재다임무병발집행시소우도적모괴간부재평형문제,제출류수선부재평형모형(PLB),장불동적임무추상위독립모괴이체도각모괴적처리속도상등,채용다선정적방식실현기우PLB적병행파충,근거선정적휴면화완충구적변화대선정수량진행동태조정이실현PLB.실험결과표명해방법구유량호적운행효솔화은정성.
