计算机应用研究
計算機應用研究
계산궤응용연구
APPLICATION RESEARCH OF COMPUTERS
2011年
9期
3284-3287
,共4页
李恒训%李南波%邱泳钦%徐燕%刘金刚
李恆訓%李南波%邱泳欽%徐燕%劉金剛
리항훈%리남파%구영흠%서연%류금강
信息检索%论坛采集%结构驱动%聚类%路径选择
信息檢索%論罈採集%結構驅動%聚類%路徑選擇
신식검색%론단채집%결구구동%취류%로경선택
网络论坛中蕴涵着大量具有实用价值和商业价值的信息,是搜索引擎和问答系统信息的重要来源.针对论坛结构复杂、链接种类繁多,以及容易陷入采集陷阱等问题,提出了一种基于结构驱动的采集路径选择方法.首先根据用户标注的少量类型数据,利用DOM树对采样网页基于网页结构进行结构聚类；其次根据各节点的评价进行采集路径选择；最后对翻页链接进行有效的识别和处理.实验表明,该方法采集的覆盖率和有效率明显优于传统算法,并且应用在中国科学院计算所舆情监测平台上取得了良好的效果.
網絡論罈中蘊涵著大量具有實用價值和商業價值的信息,是搜索引擎和問答繫統信息的重要來源.針對論罈結構複雜、鏈接種類繁多,以及容易陷入採集陷阱等問題,提齣瞭一種基于結構驅動的採集路徑選擇方法.首先根據用戶標註的少量類型數據,利用DOM樹對採樣網頁基于網頁結構進行結構聚類；其次根據各節點的評價進行採集路徑選擇；最後對翻頁鏈接進行有效的識彆和處理.實驗錶明,該方法採集的覆蓋率和有效率明顯優于傳統算法,併且應用在中國科學院計算所輿情鑑測平檯上取得瞭良好的效果.
망락론단중온함착대량구유실용개치화상업개치적신식,시수색인경화문답계통신식적중요래원.침대론단결구복잡、련접충류번다,이급용역함입채집함정등문제,제출료일충기우결구구동적채집로경선택방법.수선근거용호표주적소량류형수거,이용DOM수대채양망혈기우망혈결구진행결구취류；기차근거각절점적평개진행채집로경선택；최후대번혈련접진행유효적식별화처리.실험표명,해방법채집적복개솔화유효솔명현우우전통산법,병차응용재중국과학원계산소여정감측평태상취득료량호적효과.
