计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2012年
2期
551-555
,共5页
蔡李%单艳%薛化建%苏国平
蔡李%單豔%薛化建%囌國平
채리%단염%설화건%소국평
维吾尔文%网页正文抽取%语料库%文本句长特征%web文本挖掘
維吾爾文%網頁正文抽取%語料庫%文本句長特徵%web文本挖掘
유오이문%망혈정문추취%어료고%문본구장특정%web문본알굴
从构建大规模维吾尔文语料库的角度出发,归纳总结各类网页正文抽取技术,提出一种基于文本句长特征的网页正文抽取方法.该方法定义一系列过滤和替换规则对网页源码进行预处理,根据文本句长特征来判断文本段是否为网页正文.整个处理过程不依赖DOM树型结构,克服了基于DOM树结构进行正文抽取方法的性能缺陷.实验结果表明,对于维文各类型的网页正文提取,该方法均具有较高的准确度度和较好通用性.
從構建大規模維吾爾文語料庫的角度齣髮,歸納總結各類網頁正文抽取技術,提齣一種基于文本句長特徵的網頁正文抽取方法.該方法定義一繫列過濾和替換規則對網頁源碼進行預處理,根據文本句長特徵來判斷文本段是否為網頁正文.整箇處理過程不依賴DOM樹型結構,剋服瞭基于DOM樹結構進行正文抽取方法的性能缺陷.實驗結果錶明,對于維文各類型的網頁正文提取,該方法均具有較高的準確度度和較好通用性.
종구건대규모유오이문어료고적각도출발,귀납총결각류망혈정문추취기술,제출일충기우문본구장특정적망혈정문추취방법.해방법정의일계렬과려화체환규칙대망혈원마진행예처리,근거문본구장특정래판단문본단시부위망혈정문.정개처리과정불의뢰DOM수형결구,극복료기우DOM수결구진행정문추취방법적성능결함.실험결과표명,대우유문각류형적망혈정문제취,해방법균구유교고적준학도도화교호통용성.
