计算机工程与应用
計算機工程與應用
계산궤공정여응용
COMPUTER ENGINEERING AND APPLICATIONS
2011年
11期
15-18,33
,共5页
陈钒%冯志勇%李晓红%赵庚
陳釩%馮誌勇%李曉紅%趙庚
진범%풍지용%리효홍%조경
文档重复性检测%语言节奏%标点
文檔重複性檢測%語言節奏%標點
문당중복성검측%어언절주%표점
通过对Web中大规模文档研究发现,文档中的自然段落具有特殊的语言节奏.提出了一种基于语言节奏的文档重复性检测方法,通过构建文档中自然段落的语言节奏码并进行重复性分析,实现了基于段粒度的文档重复性检测.实验表明,此方法具有良好的召回率和准确率,可以将内容完全重复的文档、部分段落内容重复的文档及打乱段落顺序重组文档的重复性均检测出来,检测精度高且占用系统资源少.
通過對Web中大規模文檔研究髮現,文檔中的自然段落具有特殊的語言節奏.提齣瞭一種基于語言節奏的文檔重複性檢測方法,通過構建文檔中自然段落的語言節奏碼併進行重複性分析,實現瞭基于段粒度的文檔重複性檢測.實驗錶明,此方法具有良好的召迴率和準確率,可以將內容完全重複的文檔、部分段落內容重複的文檔及打亂段落順序重組文檔的重複性均檢測齣來,檢測精度高且佔用繫統資源少.
통과대Web중대규모문당연구발현,문당중적자연단락구유특수적어언절주.제출료일충기우어언절주적문당중복성검측방법,통과구건문당중자연단락적어언절주마병진행중복성분석,실현료기우단립도적문당중복성검측.실험표명,차방법구유량호적소회솔화준학솔,가이장내용완전중복적문당、부분단락내용중복적문당급타란단락순서중조문당적중복성균검측출래,검측정도고차점용계통자원소.
