计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2013年
4期
1481-1487
,共7页
数据采集%倒排索引%垂直搜索引擎%信息抽取%相关度排序
數據採集%倒排索引%垂直搜索引擎%信息抽取%相關度排序
수거채집%도배색인%수직수색인경%신식추취%상관도배서
为了解决用户能够快速、准确的搜索互联网上数字作品信息的问题,分析设计了一个对数字作品版权唯一标识符(Digital Copyright Identifier简称DCI)数字作品的垂直搜索引擎.首先基于Heritrix网络爬虫技术,对互联网上的数字作品进行数据采集和正文信息抽取,并将抽取的数据保存到本地；然后基于Lucene的全文检索工具包,对本地数据进行分词、倒排索引、索引检索和改进的相关度排序等处理,最终设计实现了一个通用可扩展的DCI垂直搜索引擎.实验结果表明,该搜索引擎在很大程度上提高了网页信息抽取的准确度和数据的检索效率.
為瞭解決用戶能夠快速、準確的搜索互聯網上數字作品信息的問題,分析設計瞭一箇對數字作品版權唯一標識符(Digital Copyright Identifier簡稱DCI)數字作品的垂直搜索引擎.首先基于Heritrix網絡爬蟲技術,對互聯網上的數字作品進行數據採集和正文信息抽取,併將抽取的數據保存到本地；然後基于Lucene的全文檢索工具包,對本地數據進行分詞、倒排索引、索引檢索和改進的相關度排序等處理,最終設計實現瞭一箇通用可擴展的DCI垂直搜索引擎.實驗結果錶明,該搜索引擎在很大程度上提高瞭網頁信息抽取的準確度和數據的檢索效率.
위료해결용호능구쾌속、준학적수색호련망상수자작품신식적문제,분석설계료일개대수자작품판권유일표식부(Digital Copyright Identifier간칭DCI)수자작품적수직수색인경.수선기우Heritrix망락파충기술,대호련망상적수자작품진행수거채집화정문신식추취,병장추취적수거보존도본지；연후기우Lucene적전문검색공구포,대본지수거진행분사、도배색인、색인검색화개진적상관도배서등처리,최종설계실현료일개통용가확전적DCI수직수색인경.실험결과표명,해수색인경재흔대정도상제고료망혈신식추취적준학도화수거적검색효솔.
