工业控制计算机
工業控製計算機
공업공제계산궤
INDUSTRY CONTROL COMPUTER
2015年
1期
114-117
,共4页
全文检索%Lucene%垂直搜索引擎%烟草%个性化搜索%用户兴趣%海量数据%网络爬虫
全文檢索%Lucene%垂直搜索引擎%煙草%箇性化搜索%用戶興趣%海量數據%網絡爬蟲
전문검색%Lucene%수직수색인경%연초%개성화수색%용호흥취%해량수거%망락파충
fuI-text search%Lucene%verticaI search engine%tobacco%personaIized search%user interest%mass data%web crawIer
研究了Lucene搜索引擎框架在烟草行业的信息获取和搜索方面的系统应用。如何在异构的海量数据中获取与烟草行业相关的数据是实现烟草行业信息化管理技术的一个重要分支。通过对不同文件格式的数据处理、烟草行业相关站点的数据抓取、搜索引擎创建和数据检索四个模块框架来实现系统。Web页面基于Heritrix烟草信息数据抓取，其中的非结构化数据或者半结构化数据和不同的文件格式通过Tika工具统一转为为文本，通过Lucene对结构化和非结构化数据创建索引以实现数据检索，由此实现烟草信息搜索引擎系统的实现。
研究瞭Lucene搜索引擎框架在煙草行業的信息穫取和搜索方麵的繫統應用。如何在異構的海量數據中穫取與煙草行業相關的數據是實現煙草行業信息化管理技術的一箇重要分支。通過對不同文件格式的數據處理、煙草行業相關站點的數據抓取、搜索引擎創建和數據檢索四箇模塊框架來實現繫統。Web頁麵基于Heritrix煙草信息數據抓取，其中的非結構化數據或者半結構化數據和不同的文件格式通過Tika工具統一轉為為文本，通過Lucene對結構化和非結構化數據創建索引以實現數據檢索，由此實現煙草信息搜索引擎繫統的實現。
연구료Lucene수색인경광가재연초행업적신식획취화수색방면적계통응용。여하재이구적해량수거중획취여연초행업상관적수거시실현연초행업신식화관리기술적일개중요분지。통과대불동문건격식적수거처리、연초행업상관참점적수거조취、수색인경창건화수거검색사개모괴광가래실현계통。Web혈면기우Heritrix연초신식수거조취，기중적비결구화수거혹자반결구화수거화불동적문건격식통과Tika공구통일전위위문본，통과Lucene대결구화화비결구화수거창건색인이실현수거검색，유차실현연초신식수색인경계통적실현。
This paper study Lucene search engine system appIication on getting and searching tobacco industry information.How to get the reaIated data to tobacco in Heterogeneous massive data has been an important studying point in tobacco infor-mation management.By processing each specific fiIe format data,crawIing required sites' data on tobacco,creating search engine,then searching data moduIes,this paper reaIizes the knowIedge management system on tobacco industry.
