计算机工程与设计
計算機工程與設計
계산궤공정여설계
COMPUTER ENGINEERING AND DESIGN
2014年
1期
310-314
,共5页
王旭仁%郑秋辉%何发镁%李娜%王彦丽
王旭仁%鄭鞦輝%何髮鎂%李娜%王彥麗
왕욱인%정추휘%하발미%리나%왕언려
桌面搜索引擎%索引优化%索引片断%多线程索引%多线程写入
桌麵搜索引擎%索引優化%索引片斷%多線程索引%多線程寫入
탁면수색인경%색인우화%색인편단%다선정색인%다선정사입
desktop search engine%index optimization%index segment%multi-threaded index%multi-threaded write
在桌面搜索引擎中,对于二进制文件格式的处理,通常需要针对每一种具体的文件格式编写独立的解析器,复杂度较高且不易维护.从分析开源搜索引擎Lucene出发,提出一种基于Tika和Lucene的桌面搜索引擎框架,能够使用统一的应用编程接口来处理不同二进制格式的文档.整个框架均为开放源代码形式,各模块间耦合度低,易于扩展.在实现方面,基于最新的Lucene4.1,实现了对桌面系统内文档的全文搜索;并在索引性能优化方面,相比于传统的参数配置优化和内存缓冲优化两方面,使用最新的DWPT (documents writer per thread)技术,使索引性能提升了35％.
在桌麵搜索引擎中,對于二進製文件格式的處理,通常需要針對每一種具體的文件格式編寫獨立的解析器,複雜度較高且不易維護.從分析開源搜索引擎Lucene齣髮,提齣一種基于Tika和Lucene的桌麵搜索引擎框架,能夠使用統一的應用編程接口來處理不同二進製格式的文檔.整箇框架均為開放源代碼形式,各模塊間耦閤度低,易于擴展.在實現方麵,基于最新的Lucene4.1,實現瞭對桌麵繫統內文檔的全文搜索;併在索引性能優化方麵,相比于傳統的參數配置優化和內存緩遲優化兩方麵,使用最新的DWPT (documents writer per thread)技術,使索引性能提升瞭35％.
재탁면수색인경중,대우이진제문건격식적처리,통상수요침대매일충구체적문건격식편사독립적해석기,복잡도교고차불역유호.종분석개원수색인경Lucene출발,제출일충기우Tika화Lucene적탁면수색인경광가,능구사용통일적응용편정접구래처리불동이진제격식적문당.정개광가균위개방원대마형식,각모괴간우합도저,역우확전.재실현방면,기우최신적Lucene4.1,실현료대탁면계통내문당적전문수색;병재색인성능우화방면,상비우전통적삼수배치우화화내존완충우화량방면,사용최신적DWPT (documents writer per thread)기술,사색인성능제승료35％.
