软件
軟件
연건
SOFT WARE
2013年
3期
80-83
,共4页
分词器%web搜索%信息检索%智能分词%全文搜索
分詞器%web搜索%信息檢索%智能分詞%全文搜索
분사기%web수색%신식검색%지능분사%전문수색
目前,在信息检索方面,一般分词器对英文的支持相对较好,但对中文分词效果不太理想；随着web搜索在互联网中的广泛应用,中文分词器也出现了突飞猛进的发展,尤其以IKAnalyzer分词器为主的分词工具,为更多企事业单位所采纳.本文主要在词条化等方面对分词原理进行深入的分析,并且对如何构造智能分词词典进行了探讨.同时,对分词内部结构进行研究,在分词数目和速率方面对目前主流的中文分词器进行了比较,并运用htmlparser库对北京邮电大学的网站进行解析,采用分词工具Paoding Analysis建立索引文件存入本地,利用solr4.0全文搜索服务器给出运用中文分词后的查询效果图,实现对北京邮电大学网站的全文搜索功能.
目前,在信息檢索方麵,一般分詞器對英文的支持相對較好,但對中文分詞效果不太理想；隨著web搜索在互聯網中的廣汎應用,中文分詞器也齣現瞭突飛猛進的髮展,尤其以IKAnalyzer分詞器為主的分詞工具,為更多企事業單位所採納.本文主要在詞條化等方麵對分詞原理進行深入的分析,併且對如何構造智能分詞詞典進行瞭探討.同時,對分詞內部結構進行研究,在分詞數目和速率方麵對目前主流的中文分詞器進行瞭比較,併運用htmlparser庫對北京郵電大學的網站進行解析,採用分詞工具Paoding Analysis建立索引文件存入本地,利用solr4.0全文搜索服務器給齣運用中文分詞後的查詢效果圖,實現對北京郵電大學網站的全文搜索功能.
목전,재신식검색방면,일반분사기대영문적지지상대교호,단대중문분사효과불태이상；수착web수색재호련망중적엄범응용,중문분사기야출현료돌비맹진적발전,우기이IKAnalyzer분사기위주적분사공구,위경다기사업단위소채납.본문주요재사조화등방면대분사원리진행심입적분석,병차대여하구조지능분사사전진행료탐토.동시,대분사내부결구진행연구,재분사수목화속솔방면대목전주류적중문분사기진행료비교,병운용htmlparser고대북경유전대학적망참진행해석,채용분사공구Paoding Analysis건립색인문건존입본지,이용solr4.0전문수색복무기급출운용중문분사후적사순효과도,실현대북경유전대학망참적전문수색공능.
