吉林大学学报（信息科学版）
吉林大學學報（信息科學版）
길림대학학보（신식과학판）
JOURNAL OF JILIN UNIVERSITY(INFORMATION SCIENCE EDITION)
2008年
6期
599-604
,共6页
孙铁民%于杰%尚程%田大新%张丽华
孫鐵民%于傑%尚程%田大新%張麗華
손철민%우걸%상정%전대신%장려화
数据仓库%数据抽取%数据转换%数据清洗%数据装载
數據倉庫%數據抽取%數據轉換%數據清洗%數據裝載
수거창고%수거추취%수거전환%수거청세%수거장재
为了解决数据仓库中相似重复记录的数据问题,提出了基于无监督学习的数据清洗算法.该算法采用基于Hebbian假设的自适应学习方法,并通过相似度确定奖励和惩罚等级.在学习过程中根据需要增加新的聚类,在学习结束后,通过分析聚类情况删除错误的聚类,从而避免了死神经元问题并使聚类更加准确.实验表明,该算法能准确地完成实体识别.
為瞭解決數據倉庫中相似重複記錄的數據問題,提齣瞭基于無鑑督學習的數據清洗算法.該算法採用基于Hebbian假設的自適應學習方法,併通過相似度確定獎勵和懲罰等級.在學習過程中根據需要增加新的聚類,在學習結束後,通過分析聚類情況刪除錯誤的聚類,從而避免瞭死神經元問題併使聚類更加準確.實驗錶明,該算法能準確地完成實體識彆.
위료해결수거창고중상사중복기록적수거문제,제출료기우무감독학습적수거청세산법.해산법채용기우Hebbian가설적자괄응학습방법,병통과상사도학정장려화징벌등급.재학습과정중근거수요증가신적취류,재학습결속후,통과분석취류정황산제착오적취류,종이피면료사신경원문제병사취류경가준학.실험표명,해산법능준학지완성실체식별.
