统计研究
統計研究
통계연구
Statistical Research
2013年
8期
3~9
,共null页
数据质量 Benford法则 异常值探测 数据挖掘
數據質量 Benford法則 異常值探測 數據挖掘
수거질량 Benford법칙 이상치탐측 수거알굴
Data Quality ; Benford＇ s Law ; Anomaly Detection ; Data Mining
利用Benford法则对数据质量进行检验是一种已经在实践中得到广泛应用的重要方法。但该方法也存在一定局限性,针对其存在的问题,本文进一步探讨了如何将其与异常值探测、数据挖掘技术等方法相结合,从而找出可能存在数据质量问题的具体样本及其规律的方法。并利用该方法对我国保险行业2006—2011年主要经济指标的数据质量进行了实证分析,结果表明这种方法是合理且有效的。
利用Benford法則對數據質量進行檢驗是一種已經在實踐中得到廣汎應用的重要方法。但該方法也存在一定跼限性,針對其存在的問題,本文進一步探討瞭如何將其與異常值探測、數據挖掘技術等方法相結閤,從而找齣可能存在數據質量問題的具體樣本及其規律的方法。併利用該方法對我國保險行業2006—2011年主要經濟指標的數據質量進行瞭實證分析,結果錶明這種方法是閤理且有效的。
이용Benford법칙대수거질량진행검험시일충이경재실천중득도엄범응용적중요방법。단해방법야존재일정국한성,침대기존재적문제,본문진일보탐토료여하장기여이상치탐측、수거알굴기술등방법상결합,종이조출가능존재수거질량문제적구체양본급기규률적방법。병이용해방법대아국보험행업2006—2011년주요경제지표적수거질량진행료실증분석,결과표명저충방법시합리차유효적。
Benford＇ s law is an important method which is widely used in data quality detection. However, Benford＇ s law has some limitations. To solve these problems, we further discussed how to combine Benford＇ s law with anomaly detection and data mining. Thus, we can identify specific sample which may have data quality problem and look for the law it＇ s appeared. Finally, we did empirical analysis on the quality of China＇s insurance industry data in 2006 - 2011 by the proposed method. The results showed that this method is reasonable and effective.
