应用概率统计
應用概率統計
응용개솔통계
CHINESE JOURNAL OF APPLIED PROBABILITY AND STATISTICS
2015年
1期
71-88
,共18页
变量选择%回归分析%oracle property
變量選擇%迴歸分析%oracle property
변량선택%회귀분석%oracle property
Variable selection%regression%oracle property
在线性回归模型建模中,回归自变量选择是一个受到广泛关注、文献众多,具有很强的理论和实际意义的问题.回归自变量选择子集的相合性是其中一个重要问题,如果某种自变量选择方法选择的子集在样本量趋于无穷时是相合的,而且预测均方误差较小,则这种方法是可取的.利用BIC准则可以挑选相合的自变量子集,但是在自变量个数很多时计算量过大;适应lasso方法具有较高计算效率,也能找到相合的自变量子集;本文提出一种更简单的自变量选择方法,只需要计算两次普通线性回归:第一次进行全集回归,得到全集的回归系数估计,然后利用这些回归系数估计挑选子集,然后只要在挑选的自变量子集上再进行一次普通线性回归就得到了回归结果.考虑如下的回归模型:Yn=Xnβ*+ε(n),其中回归系数β*中非零分量下标的集合为J0,设(Jn)是本文方法选择的自变量子集下标集合,(β)(n)是本文方法估计的回归系数(未选中的自变量对应的系数为零),本文证明了,在适当条件下,lim n→∞P((J)n=J0)=1,√n((β)(n)-β*)J0 d→ N(0,∑),nE‖(β)(n)-β*‖2→σ2c,其中((β)(n)-β*)J0表示(β)(n)-β*的分量下标在J0中的元素的组成的向量,σ2是误差方差,∑,c是与矩阵(XTnXn)/n极限有关的矩阵和常数.数值模拟结果表明本文方法具有很好的中小样本性质.
在線性迴歸模型建模中,迴歸自變量選擇是一箇受到廣汎關註、文獻衆多,具有很彊的理論和實際意義的問題.迴歸自變量選擇子集的相閤性是其中一箇重要問題,如果某種自變量選擇方法選擇的子集在樣本量趨于無窮時是相閤的,而且預測均方誤差較小,則這種方法是可取的.利用BIC準則可以挑選相閤的自變量子集,但是在自變量箇數很多時計算量過大;適應lasso方法具有較高計算效率,也能找到相閤的自變量子集;本文提齣一種更簡單的自變量選擇方法,隻需要計算兩次普通線性迴歸:第一次進行全集迴歸,得到全集的迴歸繫數估計,然後利用這些迴歸繫數估計挑選子集,然後隻要在挑選的自變量子集上再進行一次普通線性迴歸就得到瞭迴歸結果.攷慮如下的迴歸模型:Yn=Xnβ*+ε(n),其中迴歸繫數β*中非零分量下標的集閤為J0,設(Jn)是本文方法選擇的自變量子集下標集閤,(β)(n)是本文方法估計的迴歸繫數(未選中的自變量對應的繫數為零),本文證明瞭,在適噹條件下,lim n→∞P((J)n=J0)=1,√n((β)(n)-β*)J0 d→ N(0,∑),nE‖(β)(n)-β*‖2→σ2c,其中((β)(n)-β*)J0錶示(β)(n)-β*的分量下標在J0中的元素的組成的嚮量,σ2是誤差方差,∑,c是與矩陣(XTnXn)/n極限有關的矩陣和常數.數值模擬結果錶明本文方法具有很好的中小樣本性質.
재선성회귀모형건모중,회귀자변량선택시일개수도엄범관주、문헌음다,구유흔강적이론화실제의의적문제.회귀자변량선택자집적상합성시기중일개중요문제,여과모충자변량선택방법선택적자집재양본량추우무궁시시상합적,이차예측균방오차교소,칙저충방법시가취적.이용BIC준칙가이도선상합적자변양자집,단시재자변량개수흔다시계산량과대;괄응lasso방법구유교고계산효솔,야능조도상합적자변양자집;본문제출일충경간단적자변량선택방법,지수요계산량차보통선성회귀:제일차진행전집회귀,득도전집적회귀계수고계,연후이용저사회귀계수고계도선자집,연후지요재도선적자변양자집상재진행일차보통선성회귀취득도료회귀결과.고필여하적회귀모형:Yn=Xnβ*+ε(n),기중회귀계수β*중비령분량하표적집합위J0,설(Jn)시본문방법선택적자변양자집하표집합,(β)(n)시본문방법고계적회귀계수(미선중적자변량대응적계수위령),본문증명료,재괄당조건하,lim n→∞P((J)n=J0)=1,√n((β)(n)-β*)J0 d→ N(0,∑),nE‖(β)(n)-β*‖2→σ2c,기중((β)(n)-β*)J0표시(β)(n)-β*적분량하표재J0중적원소적조성적향량,σ2시오차방차,∑,c시여구진(XTnXn)/n겁한유관적구진화상수.수치모의결과표명본문방법구유흔호적중소양본성질.