中心極限定理

中心極限定理（ちゅうしんきょくげんていり、英: central limit theorem, CLT）は、確率論・統計学における極限定理の一つ。

サイコロを n 回振ったときの出た目の和 S_n = X₁ + … + X_n の分布が n を大きくするに従って正規分布による近似に近づく様子

大数の法則によると、ある母集団から無作為抽出した標本の算術平均は、標本の大きさを大きくすると母集団の母平均に近づく。これに対して中心極限定理は、標本の算術平均と母平均との誤差の確率分布が、定理の条件が満たされれば、標本の大きさを大きくすると近似的に期待値ゼロの「正規分布」になることをいう。

なお、母集団の分散が存在しないあるいは有限の実数にならないときには、標本平均と母平均の誤差の分布の極限が正規分布と異なる場合もある。

中心極限定理は、統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。

定理

以下の定理はLindeberg (1922) による。

期待値 μ と分散 σ² を持つ独立同分布 ("i.i.d.") に従う確率変数列 X₁, X₂, … に対し $\textstyle S_{n}:=\sum _{k=1}^{n}X_{k}$ とおくと、

$P\left({\frac {S_{n}-n\mu }{{\sqrt {n}}\sigma }}\leq \alpha \right)\to {\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\alpha }e^{-x^{2}/2}dx\qquad (n\to \infty ).$

つまり、独立同分布に従う確率変数列の部分和を標準化すると、期待値 0, 分散 1 の正規分布 N(0, 1) に分布収束する。

これにより（正規分布に従う確率変数の一次式もまた正規分布に従うため）n が十分大きいとき近似的に、部分和 S_n = X₁ + … + X_n は平均 nμ, 分散 nσ² の正規分布 N(nµ, nσ²) に従い、標本平均 ${\bar {X}}_{n}=(X_{1}+\dotsb +X_{n})/n$ は平均 μ, 分散 σ²/n の正規分布 N(μ, σ²/n) に従う。

証明

中心極限定理は、特性関数（とレヴィの連続性定理）を用いることにより証明できる。

{X₁, …, X_n} を独立同分布に従う確率変数とする。分布の平均を µ、分散を σ² とする。ここで部分和 S_n = X₁ + … + X_n を考えると、その平均と分散はそれぞれ nµ, nσ² となる。 $S_{n}$ を標準化した確率変数を $Z_{n}$ とおくと、

$Z_{n}={\frac {S_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}=\sum _{j=1}^{n}{\frac {X_{j}-\mu }{\sqrt {n\sigma ^{2}}}}={\frac {1}{\sqrt {n}}}\sum _{j=1}^{n}Y_{j}$

を得る。最後の式では新たに、$X_{j}$ を標準化した確率変数 Y_j を導入した。ここで、Z_n の特性関数は、独立性より積の期待値は期待値の積になるため、

$\varphi _{Z_{n}}(t)=\operatorname {E} [\exp(itZ_{n})]=\operatorname {E} \left[\prod _{j=1}^{n}\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\prod _{j=1}^{n}\operatorname {E} \left[\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}$

最後の等式は全ての Y_j は同一分布に従うため同じ特性関数を持つことから導いた。ここで、$\varphi _{Y_{1}}(t)$ をマクローリン展開する。

${\begin{aligned}\varphi _{Y_{1}}(0)&=\left.\operatorname {E} \left[e^{itY_{1}}\right]\right|_{t=0}=1\\\varphi _{Y_{1}}'(0)&=\left.\operatorname {E} \left[iY_{1}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[iY_{1}\right]=i\operatorname {E} \left[Y_{1}\right]=0\\\varphi _{Y_{1}}''(0)&=\left.\operatorname {E} \left[-Y_{1}^{2}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[-Y_{1}^{2}\right]=-\operatorname {V} \left[Y_{1}\right]=-1\end{aligned}}$

より

$\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)=1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}}),\quad n\rightarrow \infty$

となる。ここで、O はランダウの記号である。この式と指数関数の定義

$e^{x}=\lim _{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}$

を用いると、$\varphi _{Z_{n}}\left(t\right)$ の $n\to \infty$ における極限が以下のように求められる。

$\varphi _{Z_{n}}\left(t\right)=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}=\left(1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}})\right)^{n}=\left(1+{\frac {-{\frac {t^{2}}{2}}+O(n^{-{\frac {1}{2}}})}{n}}\right)^{n}\to e^{-t^{2}/2},\quad n\to \infty$

最後の関数は標準正規分布 N(0, 1) の特性関数である。特性関数と確率分布の対応は一対一なので、この結果は、Z_n の確率分布が $n\to \infty$ の極限で標準正規分布 N(0, 1) に収束することを意味する。

以上により、部分和 S_n = X₁ + … + X_n は正規分布 N(nµ, nσ²) に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\cdots +X_{n})/n$ は正規分布 N(µ, σ²/n) に収束することが証明された。

正規分布に収束しない場合

より一般化された確率理論（確率の公理）では、中心極限定理は弱収束理論 (weak-convergence theories) の一部となる。それによると、独立同分布 (i.i.d.) に従う確率変数の分散（2次のモーメント）が有限な場合は「確率変数の和の確率分布」は変数の数が多くなるに従い正規分布に収束するが、確率変数が従う分布の裾が |x|^−α−1（ただし 0 < α < 2）のべき乗で減衰する場合（分布の裾が厚くなり分散は無限大に発散して）（正規分布には収束せず）特性指数 α の安定分布に収束する。

※なお安定分布は特性指数が 0 < α < 2 のとき分散は無限大となり、分布の裾が冪乗則に従うファットテールを有する。

脚注

参考文献

• Feller, William (1968). An introduction to probability theory and its applications. I (Third ed.). John Wiley & Sons, Inc.. ISBN 0-471-25711-7 

• W. フェラー『確率論とその応用（第1巻、第2版）』 下巻、紀伊国屋書店、1961年。NDLJP:2421978。 

関連項目

• 確率論
• 大数の法則
• ド・モアブル=ラプラスの定理