中心極限定理

中心極限定理（ちゅうしんきょくげんていり、英: central limit theorem, CLT）は、確率論・統計学における極限定理の一つ。

サイコロを n 回振ったときの出た目の和 S_n = X₁ + … + X_n の分布が n を大きくするに従って正規分布による近似に近づく様子

大数の法則によると、ある母集団から無作為抽出した標本の算術平均は、標本の大きさを大きくすると母集団の母平均に近づく。これに対して中心極限定理は、標本の算術平均と母平均との誤差の確率分布が、定理の条件が満たされれば、標本の大きさを大きくすると近似的に期待値ゼロの「正規分布」になることをいう。

なお、母集団の分散が存在しないあるいは有限の実数にならないときには、標本平均と母平均の誤差の分布の極限が正規分布と異なる場合もある。

中心極限定理は、統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。

定理

期待値 μ と分散 σ² を持つ独立同分布に従うn個の確率変数 X₁, X₂, …… , X_n に対して $S_{n}:=\sum _{k=1}^{n}X_{k}$ とおくと、

$\lim _{n\to \infty }\varphi _{S_{n}}(t)=\exp \left(n\mu \,i\,t-{\frac {n\sigma ^{2}t^{2}}{2}}\right)\quad (t\in \mathbb {R} )$

という等式が成り立ち、右辺は期待値 nμ, 分散 nσ² の正規分布 N(nµ, nσ²) の特性関数となる。これを中心極限定理という。

ただし、$\varphi _{S_{n}}(t)=\operatorname {E} [e^{itS_{n}}]$ は確率変数 $S_{n}$ の特性関数、i は虚数単位、t ∈ R は特性関数の引数である。

中心極限定理は、確率変数 X₁, X₂, …… , X_n がどのような確率分布に従っていたとしても常に成立する、非常に強力な定理である。そのため、いろいろな確率分布のなかでも、正規分布は特に重要視されることが多い。

なお上記の定理により、標本平均 ${\bar {X}}_{n}=(X_{1}+\dotsb +X_{n})/n$ が期待値 μ, 分散 σ²/n の正規分布 N(μ, σ²/n) に収束することや、正規分布 N(μ, σ²) の確率密度関数 $f(x)$ が $f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\;\exp \left(-{\frac {\left(x-\mu \right)^{2}}{2\sigma ^{2}}}\right)$ で与えられることなども、ただちに導かれる。

証明

中心極限定理は、特性関数（とレヴィの連続性定理）を用いることにより証明できる。

{X₁, …, X_n} を独立同分布に従う確率変数とする。分布の平均を µ、分散を σ² とする。ここで部分和 S_n = X₁ + … + X_n を考えると、その平均と分散はそれぞれ nµ, nσ² となる。 $S_{n}$ を標準化した確率変数を $Z_{n}$ とおくと、

$Z_{n}={\frac {S_{n}-n\mu }{\sqrt {n\sigma ^{2}}}}=\sum _{j=1}^{n}{\frac {X_{j}-\mu }{\sqrt {n\sigma ^{2}}}}={\frac {1}{\sqrt {n}}}\sum _{j=1}^{n}Y_{j}$

を得る。最後の式では新たに、$X_{j}$ を標準化した確率変数 Y_j を導入した。ここで、Z_n の特性関数は、独立性より積の期待値は期待値の積になるため、

$\varphi _{Z_{n}}(t)=\operatorname {E} [\exp(itZ_{n})]=\operatorname {E} \left[\prod _{j=1}^{n}\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\prod _{j=1}^{n}\operatorname {E} \left[\exp \left({\frac {itY_{j}}{\sqrt {n}}}\right)\right]=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}$

最後の等式は全ての Y_j は同一分布に従うため同じ特性関数を持つことから導いた。ここで、$\varphi _{Y_{1}}(t)$ をマクローリン展開する。

${\begin{aligned}\varphi _{Y_{1}}(0)&=\left.\operatorname {E} \left[e^{itY_{1}}\right]\right|_{t=0}=1\\\varphi _{Y_{1}}'(0)&=\left.\operatorname {E} \left[iY_{1}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[iY_{1}\right]=i\operatorname {E} \left[Y_{1}\right]=0\\\varphi _{Y_{1}}''(0)&=\left.\operatorname {E} \left[-Y_{1}^{2}e^{itY_{1}}\right]\right|_{t=0}=\operatorname {E} \left[-Y_{1}^{2}\right]=-\operatorname {V} \left[Y_{1}\right]=-1\end{aligned}}$

より

$\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)=1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}}),\quad n\rightarrow \infty$

となる。ここで、O はランダウの記号である。この式と指数関数の定義

$e^{x}=\lim _{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}$

を用いると、$\varphi _{Z_{n}}\left(t\right)$ の $n\to \infty$ における極限が以下のように求められる。

$\varphi _{Z_{n}}\left(t\right)=\left(\varphi _{Y_{1}}\left({\frac {t}{\sqrt {n}}}\right)\right)^{n}=\left(1-{\frac {t^{2}}{2n}}+O(n^{-{\frac {3}{2}}})\right)^{n}=\left(1+{\frac {-{\frac {t^{2}}{2}}+O(n^{-{\frac {1}{2}}})}{n}}\right)^{n}\to e^{-t^{2}/2},\quad n\to \infty$

最後の関数は標準正規分布 N(0, 1) の特性関数である。特性関数と確率分布の対応は一対一なので、この結果は、Z_n の確率分布が $n\to \infty$ の極限で標準正規分布 N(0, 1) に収束することを意味する。

以上により、部分和 S_n = X₁ + … + X_n は正規分布 N(nµ, nσ²) に収束し、標本平均 ${\bar {X}}_{n}=(X_{1}+\cdots +X_{n})/n$ は正規分布 N(µ, σ²/n) に収束することが証明された。

正規分布に収束しない場合

より一般化された確率理論（確率の公理）では、中心極限定理は弱収束理論 (weak-convergence theories) の一部となる。それによると、独立同分布 (i.i.d.) に従う確率変数の分散（2次のモーメント）が有限な場合は「確率変数の和の確率分布」は変数の数が多くなるに従い正規分布に収束するが、確率変数が従う分布の裾が |x|^−α−1（ただし 0 < α < 2）のべき乗で減衰する場合（分布の裾が厚くなり分散は無限大に発散して）（正規分布には収束せず）特性指数 α の安定分布に収束する。

※なお安定分布は特性指数が 0 < α < 2 のとき分散は無限大となり、分布の裾が冪乗則に従うファットテールを有する。

脚注

参考文献

• Feller, William (1968). An introduction to probability theory and its applications. I (Third ed.). John Wiley & Sons, Inc.. ISBN 0-471-25711-7 

• W. フェラー『確率論とその応用（第1巻、第2版）』 下巻、紀伊国屋書店、1961年。NDLJP:2421978。 

関連項目

• 確率論
• 大数の法則
• ド・モアブル=ラプラスの定理