平均値・標準偏差のN依存性

測定値に揺らぎがある場合、値Xが得られるのはある確率の分布に従うと考えられる。このとき、Xを確率変数という。
Xの期待値<X>はXにそれが起こる確率をかけて加え合わせればよい。例えば、サイコロを１回振って出る目の期待値は確率がそれぞれ1/6なので、 <X>=(1+2+3+4+5+6)/6=3.5 というように計算する。
期待値については線形性がある。つまりa,bが定数のとき、 $<aX+b>=a<X>+b$ となっている。

さて、ある測定でXという量を何回か測定したとし、各測定で得られた値をX_iとする。 Xはある確率分布に従う（じっさいにはガウス分布になることが多い）ので、<X>=m とすると、各X_iに対しても<X_i>=m であり、平均値 $\bar{X}\equiv\frac{1}{N}\sum_{i=1}^N X_i$ に対しても、 $<\bar{X}>=m$ となることは容易にわかる。

標準偏差はどうなるであろうか？ σは $\sigma^2\equiv<(X-m)^2>=<X^2>-m^2$ と定義できる。（これは無限に測定が繰り返せるとした場合の理想的な値である。）
N個の平均値の真の値からのずれは

$\sigma_m^2&\equiv&<(\bar{X}-m)^2>$
$=<(\frac{1}{N}\sum_{i=1}^NX_i)-m)^2>$
$=<(\frac{1}{N}\sum_{i=1}^N(X_i-m))^2>$
$=\frac{1}{N^2}\sum_{i=1}^N<(X_i-m)^2>$
$=\frac{N}{N^2}\sigma^2=\frac{1}{N}\sigma^2$

となって、平均値の精度(標準偏差）は $1/\sqrt{N}$ に比例していることが分かる。
この計算では各測定値の間に相関がないこと、すなわち、 $<(X_i-m)(X_j-m)>=<X_i-m><X_j-m>=0$ を仮定していることに注意。

次に、標準偏差と不偏標準偏差の関係を示そう。
真の値mはわかっていないので、実際に測定値から標準偏差を計算する際には mを平均値 $\bar{X}$ で代用して計算する。そうすると、

$\sigma'^2&\equiv&<(X_i-\bar{X})^2>$
$=<((X_i-m)-\frac{1}{N}\sum_{j=1}^N(X_j-m))^2>$
$=<\frac{(N-1)^2}{N^2}(X_i-m)^2+\frac{1}{N^2}\sum_{j=1,j\neq i}^N(X_j-m)^2>$
$=\frac{(N-1)^2}{N^2}\sigma^2+\frac{N-1}{N^2}\sigma^2$
$$$=\frac{N-1}{N}\sigma^2$

となって、期待値としては正しい値の(N-1)/N倍が得られることがわかる。
これを補正するために不偏標準偏差 $\sigma^2=\frac{1}{N-1}\sum_{i=1}^N<(X_i-\bar{X})^2$ を用いるのである。