切比雪夫不等式 Chebyshev’s Inequality
马尔可夫不等式 Markov’s Inequality
公式:
P [ X ≥ t ] ≤ E [ X ] t P[X \ge t] \le \frac{E[X]}{t}
P [ X ≥ t ] ≤ t E [ X ]
这个公式限制了限制了随机变量的累积分布函数存在一个下界限制，可以用来推导切比雪夫不等式
证明
E [ X ] = ∫ − ∞ ∞ x f ( x ) d x = ∫ 0 x x f ( x ) d x ≥ ∫ a ∞ x f ( x ) d x ≥ ∫ a ∞ a f ( x ) d x = a P ( x ≥ a ) E[X] = \int_{-\infty}^\infty xf(x)dx = \int_0^x xf(x)dx \ge \int_a ^\infty xf(x)dx \ge \int_a^\infty af(x)dx = aP(x\ge a)
E [ X ] = ∫ − ∞ ∞ x f ( x ) d x = ∫ 0 x x f ( x ) d x ≥ ∫ a ∞ x f ( x ) d x ≥ ∫ a ∞ a f ( x ) d x = a P ( x ≥ a )
切比雪夫不等式公式
切比雪夫不等式会使用方差来作为一随机变量超过平均值概率的上限:
P [ ∣ X − μ ∣ ≥ t ] ≤ V a r [ X ] t 2 P[|X - \mu| \ge t] \le \frac{Var[X]}{t^2}
P [ ∣ X − μ ∣ ≥ t ] ≤ t 2 V a r [ X ]
或者可以用标准差来写:
P [ ∣ X − μ ∣ ≥ t σ ] ≤ 1 t 2 P[|X - \mu| \ge t\sigma] \le \frac{1}{t^2}
P [ ∣ X − μ ∣ ≥ t σ ] ≤ t 2 1
证明
这里我们使用马尔可夫不等式进行推导:
P [ ∣ X − μ ∣ ≥ t ] = P [ ( X − μ ) 2 ≥ t 2 ] ≤ E [ ( X − μ ) 2 ] t 2 = V a r [ X ] t 2 P[|X - \mu| \ge t] = P[(X - \mu)^2 \ge t^2] \le \frac{E[(X - \mu)^2]}{t^2} = \frac{Var[X]}{t^2}
P [ ∣ X − μ ∣ ≥ t ] = P [ ( X − μ ) 2 ≥ t 2 ] ≤ t 2 E [ ( X − μ ) 2 ] = t 2 V a r [ X ]
也就是将马尔可夫不等式的 X 换元成了 ∣ X − μ ∣ |X-\mu| ∣ X − μ ∣ V a r [ X ] = E 2 [ X ] − E [ X ] 2 Var[X] = E^2[X] - E[X]^2 V a r [ X ] = E 2 [ X ] − E [ X ] 2
作用
从这个表达式中我们可以看出，这个不等式说明了随机变量分布在离 均值达到 t × σ t\times \sigma t × σ
大数定律 Law of Large Numbers
描述相当多次数重复实验的结果, 当样本数量越多, 其算术平均值越接近于其期望均值的稳定性和可预测性
弱大数定律 WLLN, 辛钦定律
样本均值依概率收敛于期望ϵ \epsilon ϵ
lim n → ∞ P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) = 0 \lim_{n\to \infty}P(|\bar{X}_n - \mu| \ge \epsilon)= 0
n → ∞ lim P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) = 0
利用切比雪夫不等式证明
带入切比雪夫公式，我们有:
P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) ≤ V a r [ X ˉ n ] ϵ 2 = V a r [ X ] n ϵ 2 P(|\bar{X}_n - \mu| \ge \epsilon) \le \frac{Var[\bar{X}_n]}{\epsilon^2} = \frac{Var[X]}{n\epsilon^2}
P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) ≤ ϵ 2 V a r [ X ˉ n ] = n ϵ 2 V a r [ X ]
由于对于一组数据其方差有限，所以我们可以得到:
lim n → ∞ P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) = 0 \lim_{n\to \infty}P(|\bar{X}_n - \mu| \ge \epsilon)= 0
n → ∞ lim P ( ∣ X ˉ n − μ ∣ ≥ ϵ ) = 0
强大数定律 SLLN
样本均值依概率1收敛于期望
P ( lim n → ∞ X ˉ n = μ ) = 1 P(\lim_{n\to \infty} \bar{X}_n = \mu) = 1
P ( n → ∞ lim X ˉ n = μ ) = 1
这个证明方法就比较困难，我们这里就不叙述了
特征函数 Characteristic Function
特征函数定义了随机变量的概率分布ϕ X ( t ) = E ( e i t X ) \phi_X(t) = E(e^{itX}) ϕ X ( t ) = E ( e i t X ) i X iX i X X X X
φ X ( t ) = M i X ( t ) = M X ( i t ) \varphi_X(t) = M_{iX}(t) = M_X (it)
φ X ( t ) = M i X ( t ) = M X ( i t )
虽然对于某些随机变量而言矩母函数并不存在，但是特征函数是一定存在的
φ X ( t ) = ∫ − ∞ ∞ e i t X f X ( x ) d x \varphi_X(t) = \int_{-\infty}^\infty e^{itX} f_X(x)dx
φ X ( t ) = ∫ − ∞ ∞ e i t X f X ( x ) d x
这个形式与傅立叶变换类似，因此我们可以认为这是一个对概率密度函数进行傅里叶变换的公式。特征函数本质上是分布的频域表示，而概率密度函数是其时域表示。ϕ X ( t ) = ∫ − ∞ ∞ e i t X d F X ( x ) \phi_X(t) = \int_{-\infty}^{\infty} e^{itX} dF_X(x) ϕ X ( t ) = ∫ − ∞ ∞ e i t X d F X ( x ) ϕ X ( t ) = E [ e i t X ] = ∑ x p ( x ) e i t x \phi_X(t) = E[e^{itX}] = \sum_{x} p(x) e^{itx} ϕ X ( t ) = E [ e i t X ] = ∑ x p ( x ) e i t x
反演公式
用如下公式从特征函数恢复到一半分布
f X ( x ) = 1 2 π ∫ − ∞ ∞ e − i t x φ X ( t ) d t f_X(x) = \frac{1}{2\pi} \int_{-\infty}^{\infty}e^{-itx} \varphi_X(t)dt
f X ( x ) = 2 π 1 ∫ − ∞ ∞ e − i t x φ X ( t ) d t
常用性质
乘积性质
φ X + Y ( t ) = φ X ( t ) ⋅ φ Y ( t ) \varphi_{X+Y}(t) = \varphi_X(t)\cdot \varphi_Y(t)
φ X + Y ( t ) = φ X ( t ) ⋅ φ Y ( t )
随机变量的矩
中心极限定理 Central Limit Theorem, CLT
对于独立并同样分布的随机变量，即使原始变量本身不是正态分布，其均值的分布会趋向于正态分布
青春版: 棣莫弗-拉普拉斯定理 De Moivre–Laplace theorem
参数为n, p的二项分布以 np 为均值、np(1-p) 为方差的正态分布为极限
在高尔顿板问题上的应用
p = 1 2 p=\frac{1}{2} p = 2 1
社区版: 林德伯格-列维中心极限定理 Lindeberg–Lévy
独立同分布且期望方差有限的随机变量以标准正态分布为极限X 1 , X 2 , ⋯ , X n X_1, X_2, \cdots, X_n X 1 , X 2 , ⋯ , X n μ \mu μ σ 2 \sigma^2 σ 2
lim n → ∞ P ( ∑ i = 1 n X i − n μ σ n ≤ x ) = Φ ( x ) \lim_{n\to \infty} P(\frac{\sum_{i=1}^n X_i - n\mu}{\sigma\sqrt{n}} \le x) = \Phi(x)
n → ∞ lim P ( σ n ∑ i = 1 n X i − n μ ≤ x ) = Φ ( x )
其中 Φ ( x ) \Phi(x) Φ ( x )
_-_Galton_1889_diagram.png)