人工智能常见的概率分布

PDF: 连续随机分布变量的概率密度函数
正态分布 Normal Distribution
- 背景：如果在事情发生前对事情存在一个定量的期望 $\mu$ , 那么事实上事情结果和期望的偏差构成的标准差 $\sigma$ 关系和其发生概率相关
- 中心极限定理(青春版) (central limit theorem )：在任何一个群体的样本的平均值都会围绕在该群体的整体平均值周围，并且呈正态分布
- 高斯分布 Gaussian / Bell-shaped
  - 公式 $p(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$
  - $\frac 1{\sqrt{2\pi}}$ 是用于归一法
  - 满足高斯分布的写作 $X\sim \mathcal N(\mu,\sigma)$
    - 其中 $\mu$ 表示期望，或者说是概率分布的峰值位置
    - $\sigma$ 表示的是标准差
- 为什么高斯分布和正态分布这么相关？
  - 卷积概率：从任意的概率分布函数 $f(x)$ 开始，用对原函数不断卷积得到函数序列 $f_i(x)$ , 当 $x\to \infty$ 时有 $f_\infty(x)$ 接近于正态分布（需要归一化）
  - $\sqrt 2$ 来自于概率平面沿着 $y+x = s$ 切片之后满足变化 $\Delta x\cdot \sqrt 2 = \Delta $底线长
  - 卷积可以解释两个独立概率函数同时发生的概率分布情况
  - 在概率平面上，我们将切割面旋转到沿着 x 轴方向移动，这下 $x$ 就是一个常数了，卷积只需要对 $y$ 进行积分 $Area = e^{-(s/\sqrt 2)^2}\int_\infty e^{-y^2}dy = e^{-s^2/2}\sqrt \pi$
    - 这个 $\frac{s}{\sqrt 2}$ 表示的是旋转之后和 x 轴的交点
    - 后面那个积分就是高斯积分公式，通过欧拉伽马函数进行计算得到的
- 公式 $\frac 1{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$
二项式分布
- 成功或者失败两种可能的分布，概率为 $p$
- 概率分布函数 $Binom(k|N,p) = \begin{pmatrix}N\\k\end{pmatrix} p^k(1-p)^{N-k}$
柏松分布 Poisson Distribution
- 提问：假设你在114中心工作，一天你能有多少个电话？
- 定义：满足以下条件的时候称为柏松分布
  - 事件相互独立
  - 短时间内成功的概率等于更长时间成功的的概率
    - 比如说不存在同时发生的事情，比如来看病的人总有相对先后
  - 时间间隔极短情况下概率趋近于 0
- 符号含义
  - $\lambda$ 表示事件发生的概率
  - $t$ 是时间间隔的长
  - $X$ 是该时间间隔内的事件数量
  - 满足柏松分布写作 $X\sim \pi(\lambda)$
- 公式 $p(X=k) = \frac{e^{-\lambda}\lambda^k}{k!}$
  - 举个例子，一家医院平均每小时出生三个婴儿，请问下一个小时会出生几个？
  - 上述公式中， $k$ 就表示出生小孩的数量
  - 如果我们要求接下来两个小时不出生的概率，那么就要将 $\lambda$ 变成 $(\lambda t)$ 求整体量
- 极大似然估计：通过观测结果来反向推断模型的结构
均匀分布
- 色子投下去，每个数字的可能性相同，这就是均匀分布
- 对于可能性在区间 $(a,b)$ 上的，PDF 为 $p(x) = \frac 1{b-a}$
卡方分布 chi-squared distribution
beta 分布
- 这个名字取自 186 最后一块学的 beta 函数
- 举例子：我们在打棒球的时候击球击中存在一个概率，我们只知道我的历史战绩，击中了 $\alpha$ 次，没击中 $\beta$ 次，但是这也不能说明我这次的击中可能性
- 我们使用 $X\sim Beta(\alpha,\beta)$ 进行估测