4. 复合变量的概率空间

二维连续变量条件空间理解

假设我们有两个变量 $X, Y$, 存在一定的概率密度函数 $f_{XY}(x,y)$ 来表示在 $X = x, Y = y$ 情况的概率密度
这个图像在 $xyf$ 三维坐标下表现为 一个 $f\in(0,1)$ 的一个曲面
其和 $f = 0$ 平面形成的体积为 1

有效坐标 support

我们称 坐标 $(x,y)$ $f_{XY}(x,y) > 0$ 为有效坐标，也就是在这个坐标上有可能发生事件

边界概率 marginal probability

如果我们想知道某一个变量的概率密度分布，那么我们就需要将这个二维曲面压缩到一维曲线上
例如我们想知道 $f_{XY}$ 转变成 $f_X$ 的形状，那么我们就可以将 y 坐标压缩到 x 轴上，也就是将 所有 y 的可能性都累加起来保存到 x 上，公式表达为:

$f_{X}(x) = \int_{-\infty}^{\infty} f_{XY}(x,y)dy$

或者我们可以把积分上下界表示为 平面中 y 的最大可能性曲线和最小可能性曲线的差值（注意这里可能会有分段的可能）
这里要想清楚，求积分是为了将一定 x 下的所有 y 的可能性都加上去，那么分段之间表示可能性，分段的两边不是直接相加的

条件概率 conditional probability

比如我们想知道 在 $Y = 2$ 的情况下，$X$ 的概率密度分布，那么我们就需要将 $f_{XY}$ 曲面上的 $Y = 2$ 的曲线压缩到 $X$ 轴上
首先我们要使用贝叶斯公式计算:

$f_{X|Y = y}(x) = \frac{f_{XY}(x,y)}{f_Y(y)}$

在这个公式中, 注意这里的 $Y$ 不再是一个变量，而是一个参数，所以这里的 $f_{XY}(x,y)$ 也不再是一个二维概率密度函数, 而是在某个 y 下的一维条件概率函数。
这个公式中如果 x, y 互不独立，则必然会包含 $y$ 变量，所以直接化简我们会得到一个对于不同 $y$ 条件下 $x$ 的一维概率密度函数
而且对于分段的 $f_{Y}(y)$ 我们也可以根据 y 的实际取值确定选取哪个分段获得数值 $f_Y(y)$ 后代入上式计算

协方差 covariance

协方差是用来衡量两个变量之间的关系的，其公式为：

$Cov(X,Y) = E[(X - E[X])(Y - E[Y])]$

或者写作:

$Cov(X,Y) = E[XY] - E[X]E[Y]$

其具有对称性，即:

$Cov(X,Y) = Cov(Y,X)$

自身协方差等于方差 variance:

$Cov(X,X) = Var(X)$

协方差系数 correlation coefficient 是用来衡量两个变量之间的关系的，其公式为：

$\rho(X,Y) = \frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$

独立性 independence

定义式

离散变量：$P(X,Y) = P(X)P(Y)$
连续变量：$f_{XY}(x,y) = f_X(x)f_Y(y)$

实用式

离散变量 $p_{X|Y = y}(x) = p_X(x)$
连续变量 $f_{X|Y = y}(x) = f_X(x)$

矩形法则

对于连续随机变量 $X, Y$ 如果 $X, Y$ 独立，那么 $X, Y$ 的联合概率密度函数可以表示为 $f_{XY}(x,y) = f_X(x)f_Y(y)$. 既如此，我们找 $f_X(x)$ 和 $f_Y(y)$ 的各自取值区间，将其变为矩形，然后观察 $f_{XY}(x,y)$ 取值范围是否为矩形，如果不是，说明存在点使得 $f_{XY} = 0$, $f_X >0, f_Y > 0$，那么 $X, Y$ 不独立

独立变量协方差

由于独立变量的期望函数 $$ E[XY] = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xyf_{XY}(x,y)dxdy = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xf_X(x)dx\int_{-\infty}^{\infty}yf_Y(y)dy = E[X]E[Y] $$
其协方差计算式:

$Cov(X,Y) = E[XY] - E[X]E[Y] = 0$

而且其协方差系数 $\rho(X,Y) = 0$