malkov

马尔科夫链 Markov Chain

• 三要素

  • 状态空间 states space
  • 无记忆性 memorylessness
  • 转移矩阵 transition matrix

• 无记忆性

  • 定义：可能性的分布只和前一天的结果有关，和之前的无关
  • 数学公式 $\mathbb P[S_t | S_{t-1},\cdots,S_1]= \mathbb P[S_t|S_{t-1}]$

• 转移矩阵

  • 举例：如果小明买早饭有包子和水饺两种可能，已知前一天吃了包子，第二天变成水饺的可能性为 $60\%$, 第一天吃了水饺，第二天吃包子的可能性为 $50\%$

    • 这种情况下，小明第一天吃了包子，那么向量为 $\vec v = \begin{pmatrix} 1\\ 0\end{pmatrix}$, 旋转矩阵为 $M = \begin{pmatrix}0.4&,&0.5\\0.6&,&0.5\end{pmatrix}$, 那么第二天吃早饭的概率为 $p_1 = M\vec v= \begin{pmatrix}0.4\0.6\end{pmatrix} $, 第三天吃早饭的概率 $p_2 = M^2 \vec v = \begin{pmatrix}0.46\\0.54\end{pmatrix}$

    • 同理，不断推演下去我们会达到也给稳定的概率分布结果

      • 我们能发现稳态和初始状态 $\begin{pmatrix}1\\0\end{pmatrix}$ 是无关的