损失函数 Loss Function

  • L1 损失

    • 就是火色特说的 ∣∣⋅∣∣1||\cdot||_1 损失，或者说是绝对值损失函数

  • L2 损失

    • 就是色特说的 ∣∣⋅∣∣2||\cdot||_2 损失，或者说是平方损失函数

    • Hubert Loss：修正主义，将L1和L2进行结合

      • 公式 HuberLoss={12(Yi−Yi′)2,∣Yi−Yi′∣≤αα(∣Yi−Yi′∣−12α),∣Yi−Yi′∣>αHuber Loss = \begin{cases}\frac 1 2(Y_i - Y'_i)^2,& |Y_i-Y_i'|\le\alpha\\\alpha(|Y_i - Y_i'|-\frac 1 2\alpha), &|Y_i - Y_i'|>\alpha\end{cases} 曲线介于两者之间，在差小的时候损失较小，差大的时候介于 L1和L2之间

  • 熵损失

    • 很多时候我们的结果是预测的概率，Yi,Yi′Y_i,Y_i' 分布于 (0,1)(0,1) 区间上, 且概率误差范围在 (−1,1)(-1,1) 之间
    • 我们用 ln⁡Yi−ln⁡Yi′\ln Y_i - \ln Y_i' 变换来求