KL 散度 Divergence

原创 人工智能 机器学习

1. 信息量

首先我们要懂信息量的概念，任何一个事件都会承载一个信息量。当一件事情发生的概率很高时，他承载的信息量就越少，例如“1+1=2”这个事情我们是已知的，所以当别人告诉我们这件事时我们不能获取任何信息，即信息量为 0，但是”中国足球世界杯夺冠”这件事给我们的信息量是巨大的，我们将离散型随机变量$X$包含的信息量如下表示：

设$X$是一个离散型随机变量，概率分布$P=p(X=x_i)$，则定义事件$X=x_i$的信息量为：$I(x_i)=-log(p(x_i))$

2. 信息熵

信息量是单个事件发生的情况下我们所获得的信息量，当然一个离散型随机变量$X$包含不止一个事件，我们将其全部列出，得到所有可能发生的事件的信息量的期望，这个期望就是信息熵。数学表达如下所是：

假设$X$是一个离散型随机变量，且有$n$种可能性，发生$x_i$事件的概率为$p(x_i)$，则$X$的信息熵为：$H(X)=-\sum_{i=1}^{n}p(x_i)log(p(x_i))$

特别的，对于二项分布的问题（0-1 分布），信息熵的计算如下：

$$
H(X)=-\sum_{i=1}^{n}p(x_i)log(p(x_i))=-p(x)log(p(x))-(1-p(x))log(1-p(x))
$$

3. KL散度（相对熵）

$$
D_{KL}(p||q)=\sum_{i=1}^{N}[p(x_i)log{p(x_i)}-p(x_i)log{q(x_i)}]
$$

对于同一个随机变量$X$，有两个单独的概率分布$P(x) ~and ~Q(x)$，用KL散度来衡量这两个分布的差异。

通常情况下：$P(x)$表示真实分布，$Q(x)$表示模型所预测的分布，KL散度用来计算两个分布的差异，即$D_{KL}(p||q)=\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$，公式表示当$Q$的分布越来越接近$P$（即$Q$的分布拟合$P$）时，散度越小，损失值越小

KL散度不具有对称性，即分布$P$到分布$Q$的距离不等于分布$Q$到分布$P$的距离$D_{KL}(P||Q)\neq D_{KL}(Q||P)$KL散度非负

KL非负证明：

要证：$D_{KL}(p||q)=\sum_{i=1}^{N}[p(x_i)log{p(x_i)}-p(x_i)log{q(x_i)}]\geqslant 0$

即证：$\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})\leqslant 0$

又：$ln(x)\leqslant x-1$，当且仅当$x=1$时等号成立

故：$\sum_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})\leqslant \sum_{i=1}^{{n}p(x_i)(\frac{p(x_i)}{q(x_i)}-1)=\sum_{i=1}}{n}[p(x_i)-q(x_i)]=0$

4. 交叉熵

$$
H(p,q)=H(p)+D_{KL}(p||q)=-\sum_{i=1}^{n}p(x_i)log(q(x_i))
$$

由于交叉熵和相对熵之间仅差了一个信息熵，而信息熵又是一个确定的值，因此可以直接用交叉熵作为 Loss 进行反向传播

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:06 pm