自编码器 AE

原创

1. 基本概念

1985 年 Rumelhart 和 Hinton 通过使用输入数据作为引导解决“没有引导的反向传播”问题而提出的模型是自编码器的最初形式，结构如图所示，其中模型包含两部分：编码器（Encoder）和解码器（Decoder），给定输入$X$，首先编码器将高维输入$X$编码到低维空间$Z$中，随后解码器将低维空间$Z$进行解码还原输入$X$，自编码器通过求解两个映射$f$和$g$使得重建误差达到最小，如下式所示：

$$
\begin{aligned}
f:X\to Z \
g:Z\to X’
\end{aligned}
$$

$$
f,g=\mathop{\arg\min}{f,g}(X,f(g(X))){L}
$$

当输出$X’$无限接近于输入$X$，即$X’\approx X$时，就得到了自编码器模型

2. 作用

自编码器实质上是一种神经网络，属于无监督学习算法。自编码器在编码和解码阶段具有高度对称的网络结构，输入为无标签数据集，主要通过梯度下降和反向传播算法学习输入到输出之间的映射，并根据输出与输入之间的误差不断调整模型参数，最终使重构误差最小

自编码器能够自动提取目标特征，有效地解决了传统手动方法提取特征不足的问题，同时还能有效地避免过拟合情况。在应用方面，自编码器被应用到了很多领域，例如图像分类、目标识别以及自然语言处理等。自编码器依然存在一些缺点，例如逐层训练使得模型训练时间较长，自编码器属于无监督学习，不能用物理意义来很好的描述所其学习到的特征，但是随着技术的发展和研究的深入，相信上述问题能够被很好地解决

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm