自编码器 AE

原创

1. 基本概念

1985 年 Rumelhart 和 Hinton 通过使用输入数据作为引导解决“没有引导的反向传播”问题而提出的模型是自编码器的最初形式，结构如图所示，其中模型包含两部分：编码器（Encoder）和解码器（Decoder），给定输入\(X\)，首先编码器将高维输入\(X\)编码到低维空间\(Z\)中，随后解码器将低维空间\(Z\)进行解码还原输入\(X\)，自编码器通过求解两个映射\(f\)和\(g\)使得重建误差达到最小，如下式所示：

\[ \begin{aligned} f:X\to Z \\ g:Z\to X' \end{aligned} \]

\[ f,g=\mathop{\arg\min}_{f,g}(X,f(g(X)))_{L} \]

当输出\(X'\)无限接近于输入\(X\)，即\(X'\approx X\)时，就得到了自编码器模型

2. 作用

自编码器实质上是一种神经网络，属于无监督学习算法。自编码器在编码和解码阶段具有高度对称的网络结构，输入为无标签数据集，主要通过梯度下降和反向传播算法学习输入到输出之间的映射，并根据输出与输入之间的误差不断调整模型参数，最终使重构误差最小

自编码器能够自动提取目标特征，有效地解决了传统手动方法提取特征不足的问题，同时还能有效地避免过拟合情况。在应用方面，自编码器被应用到了很多领域，例如图像分类、目标识别以及自然语言处理等。自编码器依然存在一些缺点，例如逐层训练使得模型训练时间较长，自编码器属于无监督学习，不能用物理意义来很好的描述所其学习到的特征，但是随着技术的发展和研究的深入，相信上述问题能够被很好地解决

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Apr 27, 2026 07:56 pm