当前位置： 首页 > article >正文

【深度学习】常见模型-自编码器（Autoencoder, AE）

article 2025/1/30 14:12:25

自编码器是一种无监督学习模型，通常用于数据降维、特征提取、去噪等任务。其核心思想是利用神经网络将输入数据压缩到低维表示（编码），再通过解码器将其还原为原始数据的近似值。自编码器的目标是最小化原始数据与重构数据之间的误差。

自编码器的基本结构

自编码器由两个主要部分组成：

  1. 编码器（Encoder）：

    • 将高维输入数据映射到低维的潜在空间（Latent Space）。
    • 主要目的是学习输入数据的压缩表示。

  2. 解码器（Decoder）：

    • 将编码器的输出映射回原始输入空间，重构出接近输入的数据。
    • 主要目的是恢复原始数据。

网络的输入和输出维度通常相同，而中间的编码层（潜在空间）具有更少的神经元。

数学公式

设输入数据为 x，目标是通过编码器 f_{\text{encoder}}(x) 和解码器 f_{\text{decoder}}(z) 恢复输入。模型的目标是最小化重构误差，通常表示为以下损失函数：

\mathcal{L}(x, \hat{x}) = \|x - \hat{x}\|^2 = \|x - f_{\text{decoder}}(f_{\text{encoder}}(x))\|^2

其中：

  • z = f_{\text{encoder}}(x)：编码器的输出（潜在表示）。
  • \hat{x} = f_{\text{decoder}}(z)：解码器的输出（重构数据）。

自编码器的主要变体

  1. 去噪自编码器（Denoising Autoencoder, DAE）：

    • 在输入数据上加入噪声，训练模型去除噪声并重构干净数据。
    • 适用于图像和信号的去噪任务。

  2. 稀疏自编码器（Sparse Autoencoder）：

    • 通过在潜在空间添加稀疏性约束，让编码器学到更具判别性的特征。
    • 适用于特征提取。

  3. 变分自编码器（Variational Autoencoder, VAE）：

    • 生成模型，学习数据的概率分布。
    • 适用于生成任务，如图像生成、数据填充。

  4. 卷积自编码器（Convolutional Autoencoder, CAE）：

    • 使用卷积层替代全连接层，适合处理图像数据。

  5. 对抗自编码器（Adversarial Autoencoder, AAE）：

    • 结合 GAN 的思想，增强生成能力。

代码实现

以下是一个使用 Keras 构建和训练简单自编码器的示例：

import numpy as np
import matplotlib.pyplot as plt
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Dense

# 构建自编码器
input_dim = 784  # 输入维度（例如MNIST图像展平后的维度）
encoding_dim = 32  # 潜在表示的维度

# 编码器
input_img = Input(shape=(input_dim,))
encoded = Dense(encoding_dim, activation='relu')(input_img)

# 解码器
decoded = Dense(input_dim, activation='sigmoid')(encoded)

# 自编码器模型
autoencoder = Model(input_img, decoded)

# 编码器模型
encoder = Model(input_img, encoded)

# 解码器模型
encoded_input = Input(shape=(encoding_dim,))
decoder_layer = autoencoder.layers[-1](encoded_input)
decoder = Model(encoded_input, decoder_layer)

# 编译模型
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')

# 加载数据（MNIST）
from tensorflow.keras.datasets import mnist
(x_train, _), (x_test, _) = mnist.load_data()
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
x_train = x_train.reshape((len(x_train), np.prod(x_train.shape[1:])))
x_test = x_test.reshape((len(x_test), np.prod(x_test.shape[1:])))

# 训练模型
autoencoder.fit(x_train, x_train,
                epochs=50,
                batch_size=256,
                shuffle=True,
                validation_data=(x_test, x_test))

# 可视化结果
encoded_imgs = encoder.predict(x_test)
decoded_imgs = autoencoder.predict(x_test)

# 显示原始图像和重构图像
n = 10  # 显示10张图像
plt.figure(figsize=(20, 4))
for i in range(n):
    # 原始图像
    ax = plt.subplot(2, n, i + 1)
    plt.imshow(x_test[i].reshape(28, 28), cmap='gray')
    plt.title("Original")
    plt.axis('off')

    # 重构图像
    ax = plt.subplot(2, n, i + 1 + n)
    plt.imshow(decoded_imgs[i].reshape(28, 28), cmap='gray')
    plt.title("Reconstructed")
    plt.axis('off')
plt.show()

 运行结果

Epoch 1/50
235/235 [==============================] - 2s 5ms/step - loss: 0.2770 - val_loss: 0.1903
Epoch 2/50
235/235 [==============================] - 1s 4ms/step - loss: 0.1710 - val_loss: 0.1545
Epoch 3/50
235/235 [==============================] - 1s 5ms/step - loss: 0.1447 - val_loss: 0.1338
Epoch 4/50
235/235 [==============================] - 1s 4ms/step - loss: 0.1286 - val_loss: 0.1216
Epoch 5/50
235/235 [==============================] - 1s 4ms/step - loss: 0.1185 - val_loss: 0.1131
Epoch 6/50
235/235 [==============================] - 1s 5ms/step - loss: 0.1116 - val_loss: 0.1074
Epoch 7/50
235/235 [==============================] - 1s 6ms/step - loss: 0.1066 - val_loss: 0.1032
Epoch 8/50
235/235 [==============================] - 1s 5ms/step - loss: 0.1028 - val_loss: 0.1000
Epoch 9/50
235/235 [==============================] - 1s 5ms/step - loss: 0.1000 - val_loss: 0.0976
Epoch 10/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0979 - val_loss: 0.0959
Epoch 11/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0966 - val_loss: 0.0948
Epoch 12/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0956 - val_loss: 0.0940
Epoch 13/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0950 - val_loss: 0.0935
Epoch 14/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0946 - val_loss: 0.0931
Epoch 15/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0942 - val_loss: 0.0928
Epoch 16/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0940 - val_loss: 0.0927
Epoch 17/50
235/235 [==============================] - 1s 6ms/step - loss: 0.0938 - val_loss: 0.0925
Epoch 18/50
235/235 [==============================] - 1s 6ms/step - loss: 0.0937 - val_loss: 0.0923
Epoch 19/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0935 - val_loss: 0.0922
Epoch 20/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0934 - val_loss: 0.0922
Epoch 21/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0933 - val_loss: 0.0920
Epoch 22/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0933 - val_loss: 0.0920
Epoch 23/50
235/235 [==============================] - 1s 6ms/step - loss: 0.0932 - val_loss: 0.0922
Epoch 24/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0931 - val_loss: 0.0919
Epoch 25/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0931 - val_loss: 0.0919
Epoch 26/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0930 - val_loss: 0.0918
Epoch 27/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0930 - val_loss: 0.0917
Epoch 28/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0929 - val_loss: 0.0917
Epoch 29/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0929 - val_loss: 0.0917
Epoch 30/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0929 - val_loss: 0.0917
Epoch 31/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0928 - val_loss: 0.0917
Epoch 32/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0928 - val_loss: 0.0917
Epoch 33/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0928 - val_loss: 0.0916
Epoch 34/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0928 - val_loss: 0.0916
Epoch 35/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 36/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 37/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 38/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 39/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 40/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0927 - val_loss: 0.0916
Epoch 41/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0926 - val_loss: 0.0916
Epoch 42/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0926 - val_loss: 0.0915
Epoch 43/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0926 - val_loss: 0.0915
Epoch 44/50
235/235 [==============================] - 1s 5ms/step - loss: 0.0926 - val_loss: 0.0914
Epoch 45/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0926 - val_loss: 0.0916
Epoch 46/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0926 - val_loss: 0.0914
Epoch 47/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0925 - val_loss: 0.0914
Epoch 48/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0925 - val_loss: 0.0914
Epoch 49/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0925 - val_loss: 0.0915
Epoch 50/50
235/235 [==============================] - 1s 4ms/step - loss: 0.0925 - val_loss: 0.0914
313/313 [==============================] - 0s 851us/step
313/313 [==============================] - 0s 930us/step

 

应用领域

  1. 降维与特征提取：

    • 替代传统降维方法（如 PCA），提取更具表达性的特征。

  2. 去噪：

    • 从受噪声污染的数据中恢复干净数据（如图像去噪、信号去噪）。

  3. 异常检测：

    • 在工业检测、金融风险监控等领域，用于检测异常数据点。

  4. 图像生成：

    • 通过变分自编码器（VAE）生成高质量图像。

  5. 推荐系统：

    • 提取用户或物品的低维表示，用于协同过滤和推荐。

优缺点

优点：
  1. 模型简单，易于实现和训练。
  2. 适用于降维、去噪等任务。
  3. 可扩展性强，适合结合其他模型（如 GAN）。
缺点：
  1. 在生成任务中的效果不如 GAN。
  2. 编码器和解码器需要对称设计，限制了灵活性。
  3. 在高维数据中可能面临训练难度。

扩展思路

结合自编码器与其他技术可以提升模型的效果。例如：

  1. 在变分自编码器（VAE）中加入正则化项，使潜在表示服从标准正态分布。
  2. 利用对抗训练（如 AAE）提升生成器的能力。
  3. 将卷积层和池化层引入自编码器，以适应图像处理任务。

自编码器在数据分析和生成领域中具有广泛的应用前景，是深度学习的重要工具之一。


http://www.kler.cn/a/522433.html

相关文章：

  • Spring MVC 综合案例
  • 【Numpy核心编程攻略：Python数据处理、分析详解与科学计算】1.20 极值追踪：高效获取数据特征的秘诀
  • C语言基础3
  • AI软件外包需要注意什么 外包开发AI软件的关键因素是什么 如何选择AI外包开发语言
  • RK3588平台开发系列讲解（ARM篇）ARM64底层中断处理
  • 程序代码篇---C++常量引用
  • python -m pip和pip的主要区别
  • 亚博microros小车-原生ubuntu支持系列：14雷达跟踪与雷达守卫
  • CAN波特率匹配
  • OPPO自研DataFlow架构与实践
  • RHEL封闭环境部署zabbix
  • 【数据资产】数据资产管理概述
  • Workerman和Swoole有什么区别
  • Verilog中if语句和case语句综合出的电路区别
  • RabbitMQ 多种安装模式
  • 【信息系统项目管理师-选择真题】2013下半年综合知识答案和详解
  • 基于Springboot + vue实现的洗衣店订单管理系统
  • 2025年01月27日Github流行趋势
  • MySQL 日志：undo log、redo log、binlog 概述
  • java基础——专题一 《面向对象之前需要掌握的知识》
  • 一文大白话讲清楚webpack基本使用——18——HappyPack
  • react页面定时器调用一组多个接口，如果接口请求返回令牌失效，清除定时器不再触发这一组请求
  • 【浏览器 - Chrome调试模式，如何输出浏览器中的更多信息】
  • 如何根据壁纸主题选择合适的主色调？
  • 对海康威视工业相机进行取图
  • 产业园管理系统提升企业综合管理效率与智能化水平的成功案例分析