当前位置：首页 > article >正文

第T10周：数据增强

article 2024/11/14 16:24:10

本文为365天深度学习训练营中的学习记录博客
原作者：K同学啊

要求：
1.学会在代码中使用数据增强手段来提高acc。
2.请探索更多的数据增强手段并记录。

在本教程中，你将学会如何进行数据增强，并通过数据增强用少量数据达到非常非常棒的识别准确率。我将展示两种数据增强方式，以及如何自定义数据增强方式并将其放到我们代码当中，两种数据增强方式如下：

●将数据增强模块嵌入model中。
●在Dataset数据集中进行数据增强。

我的环境：
●操作系统：ubuntu 22.04
●语言环境：python 3.8.10
●编译器：jupyter notebook
●深度学习框架：tensorflow-gpu 2.9.0
●显卡（GPU）：RTX 3090(24GB) * 1
●数据集：猫狗识别数据集

一、前期准备工作

设置GPU

import matplotlib.pyplot as plt
import numpy as np
#隐藏警告
import warnings
warnings.filterwarnings('ignore')

from tensorflow.keras import layers
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")

# 打印显卡信息，确认GPU可用
print(gpus)

代码输出：

[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

加载数据

关于 tf.keras.preprocessing.image_dataset_from_directory 的介绍，不明白的直接看文末，或者参考下面的链接：
https://blog.csdn.net/qq_38251616/article/details/117018789

data_dir   = "./T10/data/"
img_height = 224
img_width  = 224
batch_size = 32

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

代码输出：

Found 600 files belonging to 2 classes.
Using 420 files for training.

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

代码输出：

Found 600 files belonging to 2 classes.
Using 420 files for training.

由于原始数据集不包含测试集，因此需要创建一个。使用 tf.data.experimental.cardinality 确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

代码输出：

Number of validation batches: 12
Number of test batches: 2

一共有猫、狗两类。

class_names = train_ds.class_names
print(class_names)

代码输出：

['cat', 'dog']

AUTOTUNE = tf.data.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):
        
        ax = plt.subplot(5, 8, i + 1) 
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
        
        plt.axis("off")

代码输出：

在这里插入图片描述

二、数据增强

我们可以使用 tf.keras.layers.experimental.preprocessing.RandomFlip 与 tf.keras.layers.experimental.preprocessing.RandomRotation 进行数据增强。

● tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像。
● tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像。

data_augmentation = tf.keras.Sequential([
  tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。

# Add the image to a batch.
image = tf.expand_dims(images[i], 0)

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")

代码输出：

在这里插入图片描述

更多的数据增强方式可以参考：https://www.tensorflow.org/api_docs/python/tf/keras/layers/RandomRotation

三、增强方式

方法一：将其嵌入model中

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])

这样做的好处是：

●数据增强这块的工作可以得到GPU的加速（如果你使用了GPU训练的话）。

注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测(Model.predict)时并不会进行增强操作。

方法二：在Dataset数据集中进行数据增强

batch_size = 32
AUTOTUNE = tf.data.AUTOTUNE

def prepare(ds):
    ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
    return ds

train_ds = prepare(train_ds)

四、训练模型

model = tf.keras.Sequential([
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

在准备对模型进行训练之前，还需要再对其进行一些设置。以下内容是在模型的编译步骤中添加的：

● 损失函数（loss）：用于衡量模型在训练期间的准确率。
● 优化器（optimizer）：决定模型如何根据其看到的数据和自身的损失函数进行更新。
● 评价函数（metrics）：用于监控训练和测试步骤。以下示例使用了准确率，即被正确分类的图像的比率。

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

开始训练~

epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

代码输出：

Epoch 1/20


2024-09-15 00:21:05.216477: I tensorflow/stream_executor/cuda/cuda_dnn.cc:384] Loaded cuDNN version 8101
2024-09-15 00:21:06.551473: I tensorflow/stream_executor/cuda/cuda_blas.cc:1786] TensorFloat-32 will be used for the matrix multiplication. This will only be logged once.


14/14 [==============================] - 3s 32ms/step - loss: 1.1919 - accuracy: 0.4952 - val_loss: 0.6887 - val_accuracy: 0.5871
Epoch 2/20
14/14 [==============================] - 0s 15ms/step - loss: 0.6859 - accuracy: 0.5976 - val_loss: 0.6700 - val_accuracy: 0.5927
Epoch 3/20
14/14 [==============================] - 0s 18ms/step - loss: 0.6659 - accuracy: 0.5881 - val_loss: 0.6179 - val_accuracy: 0.7331
Epoch 4/20
14/14 [==============================] - 0s 15ms/step - loss: 0.5920 - accuracy: 0.7190 - val_loss: 0.5332 - val_accuracy: 0.7472
Epoch 5/20
14/14 [==============================] - 0s 17ms/step - loss: 0.4965 - accuracy: 0.7571 - val_loss: 0.5305 - val_accuracy: 0.7472
Epoch 6/20
14/14 [==============================] - 0s 15ms/step - loss: 0.4794 - accuracy: 0.7762 - val_loss: 0.4872 - val_accuracy: 0.7837
Epoch 7/20
14/14 [==============================] - 0s 15ms/step - loss: 0.3937 - accuracy: 0.8238 - val_loss: 0.5130 - val_accuracy: 0.7669
Epoch 8/20
14/14 [==============================] - 0s 15ms/step - loss: 0.3522 - accuracy: 0.8429 - val_loss: 0.3639 - val_accuracy: 0.8427
Epoch 9/20
14/14 [==============================] - 0s 15ms/step - loss: 0.3392 - accuracy: 0.8595 - val_loss: 0.3348 - val_accuracy: 0.8652
Epoch 10/20
14/14 [==============================] - 0s 16ms/step - loss: 0.3118 - accuracy: 0.8762 - val_loss: 0.2473 - val_accuracy: 0.9073
Epoch 11/20
14/14 [==============================] - 0s 17ms/step - loss: 0.2262 - accuracy: 0.9119 - val_loss: 0.2550 - val_accuracy: 0.8933
Epoch 12/20
14/14 [==============================] - 0s 15ms/step - loss: 0.2041 - accuracy: 0.9190 - val_loss: 0.1783 - val_accuracy: 0.9382
Epoch 13/20
14/14 [==============================] - 0s 15ms/step - loss: 0.2558 - accuracy: 0.8952 - val_loss: 0.2264 - val_accuracy: 0.9129
Epoch 14/20
14/14 [==============================] - 0s 15ms/step - loss: 0.1994 - accuracy: 0.9286 - val_loss: 0.2842 - val_accuracy: 0.8876
Epoch 15/20
14/14 [==============================] - 0s 15ms/step - loss: 0.1981 - accuracy: 0.9095 - val_loss: 0.1974 - val_accuracy: 0.9101
Epoch 16/20
14/14 [==============================] - 0s 17ms/step - loss: 0.1840 - accuracy: 0.9310 - val_loss: 0.3588 - val_accuracy: 0.8596
Epoch 17/20
14/14 [==============================] - 0s 15ms/step - loss: 0.1623 - accuracy: 0.9357 - val_loss: 0.1836 - val_accuracy: 0.9157
Epoch 18/20
14/14 [==============================] - 0s 16ms/step - loss: 0.2005 - accuracy: 0.9214 - val_loss: 0.1794 - val_accuracy: 0.9410
Epoch 19/20
14/14 [==============================] - 0s 16ms/step - loss: 0.1412 - accuracy: 0.9524 - val_loss: 0.1218 - val_accuracy: 0.9522
Epoch 20/20
14/14 [==============================] - 0s 15ms/step - loss: 0.1174 - accuracy: 0.9548 - val_loss: 0.1472 - val_accuracy: 0.9298

loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)

代码输出：

2/2 [==============================] - 0s 7ms/step - loss: 0.1547 - accuracy: 0.9375
Accuracy 0.9375

五、自定义增强函数

import random
# 这是大家可以自由发挥的一个地方
def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness

image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

代码输出：

Min and max pixel values: 14.000048 253.28577

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))

    plt.axis("off")

代码输出：

在这里插入图片描述

那么如何将自定义增强函数应用到我们数据上呢？请参考上文的 preprocess_image 函数，将 aug_img 函数嵌入到 preprocess_image 函数中，在数据预处理时完成数据增强就OK啦。

六、tf.keras.preprocessing.image_dataset_from_directory() 简介

函数原型

tf.keras.preprocessing.image_dataset_from_directory(
    directory,
    labels="inferred",
    label_mode="int",
    class_names=None,
    color_mode="rgb",
    batch_size=32,
    image_size=(256, 256),
    shuffle=True,
    seed=None,
    validation_split=None,
    subset=None,
    interpolation="bilinear",
    follow_links=False,
)

官网地址：https://tensorflow.google.cn/api_docs/python/tf/keras/preprocessing/image_dataset_from_directory

作用
将文件夹中的数据加载到tf.data.Dataset中，且加载的同时会打乱数据。

注：如果你的目录结构是：

main_directory/
…class_a/
…a_image_1.jpg
…a_image_2.jpg
…class_b/
…b_image_1.jpg
…b_image_2.jpg

然后调用 image_dataset_from_directory(main_directory, labels=‘inferred’) 将返回一个tf.data.Dataset, 该数据集从子目录class_a和class_b生成批次图像，同时生成标签0和1（0对应class_a，1对应class_b）。

支持的图像格式：jpeg, png, bmp, gif. 动图被截断到第一帧。

参数

directory: 数据所在目录。如果标签是inferred（默认），则它应该包含子目录，每个目录包含一个类的图像。否则，将忽略目录结构。
labels: inferred（标签从目录结构生成），或者是整数标签的列表/元组，其大小与目录中找到的图像文件的数量相同。标签应根据图像文件路径的字母顺序排序（通过Python中的os.walk(directory)获得）。
label_mode:
. int：标签将被编码成整数（使用的损失函数应为：sparse_categorical_crossentropy loss）。
. categorical：标签将被编码为分类向量（使用的损失函数应为：categorical_crossentropy loss）。
. binary：意味着标签（只能有2个）被编码为值为0或1的float32标量（例如binary_crossentropy）。
. None：（无标签）。
class_names: 仅当labels为inferred时有效。这是类名称的明确列表（必须与子目录的名称匹配）。用于控制类的顺序（否则使用字母数字顺序）。
color_mode: grayscale、rgb、rgba之一。默认值：rgb。图像将被转换为1、3或者4通道。
batch_size: 数据批次的大小。默认值：32。
image_size: 从磁盘读取数据后将其重新调整大小。默认：（256，256）。由于管道处理的图像批次必须具有相同的大小，因此该参数必须提供。
shuffle: 是否打乱数据。默认值：True。如果设置为False,则按字母数字顺序对数据进行排序。
seed: 用于shuffle和转换的可选随机种子。
validation_split: 0和1之间的可选浮点数，可保留一部分数据用于验证。
subset: training或validation之一。仅在设置validation_split时使用。
interpolation: 字符串,当调整图像大小时使用的插值方法。默认为：bilinear。支持bilinear, nearest, bicubic, area, lanczos3, lanczos5, gaussian, mitchellcubic。
follow_links: 是否访问符号链接指向的子目录。默认：False。

Returns
一个tf.data.Dataset对象。

如果label_mode为None，它将生成float32张量，其shape为（batch_size, image_size[0], image_size(1), num_channels）,并对图像进行编码。
否则，将生成一个元组（images, labels），其中图像的shape为（batch_size, image_size[0], image_size(1), num_channels），并且labels遵循下面描述的格式。

关于labels格式规则：

如果label_mode 是 int, labels是形状为（batch_size, ）的int32张量。
如果label_mode 是 binary, labels是形状为（batch_size, 1）的1和0的float32张量。
如果label_mode 是 categorial, labels是形状为（batch_size, num_classes）的float32张量，表示类索引的one-hot编码。

有关生成图像中通道数量的规则：