当前位置：首页 > article >正文

基于Python的机器学习系列（25）：使用PyTorch处理数据集

article 2024/12/24 22:01:36

在使用PyTorch进行深度学习之前，数据处理是关键的一步。本篇将介绍如何使用PyTorch处理数据集，特别是如何加载和分割数据集。

从文件加载数据

首先，我们可以使用pandas库读取CSV文件，并将数据转换为PyTorch张量。以下是一个示例：

import pandas as pd

df = pd.read_csv('data/iris.csv')
df.head()  # 显示数据的前几行

该示例加载了著名的Iris数据集，该数据集包含150个样本，每个样本有4个特征和一个标签。特征包括花萼长度、花萼宽度、花瓣长度和花瓣宽度，标签则是三个Iris物种的名称。

使用经典方法构建训练/测试数据

在介绍PyTorch的Dataset和DataLoader类之前，我们先看一下如何使用sklearn库进行训练和测试数据的分割：

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()

df = pd.read_csv('data/iris.csv')
X = df.drop(['Id', 'Species'], axis=1).values
y = le.fit_transform(df['Species'].values)
train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.2, random_state=33)

X_train = torch.FloatTensor(train_X)
X_test  = torch.FloatTensor(test_X)
y_train = torch.LongTensor(train_y).reshape(-1, 1)
y_test  = torch.LongTensor(test_y).reshape(-1, 1)

print(f'Training size: {len(y_train)}')
labels, counts = y_train.unique(return_counts=True)
print(f'Labels: {labels}\nCounts: {counts}')

在这个示例中，我们首先使用LabelEncoder对标签进行编码，然后使用train_test_split将数据分割为训练集和测试集。最后，将这些数据转换为PyTorch的张量，并检查训练数据的标签分布。