当前位置：首页 > article >正文

昇思大模型平台打卡体验活动：项目6基于MindSpore通过GPT实现情感分类

article 2024/12/28 11:28:58

%env HF_ENDPOINT=https://hf-mirror.com

注意采用如上代码，设置hf镜像

基于MindSpore和GPT实现情感分类

本项目展示了如何使用MindSpore和GPT（生成式预训练模型）来实现电影评论数据集上的情感分类任务。本文档将引导您逐步完成数据加载、数据预处理、模型构建、训练和测试的过程。

1. 导入必要的库

首先，我们需要导入MindSpore及其相关模块，以及使用mindnlp工具进行自然语言处理。mindnlp提供了多种功能模块，包括数据集加载、模型构建、评估和训练支持等。

import os
import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn

from mindnlp.dataset import load_dataset

from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy

在成功导入库后，控制台将会显示一些系统信息，表明环境配置成功。

2. 加载IMDB数据集

IMDB电影评论数据集是一种常用的情感分析数据集，包含25,000条训练数据和25,000条测试数据。通过mindnlp加载IMDB数据集，并按训练和测试集分割。

imdb_ds = load_dataset('imdb', split=['train', 'test'])
imdb_train = imdb_ds['train']
imdb_test = imdb_ds['test']

加载数据后，我们可以检查训练集的数据量：

imdb_train.get_dataset_size()

3. 数据预处理

为了使数据适合GPT模型，我们需要对数据进行一定的预处理，主要包括：

使用分词器对文本进行分词。
设置最大序列长度并对文本进行填充。
转换标签的数据类型。
将数据分批次加载，以适应模型的输入要求。

数据预处理函数

以下是我们定义的process_dataset函数，用于处理数据集。函数中，我们通过GPTTokenizer对文本进行分词，并设置必要的填充和截断操作。

import numpy as np

def process_dataset(dataset, tokenizer, max_seq_len=512, batch_size=4, shuffle=False):
    is_ascend = mindspore.get_context('device_target') == 'Ascend'
    def tokenize(text):
        if is_ascend:
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
        else:
            tokenized = tokenizer(text, truncation=True, max_length=max_seq_len)
        return tokenized['input_ids'], tokenized['attention_mask']

    if shuffle:
        dataset = dataset.shuffle(batch_size)

    # Map and process dataset
    dataset = dataset.map(operations=[tokenize], input_columns="text", output_columns=['input_ids', 'attention_mask'])
    dataset = dataset.map(operations=transforms.TypeCast(mindspore.int32), input_columns="label", output_columns="labels")

    # Batch the dataset
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                             'attention_mask': (None, 0)})

    return dataset

初始化GPT分词器

我们使用GPTTokenizer进行分词，并为模型加入特殊的<PAD>填充符号。

from mindnlp.transformers import GPTTokenizer

# Initialize GPT tokenizer
gpt_tokenizer = GPTTokenizer.from_pretrained('openai-gpt')

# Add special tokens: <PAD>
special_tokens_dict = {
    "bos_token": "<bos>",
    "eos_token": "<eos>",
    "pad_token": "<pad>",
}
num_added_toks = gpt_tokenizer.add_special_tokens(special_tokens_dict)

拆分训练集和验证集

在训练数据中，我们将其随机划分为70%的训练集和30%的验证集，用于评估模型性能。

# Split train dataset into training and validation
imdb_train, imdb_val = imdb_train.split([0.7, 0.3])

创建数据集

将数据处理函数应用于训练集、验证集和测试集，生成适合模型输入的数据格式。

dataset_train = process_dataset(imdb_train, gpt_tokenizer, shuffle=True)
dataset_val = process_dataset(imdb_val, gpt_tokenizer)
dataset_test = process_dataset(imdb_test, gpt_tokenizer)

4. 模型构建和训练

我们将使用GPT模型进行情感分类任务，并使用Adam优化器和Accuracy准确率作为评估指标。

模型初始化

首先加载预训练的GPT模型，并配置为双标签分类任务。

from mindnlp.transformers import GPTForSequenceClassification
from mindspore.experimental.optim import Adam

# Initialize GPT model for sequence classification
model = GPTForSequenceClassification.from_pretrained('openai-gpt', num_labels=2)
model.config.pad_token_id = gpt_tokenizer.pad_token_id
model.resize_token_embeddings(model.config.vocab_size + 3)

# Optimizer and metric
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)
metric = Accuracy()

设置回调函数

通过定义回调函数来保存检查点和最佳模型。CheckpointCallback在每个epoch结束时保存模型参数，而BestModelCallback自动加载最佳模型。

# Define callbacks to save checkpoints
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune', epochs=1, keep_checkpoint_max=2)
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune_best', auto_load=True)

训练器配置和训练

使用Trainer类对模型进行训练。在一个epoch结束后，可以看到最佳模型保存在指定路径中。

trainer = Trainer(network=model, train_dataset=dataset_train,
                  eval_dataset=dataset_train, metrics=metric,
                  epochs=1, optimizer=optimizer, callbacks=[ckpoint_cb, best_model_cb],
                  jit=False)

# Run training
trainer.run(tgt_columns="labels")

metric = evaluate.load(“./glue.py”, task)
这里可以特别注意，可以从这里下载https://github.com/huggingface/evaluate/blob/main/metrics/glue/glue.py，然后从相对路径导入，避免卡死

5. 测试模型

完成训练后，我们在测试集上进行评估，查看模型的情感分类准确率。

# Initialize evaluator
evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)

# Run evaluation
evaluator.run(tgt_columns="labels")