当前位置：首页 > article >正文

大模型的微调方式

article 2025/2/8 5:40:32

微调大模型的方法多种多样，具体采用哪种方法取决于任务的性质、可用的数据量和计算资源等因素。以下是一些常见的微调大模型的方法：

全量微调（Full Fine-tuning）：
- 这是最直接的方式，使用目标任务的数据集对整个预训练模型进行再训练。虽然这种方式可以调整模型的所有参数以适应新的任务，但它需要较多的计算资源，并且要求有足够的标注数据来避免过拟合。
冻结部分层微调（Layer-wise Fine-tuning）：
- 在这种方法中，通常会冻结预训练模型的部分底层（这些层通常学习到的是更通用的语言特征），只对顶层或特定的任务相关层进行微调。这对于数据量较小的任务尤其有用，因为它减少了模型参数的数量，从而降低了过拟合的风险。
Prompt Tuning：
- Prompt tuning是一种相对新颖的技术，它不是直接修改模型参数，而是通过设计特定的提示（prompts）来引导模型生成与目标任务相关的答案。这在少样本学习场景中特别有效，因为它不需要大量的标记数据来进行微调。
Adapter-based Fine-tuning：
- 在这种方法中，在预训练模型的某些层之间插入小型神经网络（称为adapter），然后仅对这些adapter进行微调。这样做的好处是可以减少微调所需的计算资源，同时保持预训练模型的核心能力不变。
LoRA (Low-Rank Adaptation)：
- LoRA是一种高效微调大型语言模型的方法，通过向模型中添加低秩矩阵来实现微调过程中的参数更新，而不是直接更新原始模型的权重。这种方法能够显著降低存储需求，并提高微调效率。
BitFit：
- BitFit专注于仅微调模型中的偏置项（bias terms），而保持其他参数固定。这种方法极大地简化了微调流程，适用于资源有限的情况。

每种方法都有其适用场景和局限性，选择合适的微调策略对于成功迁移预训练模型的能力至关重要。在实践中，可能需要根据具体情况尝试不同的方法或组合使用这些技术，以达到最佳效果。
好的，这里提供一个具体的全量微调案例，以说明如何对预训练的BERT模型进行全量微调来完成文本分类任务。假设我们的目标是构建一个能够识别电影评论情感（正面或负面）的模型。

全量微调案例：使用BERT进行电影评论情感分析

1. 准备工作

环境搭建：确保你已经安装了必要的Python库，如transformers、torch等。
```
pip install transformers torch datasets
```
数据集：我们将使用IMDb电影评论数据集，它包含50,000条电影评论，标注为正面或负面。

2. 数据加载与预处理

from datasets import load_dataset
from transformers import BertTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化BERT tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

3. 加载预训练模型并设置训练参数

from transformers import BertForSequenceClassification, Trainer, TrainingArguments

# 加载预训练的BERT模型，并指定输出类别数为2（正面/负面）
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 设置训练参数
training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

4. 创建Trainer实例并开始训练

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=encoded_dataset['train'],
    eval_dataset=encoded_dataset['test'],
)

# 开始训练
trainer.train()

5. 模型评估

训练完成后，可以使用以下代码对模型进行评估：

results = trainer.evaluate()
print(results)

这个例子展示了如何使用Hugging Face的transformers库和datasets库来加载预训练的BERT模型，并通过全量微调的方式将其应用于IMDb电影评论的情感分析任务中。注意，在实际应用中，可能需要根据具体情况调整数据预处理步骤、模型架构及超参数设置等。此外，考虑到计算资源的需求，建议在具有GPU支持的环境中运行上述代码。
下面给出一个具体的冻结部分层微调（Layer-wise Fine-tuning）案例，我们将使用预训练的BERT模型进行文本分类任务。在这个例子中，我们将冻结BERT的基础层，并仅对顶部的分类层进行微调。

冻结底层微调案例：基于BERT的情感分析

1. 环境准备

首先，确保安装了必要的库：

pip install transformers torch datasets

2. 数据加载与预处理

我们将使用IMDb电影评论数据集作为示例。

from datasets import load_dataset
from transformers import BertTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化BERT tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

3. 加载并配置模型

加载预训练的BERT模型，并添加一个简单的分类头。然后，冻结BERT基础层的参数。

import torch
from transformers import BertForSequenceClassification

# 加载预训练BERT模型，并指定输出类别数为2（正面/负面）
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 冻结BERT的所有层
for param in model.bert.parameters():
    param.requires_grad = False

# 只有分类层保持可训练状态
for param in model.classifier.parameters():
    param.requires_grad = True

4. 设置训练参数和数据加载器

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 准备数据加载器
from torch.utils.data import DataLoader

train_dataloader = DataLoader(encoded_dataset['train'], batch_size=8, shuffle=True)
eval_dataloader = DataLoader(encoded_dataset['test'], batch_size=8)

5. 创建Trainer实例并开始训练

由于我们手动设置了参数的requires_grad属性，这里直接使用PyTorch的方式进行训练而不是Trainer API。

optimizer = torch.optim.Adam(model.parameters(), lr=2e-5)
loss_fn = torch.nn.CrossEntropyLoss()

model.train()
for epoch in range(3):  # 进行3轮训练
    for batch in train_dataloader:
        inputs = {k: v.squeeze().to('cuda') for k, v in batch.items() if k in ['input_ids', 'attention_mask']}
        labels = batch['label'].to('cuda')
        
        outputs = model(**inputs)
        loss = loss_fn(outputs.logits, labels)
        
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        
    print(f"Epoch {epoch + 1} completed.")

6. 评估模型

在验证集上评估模型性能。

model.eval()
correct_predictions = 0
total_predictions = 0

with torch.no_grad():
    for batch in eval_dataloader:
        inputs = {k: v.squeeze().to('cuda') for k, v in batch.items() if k in ['input_ids', 'attention_mask']}
        labels = batch['label'].to('cuda')
        
        outputs = model(**inputs)
        _, preds = torch.max(outputs.logits, dim=1)
        
        correct_predictions += torch.sum(preds == labels)
        total_predictions += labels.size(0)

accuracy = correct_predictions.double() / total_predictions
print(f"Accuracy: {accuracy}")

这个例子展示了如何通过冻结BERT的基础层来微调模型，使其适应特定的任务（如情感分析）。通过这种方式，可以有效地减少过拟合的风险，并且在小数据集上也能获得不错的效果。注意，在实际应用中，可能需要根据具体情况进行适当的调整。
Prompt Tuning是一种新兴的技术，它通过设计特定的提示（prompts）来引导预训练模型生成与目标任务相关的答案，而不是直接对整个模型进行微调。这种方法特别适用于少样本学习场景，因为它不需要大量的标记数据来进行微调。下面是使用Prompt Tuning的一个简化案例示例，展示如何使用Hugging Face的transformers库来进行文本分类任务。

使用Prompt Tuning案例：情感分析

在这个例子中，我们将使用一个预训练的语言模型（如BERT）和Hugging Face的transformers及datasets库来执行电影评论的情感分析任务。

1. 环境准备

首先确保安装了必要的库：

pip install transformers datasets

2. 数据加载与预处理

我们将使用IMDb电影评论数据集。

from datasets import load_dataset
from transformers import AutoTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化tokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')

3. 设计Prompt

在Prompt Tuning中，关键步骤之一是设计合适的prompt模板。假设我们要做二分类（正面或负面），我们可以设计如下简单的prompt模板：

"Review: {text}. Sentiment:"

其中{text}会被实际的评论文本替换。

4. 使用Prompt Engineering进行预测

由于Prompt Tuning通常涉及手动或半自动地设计prompts，并基于这些prompts来查询预训练模型，这里我们简化演示过程，直接用一个预训练模型来做说明。注意，在实践中，你可能需要更复杂的逻辑来自动化这个过程或者使用专门支持Prompt Tuning的工具/库。

为了简单起见，我们将直接演示如何将一条评论转换为带有prompt的输入，并获取模型的输出。

from transformers import AutoModelForMaskedLM, pipeline

# 加载预训练模型
model = AutoModelForMaskedLM.from_pretrained('bert-base-uncased')

# 创建pipeline用于预测
nlp = pipeline("fill-mask", model=model, tokenizer=tokenizer)

# 示例评论
review_text = "I love this movie."

# 应用prompt模板
prompt = f"Review: {review_text} Sentiment:"

# 将prompt转换为模型输入
inputs = tokenizer(prompt, return_tensors="pt")

# 获取模型输出（这里简化处理，实际上应根据具体需求调整）
outputs = model(**inputs)
predictions = outputs.logits.argmax(dim=-1)

# 注意：这里的处理方式非常简化，实际情况中你需要根据模型的输出格式来解析预测结果
print(predictions)

请注意，上述代码示例是为了说明概念而高度简化的。在实际应用中，您需要更细致地处理模型输出，特别是对于像BERT这样的模型，其输出通常需要经过softmax层以获得概率分布，进而做出分类决策。

此外，Prompt Tuning的实际应用往往涉及到更加复杂的prompts设计以及针对特定任务的优化。例如，您可以使用特定的词汇或短语作为“mask”位置的候选答案，并根据模型返回的概率选择最有可能的答案。这通常要求一定的实验和调整，以找到最适合您的应用场景的prompt格式。
Adapter-based Fine-tuning是一种高效微调大型预训练模型的方法，它通过在模型的某些层之间插入小型神经网络（称为adapters），然后仅对这些adapters进行微调，从而避免了直接调整整个模型的大量参数。这种方法不仅能显著减少计算资源的需求，还能有效防止灾难性遗忘问题。

下面是一个使用Hugging Face transformers库和adapter-transformers扩展来进行adapter-based fine-tuning的例子，我们将以文本分类任务为例，展示如何在BERT模型上添加并微调adapters。

基于Adapter的案例：BERT文本分类

1. 安装必要的库

首先，确保安装了transformers和adapter-transformers：

pip install transformers adapter-transformers datasets

2. 加载数据集

在这个例子中，我们继续使用IMDb电影评论数据集。

from datasets import load_dataset
from transformers import AutoTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化tokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

3. 配置模型与加载Adapters

接下来，配置BERT模型，并加载或创建一个新的adapter。

from transformers import AutoModelForSequenceClassification
from transformers.adapters import AdapterConfig

# 加载预训练BERT模型
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 定义adapter配置
config = AdapterConfig.load("pfeiffer")

# 添加一个adapter到模型中
model.add_adapter("sentiment", config=config)

# 激活adapter
model.train_adapter("sentiment")

4. 设置训练参数

定义训练参数，并准备训练过程。

from transformers import TrainingArguments, AdapterTrainer

training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=3e-4, # 对adapter来说，通常使用较高的学习率
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 使用AdapterTrainer替代标准的Trainer
trainer = AdapterTrainer(
    model=model,
    args=training_args,
    train_dataset=encoded_dataset['train'],
    eval_dataset=encoded_dataset['test'],
)

5. 开始训练

现在我们可以开始训练模型了。

trainer.train()

6. 评估模型

训练完成后，可以评估模型性能。

results = trainer.evaluate()
print(results)

这个案例展示了如何利用adapter-transformers库，在BERT模型的基础上添加adapter并进行微调，专门针对特定任务如情感分析。通过这种方法，我们能够有效地适应新的任务，同时保持预训练模型的核心能力不变，并且极大地减少了所需的计算资源。适配器方法特别适合于那些需要快速适应多个不同任务的场景。
LoRA（Low-Rank Adaptation）是一种高效微调大型语言模型的方法，它通过向模型中添加低秩矩阵来实现微调过程中的参数更新，而不是直接更新原始模型的权重。这种方法能够显著降低存储需求，并提高微调效率。下面是一个基于Hugging Face transformers库和peft（Parameter-Efficient Fine-Tuning）库进行LoRA微调的例子。

使用LoRA的案例：对BERT进行文本分类

1. 安装必要的库

首先，确保安装了transformers、datasets以及peft库：

pip install transformers datasets peft

2. 加载数据集

在这个例子中，我们将继续使用IMDb电影评论数据集。

from datasets import load_dataset
from transformers import AutoTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化tokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

3. 配置模型与加载LoRA配置

接下来，配置BERT模型，并设置LoRA参数。

from transformers import BertForSequenceClassification
from peft import get_peft_model, LoraConfig

# 加载预训练BERT模型
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 定义LoRA配置
lora_config = LoraConfig(
    r=8,  # LoRA attention dimension
    lora_alpha=32,  # Alpha parameter for LoRA scaling
    target_modules=["query", "value"],  # 在这些模块上应用LoRA
    lora_dropout=0.1,  # Dropout probability for LoRA layers
    bias="none"
)

# 应用LoRA配置到模型
model = get_peft_model(model, lora_config)

4. 设置训练参数

定义训练参数，并准备训练过程。

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=2e-4,  # 注意：对于LoRA，通常使用较高的学习率
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 创建Trainer实例
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=encoded_dataset['train'],
    eval_dataset=encoded_dataset['test'],
)

5. 开始训练

现在我们可以开始训练模型了。

trainer.train()

6. 评估模型

训练完成后，可以评估模型性能。

results = trainer.evaluate()
print(results)

这个案例展示了如何利用peft库中的LoRA方法对BERT模型进行高效的微调，专门针对特定任务如情感分析。通过LoRA，我们能够在保持模型大部分参数不变的同时，仅通过对少量参数的调整来适应新的任务，从而实现更加高效且资源友好的模型微调过程。适配器方法特别适合于那些需要在有限计算资源下快速适应多个不同任务的场景。
BitFit是一种参数高效的微调方法，它专注于仅微调模型中的偏置项（bias terms），而保持其他参数不变。这种方法特别适用于资源有限的情况，因为它极大地简化了微调流程，并减少了所需的计算资源。下面通过一个具体的案例来说明如何使用BitFit对BERT模型进行文本分类任务的微调。

使用BitFit案例：对BERT进行文本分类

在这个例子中，我们将使用IMDb电影评论数据集，目标是根据评论内容判断情感倾向（正面或负面）。

1. 安装必要的库

首先确保安装了transformers和datasets：

pip install transformers datasets

2. 加载并预处理数据集

from datasets import load_dataset
from transformers import BertTokenizer

# 加载IMDb数据集
dataset = load_dataset('imdb')

# 初始化tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

def preprocess_function(examples):
    return tokenizer(examples['text'], padding='max_length', truncation=True)

# 对数据集进行预处理
encoded_dataset = dataset.map(preprocess_function, batched=True)

3. 配置模型并设置仅更新偏置项

加载预训练的BERT模型，并冻结所有权重，除了偏置项。

import torch
from transformers import BertForSequenceClassification

# 加载预训练BERT模型，并指定输出类别数为2（正面/负面）
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 冻结所有参数
for param in model.parameters():
    param.requires_grad = False

# 解冻偏置项
for name, param in model.named_parameters():
    if 'bias' in name:
        param.requires_grad = True

4. 设置训练参数

定义训练参数，并准备训练过程。

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir='./results',
    evaluation_strategy="epoch",
    learning_rate=5e-5, # 对于BitFit，通常需要较高的学习率
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    weight_decay=0.01,
)

# 创建Trainer实例
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=encoded_dataset['train'].shuffle().select(range(1000)), # 使用少量数据示例
    eval_dataset=encoded_dataset['test'].shuffle().select(range(1000)),
)

注意：为了演示目的，这里我们只用了少量的数据(range(1000))。在实际应用中，请使用完整数据集。

5. 开始训练

现在我们可以开始训练模型了。

trainer.train()

6. 评估模型

训练完成后，可以评估模型性能。

results = trainer.evaluate()
print(results)

这个案例展示了如何利用BitFit方法对BERT模型进行高效的微调，专门针对特定任务如情感分析。通过仅调整偏置项，BitFit能够显著减少训练所需的时间和计算资源，同时还能达到不错的性能表现。这种方法特别适合于那些拥有较少标注数据的任务或者计算资源受限的场景。

查看全文

http://www.kler.cn/a/536033.html

MySQL第四次实验

星闪开发入门级教程之安装编译器与小项目烧录

解决 npm : 无法加载文件 D:\nodeJS\node_global\npm.ps1，因为在此系统上禁止运行脚本。

使用 Redis Streams 实现高性能消息队列

优化深度神经网络

Redis - 全局ID生成器 RedisIdWorker

【软件测试入门】Linux操作系统初级命令大全

大模型蒸馏（Model Distillation）的原理及过程

【Git】tortoisegit使用配置

解锁高效 Web 开发新姿势：Open WebUI 安装指南

Java 的try-with-resources语句，不需要显式调用close()

autMan奥特曼机器人-对接deepseek教程

【鸿蒙HarmonyOS Next实战开发】实现ArkTS/JS和C/C++的交互-Node-API

Qt —— 加载百度离线地图、及简单绘图（附源码）

备战蓝桥杯：二维前缀和之激光炸弹

Java面试题-Java基础

基础入门-算法解密散列对称非对称字典碰撞前后端逆向MD5AESDESRSA

C++：代码常见规范1

七。自定义数据集使用tensorflow框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测

Mac: docker安装以后报错Command not found: docker

ctf网络安全大赛python ctf网络安全大赛

本文主要详细讲解ArcGIS中的线、多线段和多边形的结构关系。

Kafka 可靠性探究—副本刨析

关于maven的java面试题汇总

1 Java 基础面试题（上）

物联网实训室解决方案（2025年最新版）

全量微调案例：使用BERT进行电影评论情感分析

1. 准备工作

2. 数据加载与预处理

3. 加载预训练模型并设置训练参数

4. 创建Trainer实例并开始训练

5. 模型评估

冻结底层微调案例：基于BERT的情感分析

1. 环境准备

2. 数据加载与预处理

3. 加载并配置模型

4. 设置训练参数和数据加载器

5. 创建Trainer实例并开始训练

6. 评估模型

使用Prompt Tuning案例：情感分析

1. 环境准备

2. 数据加载与预处理

3. 设计Prompt

4. 使用Prompt Engineering进行预测

基于Adapter的案例：BERT文本分类

1. 安装必要的库

2. 加载数据集

3. 配置模型与加载Adapters

4. 设置训练参数

5. 开始训练

6. 评估模型

使用LoRA的案例：对BERT进行文本分类

1. 安装必要的库

2. 加载数据集

3. 配置模型与加载LoRA配置

4. 设置训练参数

5. 开始训练

6. 评估模型

使用BitFit案例：对BERT进行文本分类

1. 安装必要的库

2. 加载并预处理数据集

3. 配置模型并设置仅更新偏置项

4. 设置训练参数

5. 开始训练

6. 评估模型

相关文章：