当前位置：首页 > article >正文

(LLaMa Factory)大模型训练方法--预训练（Qwen2-0.5B）

article 2025/2/23 20:17:37

❗由于大模型的预训练需要数千个GPU并持续数月的时间，所以一般情况下实际工作中并不会涉及到预训练，本篇文章我们只做的简单流程体验。

1、准备训练数据

说明：LLaMa-Factory的Github上有训练数据格式的详细说明，请见README_zh。

• 预训练数据格式：[
{"text": "document"},
{"text": "document"}
]

数据集样例：

#按照数据集样例，我们准备如下的自定义预训练数据集，保存到data/custom_pt_train_data.json。

[
  {"text":"患者在过去的五年中多次出现头痛症状。"},
  {"text":"研究表明，适量运动有助于改善心血管健康。"},
  {"text":"高血压患者需定期监测血压水平。"},
  {"text":"糖尿病患者应注意饮食控制和胰岛素使用。"},
  {"text":"流感疫苗每年接种可以有效预防流感。"},
  {"text":"保持良好的睡眠习惯对心理健康至关重要。"},
  {"text":"慢性咳嗽可能是肺部疾病的早期征兆。"},
  {"text":"定期体检可以帮助早期发现健康问题。"},
  {"text":"心理咨询对缓解焦虑和抑郁症状有效。"},
  {"text":"饮食中增加纤维素有助于消化系统健康。"},
  {"text":"适量饮水对维持身体正常功能非常重要。"},
  {"text":"戒烟可以显著降低患肺癌的风险。"},
  {"text":"高胆固醇水平可能导致心脏病。"},
  {"text":"保持健康体重有助于降低多种疾病风险。"},
  {"text":"心理健康与身体健康密切相关。"},
  {"text":"儿童应定期进行视力和听力检查。"},
  {"text":"老年人易患骨质疏松症，需注意补钙。"},
  {"text":"过度饮酒会对肝脏造成严重损害。"},
  {"text":"心脏病患者应遵循医生的治疗方案。"},
  {"text":"良好的饮食习惯可以改善生活质量。"},
  {"text":"运动可以帮助减少压力和焦虑。"},
  {"text":"戒烟后，肺部功能会逐渐恢复。"},
  {"text":"高血糖可能导致多种并发症。"},
  {"text":"定期锻炼有助于提高免疫力。"},
  {"text":"适量的社交活动可以提高生活满意度。"},
  {"text":"健康的生活习惯可以改善整体健康状况。"},
  {"text":"心理健康教育应引起全社会的重视。"}
]

• 注册自定义数据 : 我们需要在dataset_info.json中按照以下格式注册自定义的数据集。

• 数据集注册格式：

"数据集名称": {
"file_name": "data.json",
"columns": {
  "prompt": "text"
}
}

我们在data/dataset_info.json中添加如下数据集：

"custom_pt_train_data": {
  "file_name": "custom_pt_train_data.json",
  "columns": {
    "prompt": "text"
  }
}

2、配置训练参数：

• Model name: Qwen2-0.5B
• Model path: models/Qwen2-0.5B
• Finetuning method: full
• Stage : Pre-Training
• Dataset: custom_pt_train_data , c4_demo, wiki_demo
• Output dir: Qwen2_pretrain_output_demo1

参数简要说明：

• Finetuning method代表微调的方法：
  • full: 完全微调模型的所有参数。
  • Freeze：冻结模型的某些层或所有层，仅微调特定的参数。
  • LoRA (Low-Rank Adaptation):在不改变原始模型参数的情况下，通过添加少量的可训练参数来适应新任务。
• Stage 代表训练的阶段：
  • Pre-Training: 预训练阶段。
  • Supervised Fine-Tuning: 微调阶段。
  • Reward Model: 奖励模型是一个过程，通过构建一个模型来预测给定输入的奖励值，通过训练奖励模型，可以为后续的强化学习提供一个目标。
  • PPO (Proximal Policy Optimization): PPO是一种强化学习算法，旨在优化策略（即模型的行为），以最大化预期奖励。
  • DPO (Direct Preference Optimization): DPO是一种直接优化偏好的方法，通常用于根据人类反馈直接调整模型的输出。
  • KTO (Knowledge Transfer Optimization): KTO指的是知识迁移优化，旨在从一个任务或模型中迁移知识到另一个任务或模型。