当前位置： 首页 > article >正文

垂类大模型微调（二）：使用LLaMA-Factory

article 2025/2/24 9:01:55

       上一篇博文和大家一起安装了LLaMA-Factory工具，并下载了大模型在上面进行了简单的加载和推理，今天尝试通过LoRa技术对大模型进行微调；

一、训练集准备

1.1 介绍训练集结构

       这里演示对Qwen2.5-0.5B-Instruct-GPTQ-Int4模型进行LoRA微调， 大家可以根据垂类大模型微调（一）从魔塔中下载对应模型；目前该工具支持指令监督微调（ Alpaca 格式）和多轮对话微调（


http://www.kler.cn/a/558701.html

相关文章：

  • Uniapp 开发中遇到的坑与注意事项：全面指南
  • 细说STM32F407单片机2个ADC使用DMA同步采集各自的1个输入通道的方法
  • Linux-Ansible模块进阶
  • debian 12 系统容器更换阿里源和用户权限
  • Java常用设计模式-代码实例详解
  • 25工程管理研究生复试面试问题汇总 工程管理专业知识问题很全！ 工程管理复试全流程攻略 工程管理考研复试真题汇总
  • 【Redis数据结构】ziplist 压缩列表
  • 基于deepseek的AI知识库系统搭建
  • QT串口通信之二，实现单个温湿度传感器数据的采集(采用Qt-modbus实现)
  • QEMU 的详细介绍、安装指南、配置说明
  • *PyCharm 安装教程
  • 0x06 倍增
  • FMCW MIMO雷达对人的跟踪的定量评估
  • 【CVPR2024-工业异常检测】PromptAD:与只有正常样本的少样本异常检测的学习提示
  • Cannot deserialize instance of java.lang.String out of START_ARRAY token
  • 【设计模式】【创建型模式】工厂方法模式(Factory Methods)
  • Content-Type类型总结（安全）
  • List 接口中的 sort 和 forEach 方法
  • 医疗AI领域中GPU集群训练的关键技术与实践经验探究（上）
  • 《2024工业控制系统网络安全态势白皮书》