当前位置: 首页 > article >正文

Llama微调测试记录

使用llama模型(Atom-7B-Chat)

  • 参考github:https://github.com/LlamaFamily/Llama-Chinese
  • conda安装python3.11的环境
  • 运行pip install -r requirements.txt
  • 从huggingface的下载Atom-7B-Chat模型,此处推荐一个好用的镜像:https://hf-mirror.com/FlagAlpha/Atom-7B-Chat
  • 使用Atom-7B-Chat模型进行推理 创建一个名为 quick_start.py 的文件,并将以下内容复制到该文件中(较官网有所修改)
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
device_map = "cuda:4" if torch.cuda.is_available() else "auto"
model = AutoModelForCausalLM.from_pretrained('Atom-7B-Chat',device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)
model =model.eval()
tokenizer = AutoTokenizer.from_pretrained('Atom-7B-Chat',use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
input_ids = tokenizer(['<s>Human: 介绍一下中国\n</s><s>Assistant: '], return_tensors="pt",add_special_tokens=False).input_ids
if torch.cuda.is_available():
  input_ids = input_ids.to('cuda'

http://www.kler.cn/a/392777.html

相关文章:

  • MySQL与Oracle对比及区别
  • 【MySQL】MySQL函数之JSON_EXTRACT
  • 【数据结构与算法】第11课—数据结构之选择排序和交换排序
  • 力扣515:在每个树行中找最大值
  • 【JVM】关于JVM的内部原理你到底了解多少(八股文面经知识点)
  • 11张思维导图带你快速学习java
  • Go 加密算法工具方法
  • 嵌入式linux系统中RTC硬件的控制与实现
  • Go语言入门教案
  • 【vue】toRefs 和 toRef——如何在解构响应式对象时保持响应性
  • 免费,WPS Office教育考试专用版
  • 【初阶数据结构篇】插入、希尔、选择、堆排序
  • 约束(MYSQL)
  • github高分项目 WGCLOUD - 运维实时管理工具
  • A032-基于Spring Boot的健康医院门诊在线挂号系统
  • PCB+SMT线上报价系统+PCB生产ERP系统自动化拼板模块升级
  • 【网络安全】X-Forwarded-For漏洞成因及防范
  • 中断上下文及抢占标志位的检查——基于调度及锁举例
  • 数据库常用语法总结
  • 鸿蒙next版开发:相机开发-元数据(ArkTS)
  • SpringCloud篇(微服务)
  • [CKS] K8S AppArmor Set Up
  • AI 扩展开发者思维方式:以 SQL 查询优化为例
  • automa 浏览器自动化工具插件
  • 使用TaPas进行表格问答
  • 一文理解:结构化数据、非结构化数据、半结构化数据和元数据