当前位置： 首页 > article >正文

Peach-9B-8k-Roleplay模型部署指南

article 2025/1/20 11:00:16

一、模型介绍

Peach-9B-8k-Roleplay 是一种聊天大型语言模型，它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B 模型而获得的。

也许是 34B 以下参数最好的 LLM。

屏幕截图

二、部署过程

1、更新环境

apt update

2、安装Miniconda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

3、创建虚拟环境

conda create -n Peach-9B-8k-Roleplay python=3.10
conda activate Peach-9B-8k-Roleplay

4、克隆模型

模型数据量较大，将模型下载在数据盘，切换路径到/root/sj-tmp，下载模型。

cd /root/sj-tmp
git lfs install
git clone https://www.modelscope.cn/roleplay/Peach-9B-8k-Roleplay.git

image.png

5、安装依赖

模型下载完成以后，更换路径到cd /，便于将依赖环境安装在系统盘。该模型没有给定依赖环境相关包的版本，需要手动安装。

cd /
pip install torch==1.13.1
pip install gradio==3.50.2
pip install transformers==4.37.2
pip install sentencepiece
pip install tokenizers
pip install protobuf
pip install accelerate

image.png

6、指定端口，运行模型

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080 
python  /root/sj-tmp/Peach-9B-8k-Roleplay/demo.py

屏幕截图

三、界面演示

1、进入WebUI使用

屏幕截图

2、输入问题，进行对话

屏幕截图

3、或者根据自己需要修改参数以后，再进行对话。

屏幕截图

4、自己设定提示符

屏幕截图


http://www.kler.cn/a/370532.html

相关文章：

  • 聊聊如何实现Android 放大镜效果
  • 适配器模式详解：解决接口不兼容问题的灵活设计模式
  • 如何学习网络安全？有哪些小窍门？
  • 深度学习 Pytorch 张量（Tensor）的创建和常用方法
  • vue编写一个可拖动的模块，并可以和任何其他组件组合使用
  • python-44-嵌入式数据库SQLite和DuckDB
  • 利用Kubernetes原生特性实现简单的灰度发布和蓝绿发布
  • 为什么架构设计禁止IP直连？
  • 网管平台（进阶篇）：网管软件的配置方式
  • 数据库产品中SQL注入防护功能应该包含哪些功能
  • Golang | Leetcode Golang题解之第515题在每个树行中找最大值
  • Android 相机CameraX框架
  • 【面试】rabbitmq的主要组件有哪些？
  • 什么是时间戳？怎么获取？有什么用？
  • Django入门教程——用户管理实现
  • MySQL的权限系统
  • 【含文档】基于ssm+jsp的房屋租赁管理系统（含源码+数据库+lw）
  • 数字IC开发：布局布线
  • 动手学深度学习9.6. 编码器-解码器架构-笔记练习（PyTorch）
  • SQL Server 中，将单行数据转换为多行数据
  • 深度学习-BP算法详解
  • Python BeautifulSoup (bs4) 中 HTML 元素的定位与查找
  • 网页端.js和qt C++ 文件 怎么进行数据传递
  • MySQL5.7实现 row_number() over()函数的功能
  • 《计算机网络》期末复习资料
  • 最新影响因子排名和分区出炉！一本IEEE Trans上榜On Hold