当前位置: 首页 > article >正文

大模型开源的工具包有哪些特殊符号可以使用;SEP 是什么

大模型开源的工具包有哪些特殊符号可以使用

目录

    • 大模型开源的工具包有哪些特殊符号可以使用
      • 自定义特殊token:special_tokens=True
      • 一、**对话轮次分隔符(必选)**
      • 二、**系统提示标记(提升指令理解)**
      • 三、**中文特色分隔符(贴合书写习惯)**
      • 四、**开源模型专属符号(按文档适配)**
      • 五、**小样本训练自定义符号(灵活扩展)**
      • 六、**符号使用避坑指南(针对中文特性)**
      • 七、**总结:中国特色符号的3大价值**
    • 大模型微调中 SEP 分隔符是什么
      • 一、<SEP>的典型应用场景与案例
        • 1. 问答对分隔(最常见)
        • 2. 多轮对话分隔
        • 3. 混合任务数据分隔
      • 二、<SEP>的核心价值
      • 三、实践建议(结合大模型微调)
      • 四、反例:缺乏<SEP>的风险
      • 🔍 **为什么需要<SEP>?**
      • 📝 **你的业务场景示例**
      • 🔧 **技术实现细节(你的代码适配)**
      • 📌 **与其他分隔符的区别**
      • ✅ **总结(针对你的微调任务)**

自定义特殊token:special_tokens=True

tokenizer.add_tokens([“[症状]”, “[诊断]”], special_tokens=True)

一、对话轮次分隔符(必选)

符号 全称/含义 适用模型 场景示例(客服对话)
`< User >` 用户输入起始
`< Bot >` 助理回复起始
【用户】 中文方括号角色标记 悟道、书生模型 【用户】单号123<SEP>【客服】已加急处理

代码适配(ChatGLM训练):

tokeni

http://www.kler.cn/a/584077.html

相关文章:

  • HTML 表格的详细介绍与应用
  • [洛谷]P1123 取数游戏
  • rv1106 PWM控制
  • javaWeb的详细笔记(超详细版本)
  • AI大数据挖掘的威力
  • 【鸿蒙开发】Hi3861学习笔记- GPIO之按键
  • 小白学习:提示工程(什么是prompt)
  • PostgreSQL存储管理体系结构学习笔记2
  • Linux第二次练习
  • hive-进阶版-1
  • 嵌入式开发工程师笔试面试指南-模电基础
  • 查找某个端口是否被占用
  • 【数据结构】4线性表综合实验
  • 前端学习笔记(三)——ant-design vue表单传递数据到父页面
  • 项目组织管理类型-职能式组织和矩阵式组织的区别
  • 单机DeepSeek做PPT,YYDS!
  • 大语言模型的潜力是否被高估
  • C# 发送邮件 报错:此请求已被阻止,因为当用在 GET 请求中时,会将敏感信息透漏给第三方网站。
  • Denoising as Adaptation Noise-Space Domain Adaptation for Image Restoration
  • 【守护蓝色星球】《海洋环境保护法》的重要性与遵守主体