The Prompt Report 1
The Prompt Report
提示工程调查报告《The Prompt Report: A Systematic Survey of Prompting Techniques》
主要内容
Core Prompting Techniques
- Text based Techniques:PRISMA流程,58中基于文本的提示技术,提示语术语分类表;
- MLT:Multilingual Techniques:多语言;
- MMT:Multimodel Techniques:多模态
- Agents:融入外部工具,如计算器;
- Safety:安全措施
- Evaluation:更好的评估输出,以避免出现幻觉;
- Security:安全性
1 Introduction
什么是提示 Prompt
Prompt:提示
- 生成式AI模型的输入,用于指导其输出;
- 可能包含文本、图像、声音或其他媒体数据;
Prompt Template:提示模版
- 可看做是一个包含一个或多个变量的函数,这些变量将被某些媒体数据(通常都是文本)替换,以创建提示;
# 一个应用于推文的二元分类任务,初始提示模版
Classify the tweet as positive or negative:
{TWEET}
#
Write a poem about the following topic:
{USER_INPUT}
术语 Terminology
提示的组件
指令 Directive
,也称 意图 intent;如“Tell me five good books to read.”- 隐式的指令,如下翻译场景的示例(英语=>西班牙语):
Night: Noche
Morning:
样例 Examples
,也称为样本或shots,作为GenAI完成任务的示范,上面翻译的示例就是一个One-Shot(单样本)提示;输出格式 Output Formatting
:以某种格式输出信息,添加说明,如{PARAGRAPH} Summarize this into a CSV
;- Style Instruments:从样式上修改输出(而非结构上);如
Write a clear and curt paragraph about llamas.
中的clear and curt; - Role:也称为人物角色,是一个可以改善写作和文本风格的常用组件;如
Pretend(假装) you are a shepherd(牧羊人) and write a limerick about llamas.
中的shepherd; - Additional Information:包含在提示中的附加信息,如指令是写一封邮件,可能需要包含姓名、职位等信息,以便能够正确的签署电子邮件;
- 附加的信息有时也被称为上下文context,但不鼓励使用这个术语,因为它在提示空间中承载着其他含义;
Prompt术语(表)结构章节对照:
Prompt 1.1
- Prompting 1.2.2
- Context 1.2.1
- Context Window A.2.1
- Priming A.2.1
- Prompting Technique 1.2.2
- In-Context Learning 2.2.1 情境学习
- Few-Shot Prompt 2.2.1
- Exemplar 1.2.2 范例
- Zero-Shot Prompt 2.2.2
- In-Context Learning 2.2.1 情境学习
- Orthogonal Prompt Types A.2.4 正交提示类型
- Density A.2.4.2 密度
- Continuous Prompt A.2.4.2 连续提示
- Discrete Prompt A.2.4.2 离散提示
- Originator A.2.4.1 发起者
- User Prompt A.2.4.1 用户提示
- System Prompt A.2.4.1 系统提示信息
- Assistant Prompt A.2.4.1 助手提示
- Prediction Style A.2.4.3 预测类型
- Prefix A.2.4.3 前缀
- Cloze A.2.4.3 完形填空
- Density A.2.4.2 密度
- Prompt Chain 1.2.2 提示链
- Prompt Template 1.1 提示模板
- Prompt Engineering 1.2.2 提示工程
- Prompt Engineering Technique 1.2.2
- Meta-Prompting 2.4 元提示
- Answer Engineering 2.5 答案工程
- Verbalizer 2.5.3 言语表达者
- Extractor 2.5.3 提取器
- Conversational Prompt Engineering A.2.2 对话提示工程
- Fine-Tuning A.2.3 微调
- Prompt-Based Learning A.2.3 提示式学习
- Prompt Tuning A.2.3 提示调优
不太常用的术语词汇 见 附录A.2;常见术语的定义 见 附录A.1;
Prompting 和 Prompt Chain:
- 提示和提示链
- 提示是指向GenAI提供提示信息,提示链由两个或多个连续使用的提示模版组成,第一个提示模版生成的提示输出,用于参数化第二个模版,一直持续到所有模版都用尽为止;
提示技术
- 描述如何构建提示,可能包括条件或分支逻辑、并行性或跨多个提示的架构考虑;
提示工程:
- 是通过修改或更改你正在使用的提示技术来开发提示的迭代过程;
- Dataset Inference:使用Prompt Template 对数据集执行推理,对生成的结果使用Extractor(提取器)提取追中响应;
- 使用效用函数,评估性能;
- 修改Prompt Template (提示模版),重复上面的过程,指导期望满足;
提示工程技术:
- 是一种迭代提示以改进提示的策略,自动&手动;
Exemplar样本:
- 在提示中向模型战士的任务被完成的示例;
使用自然语言前缀(prefix)或提示来引导语言模型行为的想法和响应,早在GPT-2中就已存在,对提示的解释可能会有不同;