AI大模型-提示工程学习笔记0

卷首语：我所知的是我自己非常无知，所以我要不断学习。

写给AI入行比较晚的小白们（比如我自己）看的，大神可以直接路过无视了。

正文：

提示词设置参数

用户使用提示词时，通常会通过API或直接与大语言模型进行交互。用户可以通过配置一些参数以获得不同的提示结果。调整这些设置对于提高响应的可靠性非常重要，用户可能需要进行一些实验才能找出适合您的用例的正确设置。以下是使用不同LLM提供程序时会遇到的常见设置：

1. Temperature（温度）

Temperature参数控制着模型输出结果的随机性或确定性。在概率分布中，较低的Temperature值会使模型倾向于选择概率最高的输出，从而减少随机性，使得输出更加确定和一致。相反，较高的Temperature值会增加输出的随机性，使得模型更可能选择不那么常见的输出，从而增加结果的多样性和创造性。

例子：

• 在一个问答系统中，如果需要模型提供非常确定和准确的答案，可以设置较低的Temperature值，比如Temperature=0.5
• 在一个创意写作任务中，如果需要模型生成更多样和创新的文本，可以设置较高的Temperature值，比如Temperature=1.5

2. Top_p（顶部概率）

Top_p参数是核采样（nucleus sampling）技术的一部分，它控制着模型在生成每个token时考虑的候选token集合的大小。Top_p值表示在每次生成时，只考虑累积概率最高的前p%的候选token。较低的Top_p值意味着模型只会考虑最有可能的token，而较高的Top_p值则允许模型考虑更多不那么可能的token，从而增加输出的多样性。

例子：

• 在一个事实核查任务中，如果需要模型提供最准确和最有信心的答案，可以设置较低的Top_p值，比如Top_p=0.9
• 在一个诗歌创作任务中，如果需要模型生成更多样化和创新的文本，可以设置较高的Top_p值，比如Top_p=0.3

3. Max Length（最大长度）

Max Length参数用来控制模型生成的文本的最大长度。这个参数可以防止模型生成过长或不相关的文本，同时也有助于控制生成文本的成本和时间。

例子：

• 在一个自动摘要任务中，如果需要模型生成不超过140个字符的推文，可以设置Max Length=140
• 在一个聊天机器人中，如果需要限制回复的长度以避免冗长的对话，可以设置一个合适的Max Length值，比如Max Length=50

4. Sequences（序列）

Sequences指的是一系列连续的元素或符号，这些元素或符号按照一定的顺序排列。在自然语言处理（NLP）中，一个序列通常指的是一个词或者字符的序列，它们构成了句子或文档。例如：句子“今天天气真好”可以被看作是一个由5个词组成的序列。

例子：

• 在文本中，一个句子“我喜欢吃苹果”可以被分解为序列：[“我”, “喜欢”, “吃”, “苹果”]。
• 在机器翻译中，英文句子“Hello, how are you?”被翻译成中文时，可以看作是将一个序列映射到另一个序列：“你好，你好吗？”。

5. Token（标记/词元）

Token是文本中的一个基本单位，可以是一个单词、一个标点符号、一个数字或者是任何语言中有意义的字符。在处理文本数据时，通常会将文本分割成一系列的tokens，以便模型可以逐个处理。

例子：

• 句子“Kimi is an AI.”被分割成tokens：["Kimi", "is", "an", "AI."]。
• 在编程语言中，"print('Hello, world!')" 被分割成tokens：["print", "(", "'", "Hello,", "world!", "'", ")", "]"。

6. Penalty（惩罚）

Penalty在AI大模型中通常指的是一种机制，用于减少或惩罚模型生成某些不希望出现的输出。这种机制通过调整生成概率来实现，使得某些token或序列的生成概率降低。

例子：

• Frequency Penalty：如果一个词“今天”在生成的文本中已经出现多次，那么frequency penalty会使得这个词再次出现的概率降低。比如，在一个描述天气的文本生成任务中，如果“今天”已经出现了好几次，那么设置一个较高的frequency penalty可以减少“今天”这个词的重复出现，避免文本显得单调。
• Presence Penalty：与frequency penalty不同，presence penalty对所有重复的tokens施加相同的惩罚，不管它们出现了多少次。例如：如果在一个诗歌生成任务中，“爱”这个词出现了很多次，那么设置一个较高的presence penalty可以减少“爱”这个词的整体使用频率，使得诗歌更加多样化。

对于AI大模型的普通用户来说，设置这些参数通常需要通过API调用或者使用特定的平台界面。不同的平台和模型提供商可能会有不同的接口和方法来设置这些参数。

对于GPT（如OpenAI的API）来说，以上参数在调用API中可以设置，具体如下：

1. Temperature：在API请求中，你会找到一个名为temperature的参数。你可以通过设置一个0到2之间的浮点数来调整这个值。例如：如果你想要更确定的结果，可以设置temperature=0.5。
2. Top_p：这个参数在API中通常被称为top_p。你可以通过设置一个0到1之间的值来调整。例如：top_p=0.9意味着只有累积概率达到90%的tokens会被考虑。
3. Max Length：这个参数用来控制生成文本的最大长度。在API中，你可以设置一个名为max_length的参数，指定一个整数来限制输出的长度。
4. Stop Sequences：在GPT的API中，你可以使用stop参数来指定一个或多个停止序列。模型会在生成到这些序列时停止生成。
5. Frequency Penalty：这个参数在GPT的API中被称为frequency_penalty。你可以通过设置一个大于0的浮点数来增加重复词的惩罚。
6. Presence Penalty：这个参数在GPT的API中被称为presence_penalty。同样，你可以通过设置一个大于0的浮点数来增加重复词的惩罚。