论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（CoT）
最近以及本篇博客将记录博主最近接触的提升LLM的较新方法，总结其核心以备面试及其他场景回顾时所需。
一、简介
CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案，属于prompt中的技巧，可以提升LLM在复杂问题上的表现，并且能够增强其可解释性（指的是在输出错误时追溯哪一步解答方案出错）。
二、实例
在模型的prompt中给出一定的思维链方式问题答案对（few shot）可以提升语言模型在一定问题上的表现。
思维链的提示词带有以下性质，因此，可以改善LLM的性能：
1.使得模型将问题拆解多个中间步骤进行解答，意味着额外的算力能够被分配给需要更多推理步骤的问题上
2.对模型解答问题的步骤提供了可解释的窗口（指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤）
3.可被用于数学、常识推理等问题，有机会在任何人类语言可解决的问题上可用
4.可在众多LLM的prompt中简单应用
三、效果
在模型较大时提升明显
四、局限性
1.尽管思维链可以使得LLM模仿人类推理者，无法使得模型回答其真正在推理什么
2.人类构造fewshot中给的思维链例子花费很大，此问题可以用合成数据或者零次泛化来得到部分解决
3.没有对推理路径的正确性的有效保证
4.只在较大参数的模型中提升明显