[论文阅读] GPT-4 Technical Report

启发：

读了吗，如读，不愧是CloseAI

Abstract

        GPT-4 是一个基于 Transformer 的模型，经过预先训练，用于预测文档中的下一个标记。训练后的对齐过程可以提高事实性和对期望行为的依从性方面的表现。该项目的一个核心组成部分是开发基础设施和优化方法，这些方法在各种规模上的行为都是可预测的。这使我们能够根据计算量不超过 GPT-4  1/1,000 的模型准确预测 GPT-4 性能。

（由于本文不会介绍GPT-4的模型结构、技术细节，而GPT-4性能不用说都知道是很强的，所以真正值得关注的只有GPT-4仍存在的缺陷和文中提出的可预测扩展的深度学习堆栈）

1 Introduction

        GPT-4属于LMM，能够以文本和图像作为输入，输出文本回答。

        本篇报告主要涉及以下内容：

• 展示了GPT-4在各类任务上都能展现出卓越性能；
• 构建了一个可预测扩展的深度学习堆栈，使得我们能够通过小规模的模型训练来准确预测GPT-4的性能；
• 揭露GPT-4依旧存在会出现“幻觉”、上下文窗口大小有限、存在安全隐患等问题，同时也描述了可能存在的隐患以及给出预防措施。

5 Limitations

（1）可靠性：GPT-4仍然存在“幻觉”问题，即生成虚假信息和推理错误。在高风险情境下使用GPT-4的输出时需要格外小心。

（2）有限的上下文窗口：GPT-4在处理长文本时存在限制，它无法像人类那样理解和记忆长篇内容。

（3）无法从经验中学习：GPT-4不会从互动中学习或适应新信息，它的知识截止日期是2021年9月，之后发生的事件它通常不了解。

（4）推理错误：GPT-4可能会犯简单的推理错误，有时候在接受用户明显错误的陈述时过于轻信。

（5）安全性和偏见：尽管GPT-4在减少幻觉方面取得了进展，但它的输出可能仍然存在偏见，并且需要进一步的测试和改进以确保在不同文化和语言环境中的安全性和适用性。

（6）对抗性攻击和“越狱”：GPT-4可能容易受到对抗性攻击和所谓的“越狱”尝试的影响，这些尝试可能会绕过模型的安全限制。

（用户通过某些提示词，能够绕过GPT-4内部设置的安全措施，让模型生成一些不当的内容）

（7）经济影响和社会影响：GPT-4的能力和局限性可能会对社会产生重大影响，包括工作自动化和经济不平等的加剧。

（8）依赖性：随着模型能力的提高，用户可能会过度依赖GPT-4，即使在模型可能产生错误的情况下也信任其输出。