[论文阅读]Large Language Model guided Protocol Fuzzing
Large Language Model guided Protocol Fuzzing
Proceedings 2024 Network and Distributed System Security Symposium
https://www.ndss-symposium.org/wp-content/uploads/2024-556-paper.pdf
由于我并不了解这方面，只进行一个简单的描述
整个文章就是针对用自然语言书写的互联网协议规范RFC，使用LLM协助自动化测试协议中的漏洞。
LLMPF方案：利用LLM指导的协议模糊测试，包括语法引导突变、丰富初始种子和跨越覆盖瓶颈三种策略。
整个文章看下来，对我有用的东西几乎没有，因为在我看来这篇文章就是借助LLM强大的文本生成、阅读理解和上下文提示学习的强大能力，给出一些上下文例子让LLM生成针对协议的测试语料然后投入使用，验证各种指标。
甚至说这篇文章和LLM关联不大，还是在处理协议漏洞的事情，LLM的作用就是一个辅助。
在没有机器可读的协议规范的情况下,如何发现协议实现中的安全漏洞?面对互联网,协议实现是特别安全关键的软件系统,其中输入必须遵循特定 的结构和顺序,这些结构和顺序通常是用自然语言写成的数百页的 RFC 文档非正式地指定。如果没有该协议的一些机器可读版本,就很难自动为其具体实现生 成遵循所需结构和顺序的有效测试输入。在一组作为输入种子的消息序列上进行 基于变异的模糊测试,可以部分缓解这一挑战。然而,可用的种子集通常是相当 有限的,并且很难涵盖协议状态和输入结构的巨大多样性。
开发了一个 LLM 指导的协议实现模糊测试引擎。我们的协议模糊器 CHATAFL 为协议 中的每种消息类型构建语法,然后通过与 LLM 的交互改变消息或预测消息序列中的下一条消息。在 PROFUZZBENCH 广泛的现实世界使用的协议上进行的实 验显示,CHATAFL 在状态和代码覆盖方面具有显著的功效。我们的 LLM 指导 的状态模糊器与最先进的 AFLNET 和 NSFUZZ 模糊器进行了比较。CHATAFL 分别多覆盖 47.60%和 42.69%的状态转换,29.55%和 25.75%的状态,5.81%和 6.74% 的代码。除了增强的覆盖范围外,CHATAFL 在广泛使用和经过广泛测试的协议 实现中发现了 9 个不同且以前未知的漏洞,而 AFLNET 和 NSFUZZ 分别只发现 了 3 个和 4 个漏洞。
贡献
- 我们为协议实现构建了一个大语言模型(LLM)引导的模糊测试引擎,以 克服现有协议模糊器遇到的挑战。为了更深入地覆盖这些协议的行为, 需要实时状态推断——这是通过询问 LLM(如 ChatGPT)关于给定协议的 状态机和输入结构来完成的。
- 我们提出了将 LLM 集成到基于突变的协议模糊器中的三种策略,每种 策略都明确地解决了协议模糊测试遇到的挑战。我们开发了一种扩展的 灰盒模糊测试算法,并将其作为原型 CHATAFL 实现。该工具可在 https://github.com/ChatAFLndss/ChatAFL 上公开获取。
- 我们进行了实验,证明我们的由 LLM 指导的状态模糊器原型 CHATAFL 在协议状态空间和协议实现代码的覆盖方面比最先进的 AFLNET 和 NSFUZZ 有效得多。除了增强的覆盖范围外,CHATAFL 还在广泛使用 的协议实现中发现了 9 个以前未知的漏洞,其中大多数是 AFLNET 和 NSFUZZ 无法发现的。