VLLM专题（三十六）—自动前缀缓存
PagedAttention 的核心思想是将每个请求的 KV 缓存划分为 KV 块。每个块包含固定数量的标记（tokens）对应的注意力键（keys）和值（values）。PagedAttention 算法允许将这些块存储在非连续的物理内存中，从而通过按需分配内存来消除内存碎片。
为了自动缓存 KV 缓存，我们利用以下关键观察：每个 KV 块可以通过块中的标记以及块之前的前缀标记来唯一标识。
块 1 块 2 块 3
[一阵轻风吹动] [孩子们的笑声飘过树叶] [远处传来笑声]
块