手撸 chatgpt 大模型:详解 OpenAI 训练 gpt3 模型时使用的数据预处理算法:BPE

ChatGPT使用了另一种复杂的分词方案，叫做“字节对编码”（Byte Pair Encoding，简称BPE），最初这是一种数据压缩算法，让我们来看看它的过程。BPE在多次迭代中合并频繁使用的字符对。例如，给定字符串：

“low low low low low lower lower newest newest newest newest newest newest widest widest widest”

单词频率统计如下：

{ “low”: 5, “lower”: 2, “newest”: 6, “widest”: 3, }

现在，我们将单词拆分成字符，字符集将是初始词汇表： {l, o, w, e, r, n, s, t, i, d}

每个单词拆分成字符集合如下：

{ “l o w”: 5, “l o w e r”: 2, “n e w e s t”: 6, “w i d e s t”: 3, }

现在，我们来看每对相邻字符对。例如，“l o w”有两个相邻字符对“lo”和“ow”，由于“lo”出现在“l o w”和“l o w e r”中，前者的频率为5，后者的频率为2，那么字符对“lo”的频率为7。通过这种方式，我们得到以下统计：

{ “l o”: 7, “o w”: 7, “w e”: 8, “e r”: 2, “n e”: 6, “e w”: 6, “e s”: 9, “s t”: 9, “w i”: 3, “i d”: 3, “d e”: 3, }

现在我们可以看到最频繁的字符对是“e s”和“s t”，然后我们将“e s”合并为一个单位，命名为“es”，并将“es”添加到词汇表中： {l, o, w, e, r, n, s, t, i, d, es} 每个单词的字符集合变为：

{ “l o w”: 5, “l o w e r”: 2, “n e w es t”: 6, “w i d es t”: 3, }

此时最频繁的字符对是“es”和“t”，然后我们将它们合并为“est”，并将其添加到词汇表中： {l, o, w, e, r, n, s, t, i, d, es, est} 每个单词的字符集合变为：

{ “l o w”: 5, “l o w e r”: 2, “n e w est”: 6, “w i d est”: 3 }

这时最频繁的字符对是“l o”，我们将它们添加到词汇表中：

{l, o, w, e, r, n, s, t, i, d, es, est, lo}

单词集合为：

{ “lo w”: 5, “lo w e r”: 2, “n e w est”: 6, “w i d est”: 3 }

现在很容易看出，最频繁的字符对是“lo”和“w”，将它们合并并添加到词汇表中： {l, o, w, e, r, n, s, t, i, d, es, est, lo, low}

单词字符集合为： { “low”: 5, “low e r”: 2, “n e w est”: 6, “w i d est”: 3 }

通过这种方式，我们可以继续迭代，直到达到预设的次数或者词汇表达到预期的大小。接下来我们来看如何使用代码实现这个过程：

from collections import defaultdict
# 计算单词频率并将单词拆分成字符集合
def get_vocab(data):
  vocab = defaultdict(int)
  for word in data.split():
          vocab[' '.join(list(word))] += 1
  return vocab

vocab = get_vocab("low low low low low lower lower newest newest newest newest newest newest widest widest widest")
print(vocab)

运行上面的代码，我们得到以下结果：

defaultdict(<class 'int'>, {
   'l o w': 5, 'l o w e r': 2, 'n e w e s t': 6, 'w i d e s t': 3})

接下来我们可以计算相邻字符对的频率：

# 计算相邻字符对的频率
from collections import Counter
def get_stats(vocab):
  pairs = Counter()
  for word, freq in vocab.items(<