从词袋到Transformer：自然语言处理的演进与实战
自然语言处理（NLP）是人工智能领域中最具挑战性和吸引力的方向之一。从最早的规则系统到如今的深度学习模型，NLP技术的发展历程充满了创新与突破。本文将带你深入探讨NLP的核心技术演进，并通过代码和案例展示如何从简单的词袋模型过渡到强大的Transformer架构。
1. 词袋模型：NLP的起点
词袋模型（Bag of Words, BoW）是NLP中最基础的技术之一。它的核心思想是将文本表示为词汇的集合，忽略语法和词序，只关注词频。虽然简单，但词袋模型在许多任务中仍然有其用武之地，比如文本分类和情感分析。
让我们通过一个简单的例子来理解词袋模型。假设我们有以下两句话：
- 句子1： “我喜欢自然语言处理”
- 句子2： “自然语言处理很有趣”
首先，我们需要构建一个词汇表，包含所有出现的单词：
词汇表 = ["我", "