当前位置：首页 > article >正文

慧眼识词：解析TF-IDF工作原理

article 2025/1/4 9:14:31

`算法工程师必知必会之：TF-IDF`

搜索系列相关文章（置顶）

1.原始信息再加工：一文读懂倒排索引
2.慧眼识词：解析TF-IDF工作原理
3.超越TF-IDF：信息检索之BM25
4.深入浅出 Beam Search：自然语言处理中的高效搜索利器

一、背景介绍

TF-IDF的起源可以追溯到20世纪70年代，由信息检索领域的先驱Karen Spärck Jones提出。她意识到，为了提高信息检索系统的效率，必须找到一种方式来评估每个词汇对于特定文档的重要性。在此之前，简单的关键词匹配往往导致大量无关结果。为了解决这个问题，Jones引入了IDF（逆文档频率）的概念，这与传统的基于词频（TF）的权重计算相结合，形成了今天熟知的TF-IDF算法。随着时间的发展，TF-IDF逐渐成为搜索引擎优化、文本分类等任务中的关键技术之一。

二、技术核心

1. 定义

TF-IDF（Term Frequency-Inverse Document Frequency）是用来评估一个词在文档或语料库中的重要性的一种统计方法。它通过结合两个度量：词频（TF, Term Frequency） 和 逆文档频率（IDF, Inverse Document Frequency） 来计算。
在这里插入图片描述

1.1 `词频 (TF)`

词频衡量的是某个词 $t$ 在文档 $d$ 中出现的频率。公式如下：

$\frac{\text{词 } t \text{ 在文档 } d \text{ 中出现的次数}}{\text{文档 } d \text{ 的总词数}}$

解释：这个公式用来量化一个词在一个特定文档内的相对重要性。如果一个词频繁出现在某文档中，那么它的TF值就高；反之则低。但是，仅依靠TF并不能全面反映词语的重要性，因为一些常用词如“the”、“is”等虽然出现频率高，但对文档主题贡献不大。

1.2 `逆文档频率 (IDF)`

逆文档频率衡量的是一个词在整个文档集合中的普遍程度或稀有性。公式如下：

$\log\left(\frac{\text{总文档数} + 1}{\text{包含词 } t \text{ 的文档数} + 1}\right) + 1$

解释：
- [逆]指的是对词频的倒数进行某种形式的转换，以反映一个词在整个文档集合中的普遍性或稀有性。
- 分子部分的“总文档数+1”是为了避免当某个词从未出现在任何文档中时，导致分母为零的问题。
- 分母部分的“包含词 $t$ 的文档数+1”同样是为了防止除以零的情况，并且使得即使某个词只在一个文档中出现过，其IDF也不会变得无限大。
- 使用对数函数是为了缩小范围，让IDF的变化更加平缓，减少极端值的影响，同时保持对稀有词的有效加权。
- 加上的“+1”确保了即使一个词非常普遍，其IDF也不会变为0。

1.3 `TF-IDF 组合公式`

最终，TF-IDF 值是通过将上述两个分数相乘得到的：

$\times IDF(t)$

解释：
- 这个公式综合考虑了一个词在特定文档内的频率以及它在整个文档集中的罕见程度。
- 对于那些既在文档内频繁出现又在整个集合中较为少见的词，它们的TF-IDF值将会很高，表明这些词对于描述文档内容非常重要。
- 相反，那些常见于所有文档中的词（例如停用词），由于它们的IDF值较低，因此即使它们的TF值较高，它们的TF-IDF值仍然会很低。

通过这种方式，TF-IDF 提供了一种有效的方法来量化词汇的重要性，特别是在处理大量文本数据时。这种方法不仅有助于信息检索系统更准确地找到相关文档，而且也在诸如文本分类、关键词提取等多个自然语言处理任务中发挥了重要作用。

2. 举个`🌰`

为了更好地理解TF-IDF是如何工作的，通过一个具体的例子来展示其计算过程。假设有一个小型语料库，包含三篇文档，每篇文档讨论不同的主题。目标是计算每个词在各个文档中的TF-IDF值，并确定哪些词对于每篇文档最为重要。

给定文档集如下

Doc1：机器学习是人工智能的一个分支。
Doc2：深度学习是一种强大的机器学习方法。
Doc3：人工智能正在改变我们的生活和工作方式。

第一步：预处理

首先，需要对文本进行预处理，包括分词、转换为小写、去除停用词（如“是”、“的”等）。为了简化，直接列出处理后的词汇：

Doc1: [机器, 学习, 人工, 智能, 分支]
Doc2: [深度, 学习, 强大, 方法, 机器, 学习]
Doc3: [人工, 智能, 改变, 生活, 工作, 方式]

第二步：计算词频 (TF)

接下来，计算每个词在单个文档中出现的频率（TF）。

Doc1:
- 机器: $\frac{1}{5} = 0.2$
- 学习: $\frac{1}{5} = 0.2$
- 人工: $\frac{1}{5} = 0.2$
- 智能: $\frac{1}{5} = 0.2$
- 分支: $\frac{1}{5} = 0.2$
Doc2:
- 深度: $\frac{1}{6} \approx 0.167$
- 学习: $\frac{2}{6} \approx 0.333$
- 强大: $\frac{1}{6} \approx 0.167$
- 方法: $\frac{1}{6} \approx 0.167$
- 机器: $\frac{1}{6} \approx 0.167$
Doc3:
- 人工: $\frac{1}{6} \approx 0.167$
- 智能: $\frac{1}{6} \approx 0.167$
- 改变: $\frac{1}{6} \approx 0.167$
- 生活: $\frac{1}{6} \approx 0.167$
- 工作: $\frac{1}{6} \approx 0.167$
- 方式: $\frac{1}{6} \approx 0.167$

第三步：计算逆文档频率 (IDF)

然后，计算每个词在整个文档集合中的逆文档频率（IDF）。假设总文档数 $N = 3$ 。

机器: $\log\left(\frac{3 + 1}{2 + 1}\right) + 1 \approx 1.405$
学习: $\log\left(\frac{3 + 1}{2 + 1}\right) + 1 \approx 1.405$
人工: $\log\left(\frac{3 + 1}{2 + 1}\right) + 1 \approx 1.405$
智能: $\log\left(\frac{3 + 1}{2 + 1}\right) + 1 \approx 1.405$
分支: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
深度: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
强大: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
方法: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
改变: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
生活: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
工作: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$
方式: $\log\left(\frac{3 + 1}{1 + 1}\right) + 1 \approx 1.609$

第四步：计算TF-IDF值

最后，将每个词的TF值与IDF值相乘，得到最终的TF-IDF值。

Doc1:
- 机器: $0.2 \times 1.405 \approx 0.281$
- 学习: $0.2 \times 1.405 \approx 0.281$
- 人工: $0.2 \times 1.405 \approx 0.281$
- 智能: $0.2 \times 1.405 \approx 0.281$
- 分支: $0.2 \times 1.609 \approx 0.322$
Doc2:
- 深度: $0.167 \times 1.609 \approx 0.269$
- 学习: $0.333 \times 1.405 \approx 0.468$
- 强大: $0.167 \times 1.609 \approx 0.269$
- 方法: $0.167 \times 1.609 \approx 0.269$
- 机器: $0.167 \times 1.405 \approx 0.235$
Doc3:
- 人工: $0.167 \times 1.405 \approx 0.235$
- 智能: $0.167 \times 1.405 \approx 0.235$
- 改变: $0.167 \times 1.609 \approx 0.269$
- 生活: $0.167 \times 1.609 \approx 0.269$
- 工作: $0.167 \times 1.609 \approx 0.269$
- 方式: $0.167 \times 1.609 \approx 0.269$