TfidfVectorizer
TF-IDF / Term Frequency - Inverse Document Frequency
作用：是自然语言处理NLP中常用的文本特征提取工具，用于将文本数据转换为数据向量。
核心思想：是通过统计词频和逆文档频率来量化词语在文本中的重要性。
-
T F − I D F ( t , d ) = T F ( t , d ) ∗ I D F ( t ) TF-IDF_{(t,d)} = TF_{(t,d)} * IDF_{(t)} TF−IDF(t,d)=TF(t,d)∗IDF(t)
-
意义：
– 高频词（TF高）但罕见（IDF高）的词语会获得高权重（e.g.专业术语）；
– 高频但常见的词语（如“的”、“是”）会被抑制。 -
子公式1/2
– T F ( t , d ) = 词 t 在文档 d 中出现次数 文档 d 的总词语 TF_{(t,d)} = \dfrac{词t在文档d中出现次数}{文档d的总词语} TF(t,d)=文档d的总词语词t在文档d中出现次数 -
子公式2/2
– I D F ( t ) = 总文档数 包含词 t 的文档数 + 1 + 1 IDF_{(t)} = \dfrac{总文档数}{包含词t的文档数+1}+1 IDF(t)=包含词t的文档数+1总文档数+1