【NLP笔记】文本分词、清洗和标准化
文章目录
- 文本分词
- 中文分词
- 英文分词
- 代码示例
- 文本清洗和标准化
文本分词
参考文章：一文看懂NLP里的分词（中英文分词区别+3 大难点+3 种典型方法）;
文本分词处理NLP的基础，先通过对文本内容进行分词、文本与处理（无用标签、特殊符号、停用词、大写转小写）、向量化等操作，然后才能够作为各种算法的输入，分词一直是 NLP 的基础，但是现在也不一定了，不过在一些特定任务中，分词还是必要的。如：关键词提取、命名实体识别等，感兴趣的可以看看这篇论文：Is Word Segmentation Necessary for Deep Learning of Chinese Representations?
中文分词
- HanLP;
- 斯坦福CoreNLP;
- ANSJ;
- 哈工大LTP;
- KCWS;
- Jieba;
- IK;
- 清华大学THULAC;
- ICATLAS;
英文分词
- keras;
- spaCy;
- gensim;
- nltk;
代码示例
- 文本分词：自然语言处理（NLP）（一）文本预处理篇之分词、向量表示和特征处理;
- 文档分词：批量处理文件构造语料库并训练Doc2Vec模型（基于gensim的实现）;
文本清洗和标准化
参考文档：
- NLP文本技术 nlp文本预处理；
- 文本的清洗和标准化：如何处理混乱的数据？;
- Steps for effective text data cleaning (with case study using Python);
- 文本清洗（小技巧）；
经分词后的文本通常包含很多冗余信息，因此需要进行数据清洗，具体包含：文本清洗（无用标签剔除、特殊符号剔除、停用词剔除、大小写转换等）和文本标准化（字符集的转换、单词的统一化、时间和日期的统一化）；
在完成具体任务时，需要根据任务目标对文本数据进行清洗，保证冗余信息的剔除。