当前位置：首页 > article >正文

NLP 文本分类任务核心梳理

article 2024/9/27 7:21:21

解决思路

分解为多个独立二分类任务
将多标签分类转化为多分类问题
更换 loss 直接由模型进行多标签分类

数据稀疏问题

标注更多数据，核心解决方案：

自己构造训练样本
数据增强，如使用 chatGPT 来构造数据
更换模型
减少数据需求
增加规则弥补
调整阀值，用召回率替换准确率
重新定义类别(类别合并)

标签不均衡问题

过采样
复制指定类别样本，在采样中重复
降采样
减少多样本类别的采样，随机使用部分样本
增加标注数据
调整样本权重
调整损失函数的权重
非神经网络的方法
- 贝叶斯
  - 全概率公式
  - 贝叶斯公式
    - 核心在于词频的统计
    - 需要做词的独立性假设，形成每个事件在某个事件下发生概率的相乘
      这种假设是没有保障的，需要加一平滑等策略，保证概率不为0，没有考虑语序，没有词义。
  - 适用于样本分布较均衡的语料
    - 简单高效
    - 训练结果有一定的可解释性
    - 训练数据可以分批处理
- SVM 支持向量机
  - 找到一个决策边界
    - 即一条直线、平面或超平面
      - 实现数据的线性可分
    - 距离两个类别最近的样本距离最远
  - 是非线性不可分的
    - 可以通过使用特别的映射关系，将数据映射到高维解决
    - 通过核函数解决高维度计算耗时问题
  - 主要靠核函数寻找决策边界
  - 没有像贝叶斯很好的可解释性，没有神经网络的效果好
神经网络方法
- fastText
  - 结构简单
    1. embedding
    2. mean pooling
    3. fc -> class_num
  - 参数少，所以效果不会很好
    抛弃了语序信息
- TextCNN
  对位相乘再相加，是有语序信息的，可以堆叠多层使用。
  - 分类
    - LSTM
    - GRU
- Gated CNN
  - 过滤 AB 相乘后为 0 部分
  - 放缩 B 中在 0-1 的部分
- Bert
  实现方式：
  1. 取[cls] token 对应的向量
  2. 将整句话的向量取 max/average pooling
  3. 将 bert 编码后的向量再输入 LSTM 或者 CNN
  4. 将bert 中间层的结果取出，加入运算
- Bert + RNN 或 CNN
  由于Bert 权重不是随机的，RNN 或 CNN 权重随机，为防止Bert 权重失去意义，RNN 最多一层或双向，或 CNN 最多 2-3 层。
- 拓展
  - 对比学习
  - 海量向量查找
    - 向量数据库
      Annoy
      在多个接近的分支上查找
    - KD 树
      实现空间分割，局部对比
      均方差
      中位数
- 目的
  预设文文本所属的类别