深度学习速通系列:超长法律文件隐私过滤(基于预训练模型Bert)
法律文件隐私过滤
网上使用bert的中文模型进行命名识别教程少的可怜,摸索了一周的时间,硬是把法律文书的人名全部识别出来了,目前可以达到98.9999%(开玩笑的,不过准确率保守估计是有90%以上).注意:这个法律文书目前只是针对裁决书,其他还没测试过,可支持超长文本识别
github仓库地址
欢迎各位点个☆Star!!!
使用的模型
bert-base-chinese-ner 下载路径：https://hf-mirror.com/ckiplab/bert-base-chinese-ner （国内镜像，不用魔法也能访问）
下载好，直接放在当前目录下
使用步骤
1.先去下载模型,放在当前目录下
2.将里面的text改成你的文本,即"text=''' 你的法律文书内容''' "
3.全局搜索from_pretrained,后面的两处路径都改成模型的绝对路径
4.启动person_filterling.py文件
5.在当前目录找到一个.docx文件,直接打开,就可以看到识别后的文件了
提醒
虽然项目只是针对了法律文书进行了调整,也可以尝试使用其他类型文本,效果应该也是可观的