UniRel论文复现过程中的问题解决办法(全)
注解写在前面:本文仅为解决各位同学在复现时面对的问题,有问题可以评论,看见会回复!!!
[顶刊论文]UniRel:Unified Representation and Interaction for Joint Relational Triple Extraction2022.11.16|EMNLP 2022|中国科学技术大学 |原文链接|源码链接
项目源代码链接:GitHub - wtangdev/UniRel: released code for our EMNLP22 paper: UniRel: Unified Representation and Interaction for Joint Relational Triple Extraction
数据集链接:https://drive.google.com/file/d/1-3uBc_VfaCEWO2_FegzSyBXNeFmqhv7x/view
bert-base-cased链接:https://huggingface.co/google-bert/bert-base-cased
一、基础准备
1.数据集准备
从注解的链接中下载数据集,这里的数据集和项目中的一致。(使用不带star的)
2.bert-base-cased模型下载
从注解的链接中下载模型,这里模型于项目中一致。(简单方法:手动一个一个下载到本地)
3.项目下载
直接从GitHub中下载项目。
二、复现中的问题
1.依赖下载:
直接
pip install -r requirements.txt
问题1:Windows中下载某一个包会让你下载虚拟环境
这个项目是在Linux环境下运行的,你可以选择下载虚拟环境,也可以直接在虚拟机或服务器上跑,安装虚拟环境网上教程很多。
问题2:pytorh的下载
pip可能无法下载pytorch,所以使用conda进行下载,并且cuda版本使用11.0(源项目使用的是cuda10,这个会与transformer的版本相冲突,所以下载cuda11.0的版本)
conda install pytorch=1.7.1 torchvision torchaudio cudatoolkit=11.0 -c pytorch
2.项目的运行
在windows中通过run.py运行,所需要的参数在run_nyt.sh中。
1. 地址如果有问题就用绝对地址
2.数组越界,data_processer中250多行的一个问题:直接注释掉那几行代码,貌似没用。(菜鸡行为,如果有用请在评论区教教我,求求了,或者直接甩我脸上(狗头)。)
3. 运行出现W&B的提示就进入你的conda的虚拟环境中关闭。参考大佬的文章(谢谢大佬!!!!):【deepspeed】【训练】【交互】【wandb】训练过程中的wandb交互如何去除_transformers 关闭wandb-CSDN博客这个代码加在文件开头就行。
三.总结
首先是免责申明:如果有问题联系我删除这篇文章!!!并且抱歉!!!
正式总结:这篇文章可能写的一坨答辩,可能会有很多错别字,凭记忆写的,请大家多多包涵。如果大家有问题直接在评论中问我,我看见、知道我就解答,项目数据集这些下不下来,我也可以帮忙,大家一起加油!!!