fastchat 支持llama3 harmbench PAIR攻击支持 llama3
fastchat 一年没发版了,但是代码里是支持 llama3 的,参考这里直接修改pip依赖源码:https://github.com/lm-sys/FastChat/blob/main/fastchat/conversation.py#L164
【搜LLAMA3关键字】只有几处;
其次修改 PAIR_config.yaml,在里面配置llama3模型:
local_llama3_8b_instruct:
target_model:
model_name_or_path: 【你自己的模型本地路径】
use_fast_tokenizer: False
dtype: bfloat16
pad_token: <|end_of_text|>
num_gpus: 1
use_vllm: True
fschat_template: llama-3