visual prompt tuning和visual instruction tuning
visual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。
输入：视觉信息image token+可学习的prompt token
处理任务：比如常见的分类任务
visual instruction tuning：目的是提高模型的听从指令的能力
一般会使用到指令数据集，指令数据大概是“问题-答案”这样的形式，问模型问题相当于给模型下指令。
输入：视觉信息（图像嵌入）+语言指令（文本嵌入）
处理任务：问模型问题，模型给回答
其他：比如写prompt提示词给GPT，这里的prompt貌似也是指问GPT的问题。