当前位置: 首页 > article >正文

大语言模型入门文献推荐

        分享一些入门大模型时候学习过的文献。分成两类:大模型微调论文、基础大模型论文。这些论文不用精通,明白其基本原理即可。目前技术发展太快,更多的时间和精力应该放在前沿论文的学习上。

一、基础大模型论文

       首先是目前主流的一些模型,包括GPT(Openai), GLM(清华)Llama(Meta)。相关的大模型论文还有很多,例如Qwen等。读者能就其中的论文做到举一反三即可。

  1. GPT1: Improving language understanding by generative pre-training
  2. GPT2: Language models are unsupervised multitask learners
  3. GPT-3:Language Models are Few-Shot Learners
  4. GPT-4 Technical Report
  5. InstructGPT: Training language models to follow instructions with human feedback
  6. GLM: General Language Model Pretraining with Autoregressive Blank Infilling
  7. GLM-130B: An Open Bilingual Pre-trained Model
  8. LLaMA: Open and Efficient Foundation Language Models
  9. Llama 2: Open Foundation and Fine-Tuned Chat Model

还有一些经典的文本生成论文,大家有时间也可以阅读。

  1. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
  2. T5:Exploring the limits of transfer learning with a unified text-to-text transformer
  3. ELMO:Deep contextualized word representations

二、微调方法论文

       有关大模型微调方法,目前LoRA几乎是垄断的情况,调起来也非常简单。所以其他微调方法了解即可。

  1. Prefix-Tuning: Optimizing Continuous Prompts for Generation
  2. P-tuning: GPT Understands, Too
  3. P-Tuning V2: Prompt Tuning Can Be Comparable to Fine-tuning Across Scales and Tasks
  4. Prompt tuning: The Power of Scale for Parameter-Efficient Prompt Tuning
  5. Adapter: Parameter-Efficient Transfer Learning for NLP
  6. LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

    此外也有一些写的很好的微调方法综述文章。

  1. Towards a unified view of parameter-efficient transfer learning
  2. Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models
  3. Scaling down to scale up: A guide to parameter-efficient fine-tuning
  4. UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning

    刚学习的时候,经常会听到指令微调(Instruction tuning),有监督微调(supervised finetuning等),其实都是一回事,这边也放一些相关文章。

  1. Instruction Tuning for Large Language Models: A Survey
  2. Instruct learning: Finetuned Language Models are Zero-shot Learners

三、其他资料

1、P-tuning:自动构建模版,释放语言模型潜能

2、PET,必须要GPT3吗?不,BERT的MLM模型也能小样本学习


http://www.kler.cn/a/589830.html

相关文章:

  • 多模态模型Orpheus,基于病理图像的乳腺癌复发风险智能评估工具|顶刊解读·25-03-17
  • Oracle 查询表占用空间(表大小)的方法
  • 设计模式-组件协作
  • 问题链的拓扑学重构
  • java 动态赋值写入word模板
  • react实现虚拟列表
  • MYsql—1
  • 【Linux系统】进程地址空间详解
  • GLOW-TTS
  • Yolo v4 (Darknet) Mac M2 安装与运行
  • 前端UnoCSS面试题及参考答案
  • Forward Looking Radar Imaging by Truncated Singular Value Decomposition 论文阅读
  • gitlab将本地项目提交到远程dev分支
  • 【JAVA】深入浅出理解Comparator 和 Comparable接口
  • 【免费】怎么将MP4转换为GIF,如何在线实现多媒体文件格式互转
  • 【网络】数据流(Data Workflow)Routes(路由)、Controllers(控制器)、Models(模型) 和 Middleware(中间件)
  • 【004】deepseek本地化部署后,python的调用方式_#py
  • 【虚幻C++笔记】TArray,TMap,TSet容器
  • QListView、QListWidget、QTableView和QTableWidget
  • 【MySQL】MySQL是如何处理请求的?