【NLP百面百过】大模型算法面试高频面题（全面整理 ʘ‿ʘ）

目录

一、大模型面试指南

重点面题精讲

【LLM面题精讲 - RAG系统面】 查看答案

【LLM面题精讲 - 实体识别面】 查看答案

【LLM面题精讲 - 文本分类面】 查看答案

【LLM面题精讲 - 分布式训练面】 查看答案

【LLM面题精讲 - 大模型微调面】 查看答案

【LLM面题精讲 - 大模型架构面】 查看答案

【LLM面题精讲 - Transformer面】 查看答案

【LLM面题精讲 - LSTM面】 查看答案

【LLM面题精讲 - RNN面】 查看答案

【LLM面题精讲 - Word2Vec面】 查看答案

【LLM面题精讲 - 分词面】 查看答案

高频面题汇总

NLP 基础面 查看答案

BERT 模型面 查看答案

LLMs 微调面 查看答案

二、项目实践

预训练模型

文本分类

LangChain

动手学 RAG

三、算法理论

LLMs篇

BERT篇

Transformer

NLP 基础

四、面经分享

五、大厂AI实践

阿里

百度

腾讯

美团

小米

其他

我在 AI 领域工作多年，长期负责算法团队的招聘和面试，我精心整理了大模型面试中的的一些高频面试题，适合大模型初学者和正在准备面试的小伙伴。

本专栏全面总结了【大模型面试】的高频面题和答案解析，答案尽量保证通俗易懂且有一定深度。旨在帮助AI工程师快速完成面试准备，先人一步顺利拿到心仪 Offer 🎉🎉🎉

一、大模型面试指南

重点面题精讲

【LLM面题精讲 - RAG系统面】 查看答案

• 用户问题总是召回不准确，在用户理解阶段可以做哪些优化？

• 文档问答中，如何构建索引，提升对用户问题的泛化能力？

• 如何合并多路检索的结果，对它们做排序？

• BM25检索器总是召回无关的知识，最可能的原因是什么？

• 如何构建重排序模型的微调数据？

• More ......

【LLM面题精讲 - 实体识别面】 查看答案

• 实体识别中有哪些难点？

• 实体识别有哪些常用的解码方式？

• 如何解决实体嵌套问题？

• 实体识别的数据是如何进行标注的？

• 如何解决超长实体识别问题？

• More ......

【LLM面题精讲 - 文本分类面】 查看答案

• 如何用检索的方式做文本分类？

• 如何用Prompt的方式做文本分类？

• 文本分类任务中有哪些难点？

• 如何解决样本不均衡的问题？

• 如果类别会变化如何设计文本分类架构？

• More ......

【LLM面题精讲 - 分布式训练面】 查看答案

• PS架构和Ring-AllReduce架构有何不同？

• 什么是张量并行，如何使用集群计算超大矩阵？

• ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？

• 用DeepSpeed进行训练时主要配置哪些参数？

• More ......

【LLM面题精讲 - 大模型微调面】 查看答案

• 如果想微调大模型本体参数，有哪些训练技巧？

• 什么是BitFit微调？

• 什么是LoRA微调？有哪些可配置的参数？

• 从零训练一个大模型有哪几个核心步骤？

• 如何将一个通用大模型训练成行业大模型？

• 如何准备SFT阶段的训练数据？

• More ......

【LLM面题精讲 - 大模型架构面】 查看答案

• LLM架构对Transformer都有哪些优化？

• 什么是旋转位置编码（RoPE）？

• RoPE相对正弦位置编码有哪些优势？

• RoPE如何进行外推？

• LLM为何使用GQA代替MHA？

• PreNorm和PostNorm有何不同？

• 为何使用RMSNorm代替LayerNorm？

• LLM使用SwiGLU相对于ReLU有什么好处？

• More ......

【LLM面题精讲 - Transformer面】 查看答案

• 自注意力层和全连接层有什么区别？

• 多头注意力相对于单头注意力有什么优势?

• Transformer中自注意力模块的计算过程？

• 什么是缩放点积注意力，为什么要除以根号d？

• BatchNorm和LayerNorm的区别？

• 解码器为什么要使用Mask？是如何实现的？

• More ......

【LLM面题精讲 - LSTM面】 查看答案

• LSTM 如何缓解 RNN 梯度消失的问题?

• LSTM中记忆单元的作用是什么？

• LSTM有几个门，分别起什么作用？

• LSTM的前向计算如何进行加速？

• LSTM中的tanh和sigmoid分别用在什么地方？为什么？

• More ......

【LLM面题精讲 - RNN面】 查看答案

• RNN的输入输出分别是什么？

• RNN是如何进行参数学习（反向传播）的？

• 用RNN训练语言模型时如何计算损失？

• RNN不能很好学习长期依赖的原因是什么？

• 怎么解决RNN的梯度爆炸问题？

• More ......

【LLM面题精讲 - Word2Vec面】 查看答案

• 基于计数的表示方法存在哪些问题？

• CBOW 和 Skip-gram 哪个模型的词嵌入更好？

• Word2Vec的词向量存在哪些问题？

• 为什么说Word2vec的词向量是静态的？

• Word2Vec如何优化从中间层到输出层的计算？

• More ......

【LLM面题精讲 - 分词面】 查看答案

• 如何处理超出词表的单词（OVV）？

• BPE 分词器是如何训练的？

• WordPiece 分词器是如何训练的？

• Unigram 分词器是如何训练的？

• More ......

高频面题汇总

NLP 基础面 查看答案

• 【NLP 面试宝典 之 模型分类】 必须要会的高频面题

• 【NLP 面试宝典 之 神经网络】 必须要会的高频面题

• 【NLP 面试宝典 之 主动学习】 必须要会的高频面题

• 【NLP 面试宝典 之 超参数优化】 必须要会的高频面题

• 【NLP 面试宝典 之 正则化】 必须要会的高频面题

• 【NLP 面试宝典 之 过拟合】 必须要会的高频面题

• 【NLP 面试宝典 之 Dropout】 必须要会的高频面题

• 【NLP 面试宝典 之 早停法】 必须要会的高频面题

• 【NLP 面试宝典 之 标签平滑】 必须要会的高频面题

• 【NLP 面试宝典 之 Warm up 】 必须要会的高频面题

• 【NLP 面试宝典 之 置信学习】 必须要会的高频面题

• 【NLP 面试宝典 之 伪标签】 必须要会的高频面题

• 【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题

• 【NLP 面试宝典 之 交叉验证】 必须要会的高频面题

• More ......

BERT 模型面 查看答案

• 【NLP 面试宝典 之 BERT模型】 必须要会的高频面题

• 【NLP 面试宝典 之 BERT变体】 必须要会的高频面题

• 【NLP 面试宝典 之 BERT应用】 必须要会的高频面题

• More ......

LLMs 微调面 查看答案

• 【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题

• 【NLP 面试宝典 之 Prompt】 必须要会的高频面题

• 【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题

• 【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题

• More ......

二、项目实践

预训练模型

• 【预训练模型实战（一）】文本分类任务

• 【预训练模型实战（二）】序列标注任务

• 【预训练模型实战（三）】文本摘要任务

• 【预训练模型实战（四）】阅读理解任务

文本分类

• 【文本分类 理论（一）】如何使用DL做文本分类任务？

• 【文本分类 理论（二）】多标签分类和长文本分类如何做

• 【文本分类 理论（三）】层次化多标签文本分类如何做？

• 【文本分类 实战（一）】使用LSTM完成情感分析任务

• 【文本分类 实战（二）】基于检索的多层次文本分类

• 【文本分类 实战（三）】基于 Prompt 的小样本文本分类实践

LangChain

• 【LangChain 实战（一）】LangChain 初见

• 【LangChain 实战（二）】PDF 文档问答

• 【LangChain 实战（三）】源码简读

• More ......

动手学 RAG

• 【RAG 项目实战 01】在 LangChain 中集成 Chainlit

• 【RAG 项目实战 02】Chainlit 持久化对话历史

• 【RAG 项目实战 03】优雅的管理环境变量

• 【RAG 项目实战 04】添加多轮对话能力

• More ......

三、算法理论

LLMs篇

• 【分布式训练 学习笔记（一）】 流水线并行

• 【分布式训练 学习笔记（二）】 DP和DDP

• 【分布式训练 学习笔记（三）】 零冗余优化（ZeRO）

• 【分布式训练 学习笔记（四）】 张量并行（TP）

• 【分布式训练 学习笔记（五）】 Megatron 源码解读（上）

• 【分布式训练 学习笔记（六）】 Megatron 源码解读（下）

• 【PEFT 学习笔记（一）】PEFT技术综述

• 【PEFT 学习笔记（二）】技术原理 - BitFit、Prefix Tuning、Prompt Tuning

• 【PEFT 学习笔记（三）】技术原理 - P-Tuning、P-Tuning v2

• 【PEFT 学习笔记（四）】技术原理 - Adapter Tuning及其变体

• 【LoRA 学习笔记（一）】LoRA 原理篇

• 【LoRA 学习笔记（二）】LoRA 源码篇

BERT篇

• 【BERT 学习笔记（一）】论文精读

• 【BERT 学习笔记（二）】源码解析 - 运行示例

• 【BERT 学习笔记（三）】源码解析 - 模型架构

• 【BERT 学习笔记（四）】源码解析 - 预训练

• 【BERT 学习笔记（五）】源码解析 - 模型微调

• More ......

Transformer

• 【Transformer 学习笔记（一）】论文精读

• 【Transformer 学习笔记（二）】核心机制 - 位置编码

• 【Transformer 学习笔记（三）】核心机制 - 自注意力机制

• 【Transformer 学习笔记（四）】核心机制 - 层归一化

• More ......

NLP 基础

• 【NLP 入门（一）】：自然语言处理概述

• 【NLP 入门（二）】：中文分词概述

• 【NLP 入门（三）】：词向量化概述

• 【NLP 入门（四）】：Seq2Seq 模型概述

• 【NLP 入门（五）】：Transformer 概述

四、面经分享

• 双非研究生斩获大厂offer（百度、阿里、顺丰）

• 六面！双非本科终斩腾讯NLP offer

• 超详细！腾讯NLP算法岗面经（已offer）

• 秋招算法面经集合 -- 华为、百度、腾讯、美团等

• 算法岗通关宝典 -- 社招一年经验，字节5轮、阿里7轮

• NLP面经集结 -- 达摩院、腾讯、微软、美团、百度

• NLP面试复盘 -- 阿里、腾讯、头条、paypal、快手

• More ......

五、大厂AI实践

阿里

• 阿里小蜜智能服务技术实践及场景探索

• 阿里云基于预训练模型、智能运维的QA生成算法落地

• 情感计算在淘宝UGC的应用

• AliceMind大规模预训练实践及AIGC在ModelScope中的应用

• More ......

百度

• 百度：大模型推动的人机交互对话

• 百度：基于异构互联知识图谱的多模内容创作技术

• 百度：如何从零样本做中文文本知识标注与挖掘？

• 百度：文档智能技术与应用

• 百度：文心开放域对话技术及其应用

• More ......

腾讯

• 腾讯：可控、可靠的数据到文本生成技术

• 腾讯：微信搜一搜中的智能问答技术

• 腾讯：QQ浏览器搜索中的智能问答技术

• 腾讯：QQ音乐命名实体识别技术

• More ......

美团

• 美团：对话理解技术及实践

• 美团：大众点评信息流基于文本生成的创意优化实践

• 美团：对话摘要技术在美团的探索（SIGIR）

• 美团：基于知识图谱的问答在美团智能交互场景中的应用和演进

• 美团：美团搜索中查询改写技术实践

• 美团：美团智能客服核心技术与实践

• 美团：事件图谱在美团智能客服问答中的应用

• 美团：小样本学习+自训练实战

• More ......

小米

• 小米：音乐垂域的自然语言理解

• 小米：NLP技术在小米语音助手中的应用

• More ......

其他

• 飞猪：POI 识别在飞猪搜索的探索与实践

• 京东：基于知识图谱的商品营销文案自动生成实践

• 微软：基于预训练的自然语言生成在搜索与广告中的应用

• More ......