抖音大模型面试经历分享
我主要从事自然语言处理(NLP)工作,同时也涉及多模态和强化学习。当前大环境不太好,可投递的公司并不多,像腾讯主要招聘高级别岗位,所以我没有投递腾讯。
抖音一面
-
面试官首先与我聊了项目。
-
接着询问了 AUC 的两种公式,并要求证明这两种公式是否等价。
-
还问到在 BERT - CRF 中,添加 CRF 的原因以及其好处。
-
探讨了 self - attention 中使用 QKV 三个矩阵的原因,不使用会有什么问题,以及是否有模型的 Q 和 K 矩阵是一样的。
-
询问 reinforce(reinforce)属于 on - policy 还是 off - policy 以及原因。
-
让我说明 reinforce带上基线(baseline)的好处,并写出 reinforce的损失函数。
-
要求推导策略梯度。
-
代码题方面,有 leetcode 46 全排列和 leetcode 73 矩阵置 0。我原本以为面试官只会问多模态,没想到他对强化学习也很精通,真的非常厉害,我很好奇他们怎么有那么多时间涉猎这么多领域的知识。
抖音二面
-
同样先介绍项目。
-
询问知识蒸馏有哪些种类,以及我认为哪种效果最好。
-
让我列举 NLP 的数据增强方法,并分别举例。
-
探讨分类的损失函数为什么是交叉熵而不是均方误差(MSE)。
-
询问 BERT 对输入文本长度的限制以及限制长度的原因。
-
询问 BigBird 中包含哪几种注意力机制,以及相比原始 Transformer 的 self - attention 的优势。
-
给出一个场景题:如何根据拼多多的商品数量,估计淘宝的商品数量。
-
给出 emb_size、max_len、vocab_size、ff_inner_size、num_heads 以及 12 层,要求计算 BERT 的参数量。
-
代码题是 n 皇后问题,这是一道 hard 题目,当时我以为自己要挂了,没想到没过几分钟 HR 就告诉我通过了。
抖音三面
-
简单聊了项目。
-
询问 CRF 和 HMM 的区别,以及 CRF 比 HMM 效果好的原因。
-
提出如果 BERT 词表很大,比如 vocab_size 达到几百万该怎么办。
-
让我快速手写一些 Transformer 的多头注意力(MHA)的伪代码。
-
探讨为什么对比学习中温度(temperature)很小,而知识蒸馏的温度比较大。
-
询问我觉得在抖音买东西与在淘宝、拼多多买东西的区别(我没在抖音买过东西,只能现场编造)。
-
让我介绍最近看到的一些论文。
-
询问我认为自己有哪些优缺点,以及平时喜欢如何缓解压力。这一面的面试官很和蔼,一直面带微笑,后面就变成了闲聊,整体体验很不错。
最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀
小编给自己收藏整理好的学习资料分享出来给大家💖
👉AI大模型学习路线汇总👈
大模型学习路线图,整体分为7个大的阶段:(全套教程文末领取哈)
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉如何学习AI大模型?👈
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。