美团2025校招 广告算法工程师 面经

一面/技术面 2024/09/05

1. 拷打实习（拷打了很长时间）
2. 你做的这些实验里，模型规模是怎样的？有没有训练过更大的模型？
3. 给定一个pytorch的checkpoint，怎么将它转换成tensorflow格式的？
4. 多机多卡分布式训练是否了解？具体流程是怎样的？
5. 了解过哪些并行训练技术？
6. ZeRO-1、ZeRO-2和ZeRO-3的区别？
7. 给定LLaMA的参数量，怎么估计它的具体配置？
8. 讲一下LLaMA的具体结构
9. 为什么要用RMSNorm？它是怎么算的？
10. 预训练阶段有哪些加速的方法？
11. 展开讲讲Flash Attention，v2相比v1有哪些改进？
12. kv-cache的原理？
13. 介绍下PEFT的主流方法和它们之间的一些区别
14. 手撕代码：买卖股票的最佳时机 III
15. 概率题：圆的半径为R，在圆内随便扔一点，它到圆心距离的期望是多少？

二面/技术面 2024/09/12

1. 拷打论文（让我共享屏幕对着自己的论文讲，大概30min）
2. 在构建词表的时候需要把整个语料先过一遍吗？有没有特殊的处理？
3. 假设词表大小为十万，我们在预测下一个词的时候，需要把这个十万的词全都算一遍吗？
4. hierarchical softmax会带来哪些问题？
5. 负采样和二分类任务的区别？
6. 讲一下NCE loss和BCE loss的相同点和不同点
7. 训练过程中有哪些你了解的可以分享的点？
8. 在预训练阶段针对性能方面有没有什么优化？
9. KV-Cache的具体实现是怎样的？
10. 概率题：和一面一样
11. 你觉得你做的这些东西在美团的业务场景中会有什么应用？
12. 你可以总结一下你做的项目，如果你来我们这边，你觉得会怎样和推荐广告做一个结合？
13. Milvus、Faiss这些有了解过吗？
14. Faiss中常用的距离度量有哪些？
15. 如果我们用内积作为距离，因为它不满足三角不等式，会不会出现什么问题？
16. 在推荐系统里，怎么样能把距离考虑进来？
17. 场景题：已知用户的经纬度和广告的经纬度，怎样将其转换成向量，使得两个向量的内积等于距离？（描述的不太准确，当时这题答得不太好）
18. 手撕代码：二分查找

三面/技术面 2024/09/19

这一面偏聊天，没有问太多的技术问题。

1. 能不能简单介绍一下你个人的情况？
2. 拷打实习+论文（持续30min）
3. 你在论文中担任的角色是什么？和其他人的分工是怎样的？
4. 解释一下大模型训练框架中的数据并行、模型并行和张量并行
5. 你对广告算法领域都有哪些了解？
6. 你最近在大模型领域关注的亮点工作有哪些？
7. 纯聊天