当前位置：首页 > article >正文

数据开发方向经过15年的发展再一次走到了十字路口

article 2025/3/9 8:12:19

这是一个简短的思考记录文章，在和朋友头脑风暴后得出来的结论。

2025年随着DeepSeek的开源，AI/大模型从原来高不可攀一夜之间走进普通开发者的视线。

这个浪潮发展之猛烈，行业内大多数人员还没有真正意识到他带来的改变。但是从去年下半年到今年年初行业内的变化我们已经可以管中窥豹。

数据开发这个职业方向经过15年的发展再一次走到了十字路口。

我们只是从感性上分析这个职业未来的发展变化。不管你是初窥门径的新人还是从业多年的大牛，这些变化你都需要及时感知到。未来整个软件开发行业都会只属于那些一直保持学习能力的人。

我们先说一些正在发生的变化，数据全栈工程师/AI数据工程师被推上风口浪尖。

15年前数据开发这个方向正式被定义为一个职业方向的时候，无数行业内的大公司在蛮荒时代起到了至关重要的作用，大量从业人员从最开始的后端切入到数据领域，带来了至关重要的架构设计经验，使得这个行业快速猛烈发展。

然而时过境迁，大公司的螺丝钉属性把原来第一批数据开发工程师的全栈属性变成了所谓的「专人专岗」，分化出来了平台引擎和数据仓库等更加细微的方向，这种专业化细分严格意义上来讲是企业发展需求，螺丝钉化员工的一种行为，这种行为严重阻碍了个人的市场竞争力。这也是为什么除了大公司的部分从业人员外，大多数的公司数据开发这个岗位的从业人员竞争力如此之低的重要因素之一。

其次，传统的平台引擎类、平台产品类岗位大幅缩减，这部分从业人员从2010年-2023年间的炙手可热变成爹娘不爱的重要因素就是全行业平台化成熟度变高，云平台的猛烈发展，使得大小公司在平台能力上距离被抹平，从而变成了成本部门，这部分从业人员从23年开始大量转方向到AI Infra、智能体开发方向，这是一个非常好的出路。过去10多年的高速发展，原本一些能力很差、并不属于这个行业的老帮子们在行业风口上建立了准入规则和制度。但时代更替，大家重新来过，新人站在风口可以忽视这些历史准入规则从而建立自己的时代。

基础架构出身的同学们有坚实的开发功底，是整个行业内技术底子最出色的那一批人，然而时代巨变，终于走到了需要大家作出抉择的时刻，死磕数据基架和平台引擎变得鸡肋，不如看看AI领域内的新方向？

传统的面向业务开发的数仓从业人员素素质参差不齐，大量技能陈旧落后，依赖平台花式写SQL，服务端功底几乎为0，短暂培训上岗的同学们将面临行业洗牌，被动退出这个行业。如果是2024年前是「警告」，2025年后将会变成现实，而且来临之快会超过你的想象。所有曾经跟我交流过的、加过知识星球的同学都不会陌生，我给很多人的建议中都会有一条，数据开发功底要扎实，然后尽快把服务端那一套东西学到手，应对未来变化，且未来一定会用得到。

现在到了变现的时候了。 当然，其他的开发方向也存在类似的情况，例如前/后端岗位同样经历了全栈到分家再到全栈的变化，大量的后端中间件开发人员也会转向AI应用领域。

传统行业内的新兴公司、大量垂直行业的创业公司会需要大量的数据全栈专家，在技能要求上横跨了服务端、数据、算法/LLM模型，他们的要求横跨数据采集、加工、算法模型训练再到业务应用，曾经细分的岗位被打包成统一要求，并且开出了相当高的、媲美中大公司的薪水。这样的要求使得那些在中大公司被驯化的螺丝钉属性人员难以适应，你会看到背景光鲜亮丽的大厂人员在退出大公司后竞争力不在，难以和这些在中小公司的全栈开发人员竞争。

所以从数据搬运工，所谓的数仓，或者是数据引擎，所谓的平台等专岗专技，向AI数据工程师转变是未来的大趋势。

分布式计算（Spark/Flink）、湖仓一体架构、实时流处理是你的基本技能，同时需要叠加大模型调优等新技能，从数据通道建设到模型部署和基本优化，这类复合型的AI数据工程师会成为行业新宠，就像15年前第一代数据开发者们被时代推上神坛一样。

未来整个软件开发方向只会存在两类岗位，一类是纯底层的研究人员，一类是面向业务的应用落地。第一类岗位会经过剧烈竞争门槛高不可攀，从学历、背景、智商等要求达到前所未有的高度，成为全球所有行业知识密度最高的职业；第二类岗位需要超强的学习能力，相当的知识广度、丰富的编码经验、出色的架构设计能力。数据类岗位被划分到第二类，定位是数据+AI解决方案。单一技能岗位走向灭亡，并且所有的其他岗位都会变成辅助类职业。

多少事，从来急；天地转，光阴迫。

一万年太久，只争朝夕。