百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

30万“程序猿”的未来简史:去O,上云

mhr18 2025-02-15 16:35 21 浏览 0 评论

编者按:本文来自微信公众号“Tech星球”(ID:tech618),作者:张宇婷,36氪经授权发布。

“有一天醒来,我站上体重秤,显示身体年龄57岁。”

不久前,脱口秀演员呼兰决定不再兼职程序员工作。毕业于哥伦比亚大学精算专业的呼兰,曾经在上海担任创业公司CTO。上秤那天,他的“第一个想法是,再干3年就可以退休了”。

6月9日,在一场名叫“头号云话题”的对话节目中,呼兰碰到了另外一位“师祖级”程序员盖国强。盖国强轻松谈笑,毫无焦虑感,甚至摸摸自己刚剃的发型,打趣道,“我的发型,已经是从青铜到王者”。节目被制作方传到抖音、B站上,一些留言评论,这位发型一看就是大神。

在中国超过30万数据库工程师(简称DBA)中,盖国强的确是大神,甚至影响了整个职业群体发展。曾经被Oracle(甲骨文)公司授予Oracle ACE Director(ACE 总监)称号,这是Oracle公司对外部所能授予的最高技术荣誉,当他在2008年作为国内首位大咖获得这个称号时,商业数据库正如日中天。

当年,腾讯、阿里巴巴、华为,所能想到的互联网大厂,都以最高薪招聘数据库工程师,甚至可以达到月薪10万;而盖国强建立了圈内最好的线上社区,出版了10多部业内追捧的Oracle业务手册。令人想不到的是,他和呼兰探讨的话题竟然是:商用数据库工程师,会不会在两、三年后像恐龙一样灭绝?

疫情中的三种流量峰值

“需要焦虑的不是程序员,而是传统厂商……” 坐在盖国强身边的李飞飞说。花名飞刀,快言快语,李飞飞是有全球影响力的达摩院首席数据库科学家,阿里巴巴副总裁,阿里云数据库负责人。

左为云和恩墨、ACOUG创始人盖国强,右为阿里云数据库负责人李飞飞

盖国强点点头说:“得DBA者得天下”,谁能让30万人更快拥抱云原生,谁的数据库就将取得未来的市场。全球权威的技术咨询公司Gartner预计,2023年前,75%的数据库会跑在云端,不再是公司采购的设备上。

正在度过的疫情中,直播带货、在线教育、在线娱乐,屡屡突破流量峰值。三个似乎毫不相关的场景背后,是同样的数据大量并发交互。这背后的云原生数据库,承受了普通人也能感知的一些考验。

6月6号晚,刘涛(花名刘一刀)在淘宝直播单场破2.2亿元的销售额,创下明星直播带货的新记录。刘一刀入职阿里后,四场直播,场场观看人数都破亿。其中,每一笔交易,都要同时录入10几个关键数据,包括资金、库存、用户等各个维度,出错一个,买不到货的“剁手党”一定会跳起来。

前一个周末,在线教育独角兽猿辅导,例行模拟考试,百万量级学生同时在线参加。这类考试,系统会10分钟内直接评分,并生成智能诊断分析报告。

猿题库产品技术总监张文治告诉Tech星球(微信ID:tech618),每天至少会2.5亿道题目的数据产生,学生、家长、老师,都在产生数据的链路上。通过大量数据进行教学交互分析,也是猿辅导的强项。

由于境外地区仍然居家隔离,让在线娱乐需求陡然增加,游戏出海领头羊莉莉丝、TapTap等继续在东南亚、日本市场获得高速增长。同时,玩家数量和时长的增加,让实时数据驱动运营的难度增大。

这些场景下,大量级的数据交互,目前都跑在阿里巴巴的数据库产品上。天猫双11是更大的场景,其中PolarDB产品甚至每秒支持8700万次交易事务。

如果由一家公司去购买传统商业数据库,再部署在自己服务设备上,完全无法做到实时、低成本。商业数据库的收费按年计算,商业谈判周期按月度起算,上述场景的数据峰值,都是在几天甚至一天之内发生。

传统商业数据库时代,还要花费DBA大量搬砖精力进行安装部署、升级扩容等基础性工作。任何数据的提取、分析也都需要人工操作,而未来的数据管理趋势是智能化。数据管理工作,因为云和AI正在变得更加智能化,架构师、算法工程师成了当下的热门职业。

云原生数据库技术革命,联动着DBA人群的职业发展。以盖国强为代表的,以使用Oracle为主的30万数据库技术人才(行业社区估算),要同时经历这场云原生技术的变革洗礼。

6月9日,李飞飞也公布了大量阿里云客户的意愿,今年要帮助1000家企业替代传统数据库(业内普遍称为“去O”),10000套传统数据仓库上云。

「Hi,师祖」

由于盖国强在数据库领域工作了20年,他拿出一张手机截图,年轻一代已经常用“师祖”的称呼跟他说“hi”。

“看清走势,云是一个大趋势”,这位曾经摘得商用数据库至高荣誉的人,却在2014年成为最早一批转型云数据库的工程师。

早在2011年,盖国强和自己在运维社区中认识的几个朋友,成立了创业公司“云和恩墨”,把“云”这个字写进公司的名字里。

盖国强公司「云和恩墨」合照

盖国强在Oracle商用数据库圈子里太有名了,以至于他将自己的公司和云绑定在一起,让业内人士感觉“挺反认知的”。

2014年恐怕是创业几年后,印象最为深刻的一年。当年7月,北京下了一场罕见的大雨;另一面,一个客户投入了半年多时间的项目上线在即。

7月20日,就在项目上线的第二天,系统出现了严重的性能问题,频繁崩溃。当客户找到盖国强时,满怀期待的问,到底有没有办法彻底解决,在变更发布中循环往复出现的性能故障。

抱着认真的责任感,还有过往的经验,盖国强和团队拿出全部的技术积累诊断优化系统,将引发问题的SQL进行了全面的优化。虽然最后系统恢复,但盖国强和客户深度复盘:要从根本上杜绝上线故障,一定要在变更发布前进行严格的SQL无死角地毯式排查。

“打死我也不做!”

谁知,在交代接下来的工作时,团队中一位刚刚从阿里云来加盟,被盖国强在圈内名气吸引的技术专家,竟然反驳道。

“我愿意用产品化的方式实现出来,发挥技术的最大优势,而不再是像以前一样用人力循环往复。”他说道。

盖国强以为,凭借自己多年的经验,前置的审核排查消灭问题,已经是最好的解决方案;他想不到的是,一个刚刚入职的年轻员工却用互联网的方法,更进一步,改变了他的认知。

复盘公司过去三年的发展历程,确实,如今越来越多的用户上了云,一位金融客户在当时已经将核心业务搬到云上。但彼时盖国强的公司还在靠着人力提供服务,成功的项目甚至还带点“个人英雄主义的色彩”。

可这能让公司走多远呢?

盖国强反思,”是否可以通过一种云上的产品,将技术普适化?”

选择,因为相信还是因为看见?

“退回到过去,最难的是前瞻”,盖国强对Tech星球(微信ID:tech618)说。

16年前,2004年的淘宝曾经有着全球最大的 Oracle 集群,但互联网发展的速度太快,阿里巴巴对数据的需求超过了IOE(IBM小型机、Oracle数据库、EMC存储)的极限。2008年,时任阿里巴巴首席架构师、阿里云CTO王坚首次提出“去IOE”,但当时,阿里巴巴内部从技术大牛到一线实习生,都觉得去IOE是不太靠谱的事情。

在曲折中前进,阿里巴巴能够“去IOE”的成功背后,是阿里巴巴三任CTO的合力。除了当时CTO王坚,还包括前任阿里巴巴CTO、现任阿里云总裁行癫在淘宝的推动,以及现任CTO鲁肃在支付宝金融平台上的努力。

2014年的时候,技术大拿盖国强当然知道,阿里巴巴脱离商用数据库过程中经历的所有难题。倒退回2014年,行业大势是没能看得清楚的。如今已是全国第一、全球第三的阿里云,在当时不过成立5年,没有像今天这样成功。

盖国强很佩服Salesforce创始人贝尼奥夫,这家SaaS公司与Oracle、AWS齐名,是引领了云技术的开创性公司。

贝尼奥夫在1999年创立Salesforce,推出“no software(消灭软件)”的口号,当时亦没有人相信。

“未来是什么?未来不是现实,未来只是潜在的现实;只有我们直面它、相信它,并为之奋斗,它才可能成为现实。”2014年之后,盖国强和公司决定,把所有的收入,投入到面向云时代的产品研发中。创始团队不拿钱,全部砸到研发中。

新的行动,需要从无到有建立研发团队,把所有的钱投入到未知的产品研发上去。

幸运的是,盖国强的创始团队竟然没有分歧,甚至有核心成员表达了更加激进向云转型的想法。

这种高度的一致,源自创世团队的五位成员,都曾是盖国强成立的技术社区中的网友。当初的技术社区主题是Oracle商用数据库,今天几位网友又一起携手转型。

但并不是没有困难。

盖国强回忆,那时需要大量投资,风险很大。

“如果做产品,进入到你们不熟悉的领域。你是阿里还是腾讯,哪有技术底气?你们的经验哪里来?你们的创意来自哪?你们有研发团队?”客户不断质疑。

团队甚至走过了一段弯路。

一个产品的转型先锋队,一年人工成本就要三五百万。一开始两年的时间,没有取得太大的成绩,上千万投入就打了水漂。

转型后的公司逐渐形成了六大产品。结果和当初的设想是否完全一样,已不重要,难得的是坚持下来了。

盖国强的公司通过靠人力输出服务,进化到输出产品,云化产品。从围绕私有化场景提供服务,逐渐演进到兼顾公有云服务。

科技创业很残酷,有时候往往行业只认前三名,你必须有足够的前瞻、人才和产品,还要转化为客户认同的价值。

盖国强最早意识到要转型,作为技术分享者,在各种公开场合,他毫不吝啬的分享自己的观点。这甚至让他们前瞻性的产品在同期产生了更多的竞争者。

他的逻辑是:我做的不好,愿意被淘汰,我做的好自然有回报,竞争者让我加速进步。“说白了,不自己革命,被别人革命更惨”,盖国强说道。

进化不是从石头缝「蹦」出来的

王坚曾多次说:“‘去IOE’最难的就在于人。每一次的技术转换,我们都是在革自己的命。如果没有同事们当时敢于尝试的勇气,阿里的技术难题都可能扛不过去。”

可以理解,一个学了大半辈子Oracle的程序员,突然要学习开源数据库、云数据库,意味着一切要重新开始。

以前盖国强写了很多本关于Oracle的书,那些书在豆瓣上早期评分接近8分。但这几年,这些书翻阅的人变少了。

天变了。

可能盖国强足够聪明,除了自己转型,他当时带着公司的DBA们开始转型。

“我从来没有把过去的成绩,看成一个负担或者标签。在IT的技术领域,是不断成长快速向前的。”

“靠人的交付有差异,靠产品就不会。”

“但从商业数据库,到云端原生数据库技术,我并不认为这会带来什么挑战。挑战是在心里。”

过去十年,是科技行业进化的黄金十年,但DBA这个群体并没有想象中进步地快。

20年前DBA做的是数据库的安装、备份、巡检;20年后做的事情还是这些。但实际上,今天的云数据库已经可以把基础的工作用新的形式替代掉。DBA从业人员可以从琐碎的工作中脱身,演进为数据架构师、数据分析师、算法工程师。

回到开篇提到的呼兰和盖国强的对话。呼兰认为:从传统商用数据库到云原生数据库,对于程序员来说,就像是开的车,从燃油车升级成电动车。数据库本身的核心优化、事务处理、SQL的交互是没有大的变化。但云上原生数据库标准、语法、生态一致且好用,技术上不担心被锁死。这和传统商用数据库有本质区别。

极客脱口秀演员 呼兰

5G和IOT时代来临,也称作AIOT。这将给行业带来进一步的变化,数据更加复杂化,数据向流的方式转变。云端边一体,对于IOT数据的处理产生新的挑战。

云原生数据库不是从石头缝子“蹦”出来,是过去四十年间,数据库的积累之上产生的,云数据库更多是从开源发展起来的。数据库的理论和原理没有被颠覆,本质相通。DBA进入到云数据库领域,难度并没有那么高,只要完成思想的转变,转变过程是非常快的,难的是心理上的畏惧感。

“因为人天然担忧和畏惧新的挑战”,盖国强说。

从传统商用、开源到云原生数据库,真正改变的是,资源的使用方式。云其实是提供新的算力,可以弹性伸缩即时获取。

企业更喜欢买固定资产,对软件资产认知不足。放弃固定资产采购转为云上采购,把可以管理的数据资源搬到云上,又是一个巨大的挑战。“挑战人性,人对于变化的畏惧。”

“在IT这个世界里,你学习的慢就是退步。别人是百米冲刺,你慢悠悠就会被淘汰。如果我们跑在行业后面,就帮助不了用户。”

“我们要解放人,不做搬砖的苦力活,‘革命’才有能力做更有价值的事情”,盖国强认为,并不是技术革了你的命,而是不进步的技术会革掉你的命。

搞技术的人,从入行到专家,三年时间可以掌握一个新技能。一种风潮的形成,从造势到成为趋势,大约就是三年。

三年前,认识到开源数据库、云原生数据库是未来,盖国强要求公司所有人学习数据产品掌握技能,“大家最开始是抵触的”。

到了今年,他已经不再要求了。叫他“师祖”的年轻人们反而觉得,如果你不让我学习PolarDB (阿里云自主研发的新一代云原生数据库)是在阻碍我的前途,你是不是对我有意见?

未来简史,数据库生态加速

数据库经过几个发展阶段,分分合合。

如今,加上开源数据库、云上数据库,数据库行业再次进入到群雄争霸的阶段。

在传统数据库时代,DBA的生活状态一般是熬夜加班,每一套数据库的脚本和演练,实施、测试,至少要做半年。每一个“五一”、“春节”等假日,7*24小时工作,一旦出现问题,赶去救火。

DBA为什么要过这样的生活?如果有一种新的技术可以将升级迁移变成自动的,不需要熬夜加班搞测试,将省下来的时间用于学习,为什么要揪着过去的苦日子不放?

DBA这个群体是保护数据库的,国产数据库、开源数据库在实践中要靠DBA,整个生态的推动。DBA可以自信地认为,自己是云厂商之争中最炙手可热的香饽饽。

第一次听说PolarDB公测后,猿辅导产品技术总监张文治就觉得,这个产品的分布式特点,可能会适合于集中学习考试这样的场景。猿辅导运营在线模拟测试已经颇有心得,疫情期间,这个能力被老师、学生认可,在此之前,数据库运维团队和阿里云团队一起,在2天左右时间,就完成了数据库的扩容。

张文治认为,新型云原生数据库,近几年确实可以让数据团队更专注于业务,团队不断扩大,在公司也获得更大认同,但是,也要同时注意云原生数据库和开源数据库的差异,这样在问题追查中,更游刃有余。

几年间,阿里云还研制了DTS、ADAM、DAS等一整套帮助数据迁移和自动运维的工具包。即便从Oracle数据库迁移,往往也只需要修改5%不到的代码量,另外,云原生数据仓库AnalyticDB也可以很好的解决各类数据分析场景的调整。

从传统数据库到云数据库,技术的转变是实实在在的,但不是暴风雨的前夜,海鸥搏击暴风雨,而是春雨随风潜入夜。

数据库看似古老的领域,在IT界已经有40年历史的数据库,就像这个领域的恐龙。但这个'恐龙'却不会灭亡,只是会向新的方向转型进化。

DBA是否会觉得在云计算时代,自己不再重要?被抛弃?

事实上,恰恰相反。在数据库从业人员行业里,有一句话:数据库最后一公里,得DBA者得未来。

阿里云数据库负责人李飞飞则说,“得生态者得未来”。

相关推荐

甲骨文签署多项大型云协议,其一未来可贡献超300亿美元年收入

IT之家7月1日消息,根据甲骨文Oracle当地时间6月30日向美国证券交易委员会(SEC)递交的FORM8-K文件,该企业在始于2025年6月1日的202...

甲骨文获TEMU巨额合同,后者大部分基础设施将迁移至Oracle云

IT之家6月23日消息,Oracle甲骨文创始人、董事长兼首席技术官LarryEllison(拉里埃里森)在本月早些时候的2025财年第四财季和全财年财报电话会议上表示,Oracle...

Spring Boot 自定义数据源设置,这些坑你踩过吗?

你在使用SpringBoot进行后端开发的过程中,是不是也遇到过这样的问题:项目上线后,数据库连接总是不稳定,偶尔还会出现数据读取缓慢的情况,严重影响了用户体验。经过排查,发现很大一部分原因竟然...

一个开箱即用的代码生成器(一个开箱即用的代码生成器是什么)

今天给大家推荐一个好用的代码生成器,名为renren-generator,该项目附带前端页面,可以很方便的选择我们所需要生成代码的表。首先我们通过git工具克隆下来代码(地址见文末),导入idea。...

低代码建模平台-数据挖掘平台(低代码平台的实现方式)

现在来看一下数据连接。·这里是管理数据连接的空间,点击这里可以新增一个数据连接。·输入连接名称,然后输入url,是通过gdbc的方式去连接的数据库,目前是支持mysql、oracle以及国产数据库达梦...

navicat 17.2.7连接oracle数据库提示加载oracle库失败

系统:macOS15.5navicat版本:navicatpremiumlite17.2.7连接oracle测试报错:加载oracle库失败【解决办法】:放达里面找到程序,显示简介里面勾选“使...

开源“Windows”ReactOS更新:支持全屏应用

IT之家6月17日消息,ReactOS团队昨日(6月16日)在X平台发布系列推文,公布了该系统的最新进展,包括升级Explorer组件,支持全屏应用,从Wine项目引入了...

SSL 推出采用全模拟内置混音技术的模拟调音台Oracle

英国调音台传奇品牌SolidStateLogic宣布推出Oracle——一款采用全模拟内置混音技术的调音台,在紧凑的AWS尺寸机箱内集成了大型调音台的功能。该调音台提供24输入和...

47道网络工程师常见面试题,看看有没有你不会的!

你们好,我的网工朋友。网络工程师面试的时候,都会被问到什么?这个问题其实很泛,一般来说,你肯定要先看明白岗位需求写的是什么。基本上都是围绕公司需要的业务去问的。但不可否认的是,那些最基础的概念,多少也...

汉得信息:发布EBS系统安装启用JWS的高效解决方案

e公司讯,从汉得信息获悉,近日,微软官方宣布InternetExplorer桌面应用程序将于2022年6月15日正式停用。目前大部分客户都是使用IE浏览器打开EBS的Form界面,IE停用后,只能使...

36.9K star ! 推荐一个酷炫低代码开发平台!功能太强!

前言最近在逛github,看看能不能搜罗到一些对自己有帮助的开源软件。不经意间看到一个高star的java开源项目:jeecg-boot。进入在线演示版一看,感叹实在是太牛了!此开源项目不管是给来学习...

Linux新手入门系列:Linux下jdk安装配置

本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来,内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署,希望能够帮到一些初学者,少走一些弯路。注意:L...

手把手教你在嵌入式设备中使用SQLite3

摘要:数据库是用来存储和管理数据的专用软件,使得管理数据更加安全,方便和高效。数据库对数据的管理的基本单位是表(table),在嵌入式linux中有时候它也需要用到数据库,听起来好难,其实就是几个函数...

JAVA语言基础(java语言基础知识)

一、计算机的基本概念什么是计算机?计算机(Computer)全称:电子计算机,俗称电脑。是一种能够按照程序运行、自动高速处理海量数据的现代化智能电子设备。由硬件和软件组成、没有安装过任何软件的计算机称...

再见 Navicat!一款开源的 Web 数据库管理工具!

大家好,我是Java陈序员。在日常的开发工作中,常常需要与各种数据库打交道。而为了提高工作效率,常常会使用一些可视化工具进行操作数据库。今天,给大家介绍一款开源的数据库管理工具,无需下载安装软件,基...

取消回复欢迎 发表评论: