20年硅谷技术牛人到访DataPipeline谈:技术如何与业务平衡发展

  导读:技术人员的常态是“左手支持业务签单,右手提升系统性能”,却经常陷入技术和业务该如何平衡发展的困惑?今天,且听一位硅谷牛人分享他的平衡之道。

 

  以个人名誉申请31个国内外技术和产品专利,中国最佳CTO 战略奖,超过20年的互联网业务架构和技术管理经验,曾15年任职于eBay、Yahoo、Netscape等互联网知名公司,曾6年担任携程旅行网CTO... ...

  带着这么多光环的叶亚明(Eric Ye),3月22日受邀走进北京数见科技有限公司(以下简称DataPipeline)在北京五道口组织的技术分享会,回顾20年多年互联网从业经历,向与会者分享了作为一个技术人员该如何看待技术与业务的平衡发展。

 

 注:叶亚明(Eric Ye)

 

  以下是我们后期整理的内容供大家参考。

 

问题:从一个工程师到技术牛人,请您聊聊您的个人成长路线。

Eric Ye:在国内读完研究生之后,我就去美国硅谷工作了,曾经就职的公司包括雅虎(当时还没有Google)、eBay(当时与PayPal一起市值第1名)、Netscape,属于第一批互联网技术人才。

  2011年到中国来担任携程CTO直到2017年。当时,我的考虑是,在硅谷15年所拥有的经验和能力应该可以帮到很多发展中的中国公司。加入携程,是因为携程也是一个交易型互联网平台,这一点与eBay交易模式相似且技术是相通的,最主要的是觉得当时的携程更需要互联网基因,我能在技术上主导其转型发展。

 

问题:担任CTO的这段时间里,您认为对您最大的挑战是什么?

Eric Ye:当时确实面临很多方面的挑战。

  携程呼叫中心在国内是最好的,靠这个吃了十年的饭。当移动互联网时代来临的时候,需要帮携程扭转思想,转变习惯性的思考到互联网思维,是我和许多骨干一起做大量的工作。

  同时,在其他方面的改变也同时跟上。在基础架构方面,携程现在所有的计算资源90%都云化了,不管你需要1台或100台新服务器都可以在1小时内落地启用。随着Hadoop这种新技术的成熟,我从一个服务器厂家订购了数十个Node专门搭建分布式集群系统。后来陆续增加到上百个Node、上千个Node同时运营。今天,这个平台每天能跑几十TB的数据量。对于一家互联网企业来说,这才算是真正的挑战。

  在发布流程上,原来需要几百人准备一些脚本进行迭代和发布,现在全部是CD(Continuous Delivery,持续交付)模式。一般情况下,我们一个礼拜发布的迭代上千个,平均每天数百个,高峰时间同时发布的就有上百个迭代。改为CD模式后,我们可以做到全程无人工干预,自动打包、验证、发布到不同工作台(staging)、数据中心,一旦有问题再回写(roll back)。这一套内功的练习,我们反复演练了多年。

  在数据中心面临突发问题时,一个数据中心被攻击,另外一个数据中心可以瞬间接替所有工作。以前,我们经常听到“双活”数据中心,携程现在是一个“三活”数据中心。相比“双活”,后者架构的难度就要大得多。

  在数据应用上,我提出从用户的角度出发思考问题,即用户需要什么,携程就做什么。具体来说,就是将用户在查询、浏览、预订、出行、评论等一系列旅行前后所产生的大量信息,进行实时筛选、分拣与重新组织并推送到用户出行前、出行中、出行后的个性化需求中。我们的挑战来自于两方面,一是怎么把用户产生的多源异构数据源进行实时自由的流转和共享,二是这些数据既复杂又不规则,怎么剔除无效数据的同时保证数据的真实性。

  总结一下,我当时面临的挑战,在技术上是从无到有从有到大,在业务上是从不稳定到稳定,业务模式从呼叫中心为主转型为以移动互联网为主,所有业务的总量相比过去提升了22倍,每年支撑中国2亿人在携程上购买旅游相关服务。

 

问题:作为技术负责人,您是如何平衡短期业务线发展和长期技术路线发展的?

Eric Ye:用一句话来描述我的平衡之道,左手支持业务人员签单做销售,右手不断提升系统平台的性能。

  公司养这么多技术人员就是为了保障业务连续性的,否则技术在业务人员面前是抬不起头的,业务的优先级是非常最高的。例如,某客户的业务数据在一年内实现10倍甚至更高的增长,如果能始终保障系统的正常运营,技术人员就可以自豪地说,技术支撑着业务高速发展。

  业务的高速发展对技术的压力是多方位的。正因为这些多方位的压力,才给技术人员锻炼成长的最好机会,一旦把这些问题解决了,技术团队的思考方式、技能实力就能在这个过程中得到提升。

  业务需要做到一定程度之后,系统才会暴露出不足,让技术去提升性能。但是,技术人员不能被业务人员牵着鼻子走,还必须有一个长期技术路线规划,有自己的平衡,比如,怎么管理业务的并行、怎么管理连接、怎么做集中发布、怎么延展系统平台,怎么适配种种业务功能,平台的技术提升等,这些方面技术人员100%要有自己的前瞻性。所以,我的观点是:技术一定要走到业务的前面。

  当年的携程拥有近百个业务线,每个业务线对应一个研发团队。为了更好地服务于业务,在人才引进方面,我有意引进一些有互联网产品理念的人做研发,这样能够更好地应对业务的需求。在团队管理方面,我认为技术研发和业务研发团队应该分开,让技术人专注提供技术导向的高难度动作,业务研发人员更专注地去做业务场景的适配。

 

问题:您觉得技术人员要如何提升对业务的敏锐度?

Eric Ye:90%的技术人员对业务的敏锐性很弱,学校里就是这么教的。这是一个理念的问题。

  企业无需要求100%的技术人员有这样的意识,10-20%的技术人员有这样的思考,对于一个组织来说就是一个良性的思考,特别是一些有感觉的技术人去思考。因此,企业要逐渐培养这样的技术人员。

  一般情况,技术人员会第一个时间拿到业务问题,从业务问题转化到技术问题,慢慢地转化,洗练多了以后,技术人员会提出当前业务尚未遭遇到应用场景和问题,这就是一个好的开始。

  虽然,技术人员能主动提出超越当前业务人员遇到的问题,但是初期判断并没有那么准。没有关系,这个准确性会逐渐提高,经过与客户和合作伙伴碰撞过程中,一批用心的技术人员发现问题就会越来越敏锐。当然,这些是慢慢培养出来,看书是得不到的。

 

问题:不管是公司还是工程师个人,都希望通过一定技术创新、业务创新成功申请专利。在您的职业生涯里已经拿到了很多专利,请问您是怎么做到的?

Eric Ye:我曾经数了一下,仅仅以我个人名字命名的专利就有31个。下面,我分享两个经验。

  首先在你们所熟悉的领域里,去确认一下,哪些问题是整个行业都感觉到比较头疼的问题,当前的状况是整个行业都解决得都不好,你们想到一个办法能把这个难题很好地解决,哪怕你还只是一个方法,在别人还没有想到这个方法的时候,你就可以先去申请专利。

  第二,面向业务的专利很好申请,因为往往只有某些特定业务场景下的工程师才能想到创新的方法。我举个亲身见证的例子,现在网上有一个服务叫“一口价”和“拍卖价”,在实体商城产品是没有两个价格,但是电商可以。在国外,eBay已经申请了业务专利,如果其他电商也去推广这种业务就会被告侵犯专利权。

 

问题:当前很多软件产品都越来越智能化,这种趋势让技术人员感到强烈的担忧。您觉得技术人员将来的职业发展将何去何从?

Eric Ye:首先是你要找到自己的愿望。蛇要蜕皮的时候,都已经知道自己要长成什么样子。

  如果你很满意当前的状态,其实可以继续做5年甚至10年以上,最终成为这个领域的大拿。但是,如果你不满意现状,还需要自己考虑更适合自己的领域,比如数据挖掘。这需要你去明确找到自己新的愿望是什么。不断地寻求,当然寻找的方法很多,找朋友聊、看书等,但是你必须自己把握,不能让别人帮你决定。

  以我个人的性格,是不喜欢一件事情做太多年的。在过去的20年里,我做过很多尝试,从技术走向管理岗位。不过,我认为不是所有工程师或架构师都适合做管理,你要对人感兴趣、对业务感兴趣,对技术感兴趣。而且,你要能够让团队成员都有足够的提升空间,平台要越搭越大,让工程师有很好的成长,否则他不愿意跟着你。

  一旦找到自己发展的一个方向,就要明确下来,通过逐渐探索,你就会知道自己未来想做成什么样。如果你很满意这个方向那就继续,如果不满意那就不断探索。

  提醒一点,人有一定的危机感是好事情,但是千万别过分担忧,保持一定的压迫感就好。

 

问题:您能否推荐一些对您影响较大的书或人。

Eric Ye:我不好直接给你推荐某一本书,每人的情况不一样。处于某个阶段,就应该多看相关方面的书。

  10年前我会看很多技术类图书,甚至有一段时间我想看Java类图书,每周都会去图书馆,把那个图书馆所有这类图书都翻看一遍。例如,你觉得Kafka比较有帮助,就快速补充。

  因为工作性质的转变,最近10年,我看管理类的图书会比较多一点,因为要管理团队。那么,管理团队其实不是管人,而是给他们的工作流程一个指导,引导他们做正确的决定、正确的做事。

  在人员交往上,我喜欢与技术大咖们交往、碰撞,挑战他们的想法,当然,我也会提出我的观点与他们交流,这样才能帮助双方共同成长。这就像是练武之人,都喜欢与高手交手,可以提升自己的经验和技术。

  总结下来,就是要始终保持一个学习的心态。即使是现在,我都会随身携带一个小本子,听到有意思、有兴趣的关键地方,我都会认真做笔录。这是一个非常好的习惯。很多很厉害的人之所以能保持这种良好的状态,都是因为他们养成了很好的学习习惯。

 

问题:上周二,Salesforce.com宣布65亿美元收购MuleSoft。您怎么看待这次收购?此次收购对中国数据集成市场有着什么样的映射影射意义?

 Eric Ye:Salesforce.com收购MuleSoft公司,一方面是可以进一步巩固云服务商的领先地位,另外一方面是看重MuleSoft在应用集成领域的价值,包括企业内部和企业之间的应用整合,即不同企业之间通话就通过MuleSoft的SDK完成,成为双方通话的标准。

  如果我们把企业之间的通话看做一张网的话,那么每个企业就是网上的一个节点。但是,我认为目前在中国市场,企业与企业之间的通话需求可能还未成气候,集成项目主要解决的仍然是企业单点数据问题——连接企业内部所有数据孤岛。

  当前,中国大部分企业在大数据的采集、存储数据的工作越来越高效和成本也越来越低廉,但是企业对大数据应用环节仍然不够高效,成本仍然非常高。其核心问题就是企业仍然没有解决自己单个“节点”的数据孤岛问题。只有将异构数据源的数据高质量、高效率地整合到一起,进而进行加工、分析、挖掘和展现,才能更精准地驱动商业决策和业务决策等。

   其实,我们搞技术的一直尝试,用更好的方案解决数据融合问题。在20年从业经历中,我也曾经多次带着团队构建连接企业内部数据孤岛的应对体系和系统平台,深知这个过程的不易。所以,当我发现目前这个问题对很多国内企业来说都仍是一个巨大的挑战时,我就认定中国集成市场未来还有很大的成长空间,从数据集成到应用集成,再从企业内集成到企业间集成,我们的企业都需要标准化的产品提供服务。这也是我比较看好类似DataPipeline(www.datapipeline.com)这样公司发展前景的主要原因。

 

PS.添加DataPipeline君微信:datapipeline2018,拉你进技术讨论群。

posted @ 2018-08-01 16:47  DataPipeline数见科技  阅读(1313)  评论(0编辑  收藏  举报