转-2017双十一阿里技术汇总

转http://blog.csdn.net/chichengjunma/article/details/78510444

 

2017.11.11天猫双11背后的阿里技术

在阿里云上与所有新技术相遇

////////////////////////////////////////////////////////////////

2017双十一阿里技术汇总

机器智能推荐系统：生成个性化页面，实现人见人爱的“千人千面”；

鲁班AI设计师：自动生成多样广告图，每秒制作8000张双11海报，没有一张雷同；

阿里小蜜机器人：承担海量客服咨询量，带来传统服务行业模式的变化与体验提升；

IDC智能机器人：365天*24小时巡检不间断，接替了运维人员以往30%的重复性工作，实现了数据中心无人值守；

 

人机协同的时代已然到来，阿里强大的智能技术，为双11创造了独一无二的体验：

阿里语音技术：将人类语音转换为机器可读信息，使产品“能听、会说、懂你”；

AliNLP平台：通过机器理解人类语言的含义，让机器更懂你；

阿里图像技术：让机器识图，双11当天拍立淘成为消费者买买买的便捷方式；

 

 

默默无闻、却又强大可靠的技术基础设施：

 

阿里基础网络：具备自愈能力，实时故障发现和收敛，并自动恢复，全面保障双11业务稳定运行；

混部技术：基于全网pouch容器化和Sigma调度技术，双11期间混部集群资源利用率大幅提升，IT资产新增成本显著削减；

基础中间件：掌控超千亿规模消息推送和分布式数据库调用，支撑双11洪峰消息；

新一代分布式数据库集群X-Cluster：全面兼容MySQL 5.7，服务双11淘宝天猫核心交易系统，支撑零点峰值交易；

实时计算平台Blink：支撑阿里绝大部分实时计算任务，双11当天毫秒级延迟；

离线计算平台MaxCompute：承载阿里所有离线计算任务，支撑每日百万级规模作业；

 

////////////////////////////////////////////////////////////

 

新零售技术创新

时尚大脑

双11期间，时尚大脑将在多个品牌的线下门店担任时尚顾问。时尚大脑学习了有2万多名穿衣大人近50万套潮流搭配模板，已经达到专业搭配师的水准。

门店发货/自提

实时把订单分配到离消费者最近的门店，由门店发货到消费者，或者消费者上门取件，做到了人货提前匹配。

智慧门店天梭

通过将门店的客流，商品和交易数字化，结合阿里巴巴线上的用户图像，实现门店的精准营销和智能运营，使线下门店也具备了线上旗舰店的数字化运营能力，调高运营效率。

随身购物袋

用户可以在门店扫条码或者扫商品，任意选择线上线下交易，还能根据个人喜好，自动推荐相关商品，解决搭配问题，对于商家来说提高关连转换率。

数据银行

打通线上营销，智能智慧门店。线下数字化门店，用数据指导全渠道经营。

 

 

支付

OceanBase

双11支付峰值及数据库处理峰值，是OceanBase在发挥关键作用，这是蚂蚁金服自主研发的金融级分布式关系型数据库，可以存放万亿条以上的记录。它就像一位超级会计师，单台普通的服务器每秒可以支撑百万笔处理量，平均一次花的时间是零点几毫秒。

离在线混部

2017年双11，蚂蚁金服首次运用离在线混合部署，在双11支付峰值来临时，借调处理离线数据服务器的计算资源，进一步降低大促技术成本，提升效率。据估算，这项技术能为2017年双11减少近两千万台服务器的投入。

GeaBase

这是一个金融级图数据库，“图”，是网络关系的章节，它能从百亿个节点，千亿条边（关系）的海量数据规模中迅速锁定目标关联，是支付宝风控系统背后的关键技术支撑之一。

支付工具精准推荐

精准用户用了什么卡支付，避免用户到了收银台还要切换，让用户下单更快。

海淘正品溯源

运用区块链技术，为海淘，新西兰等国家进口食品提供食品安全溯源支持，和此前自家自录入商品信息不同的是，区块链是让多位“记账师”公正、独立、不可抵赖地完成记账。

 

云计算

阿里云弹性计算ECS

为阿里集团及全社会提高安全、稳定目极高弹性的计算服务，用户使用阿里云ECS企业级云服务器可以在5分钟内交付一个中型互联网公司规模的计算平台，助力平稳承接双十一期间数十倍甚至百倍于平时的业务流量，用户的每一次浏览和点击背后都有ECS提供高性能、稳定计算力的支撑-本地磁盘210w随机IOPS，450w网络PPS能力，全球领先的性能满足双十一脉冲计算的极致性能要求。

ApsaraCache

ApsaraCache是阿里云深度定制的高性能、搞稳定的Redis云服务，为今年双11提高了万千级别的TB级别的高性能访问缓存能力。

阿里云数据库RDS

阿里云数据库保障今年丢单和故障的风险，大促期间，商家订单量较平时增加十倍甚至百倍级别，RDS灵活的高弹性升级能力帮助商家瞬间提升RDS性能，应对高并发流量，当前已有99%的订单通过磐石塔安全，高效处理。

阿里云内容分发网络CDN

在双11期间全球数以亿计的买家同步下单的情况下，阿里云内容分发网络CDN以6大洲60多个国家和地区的1200+个节点保证每一位买家都能快速浏览点击查看高清的产品介绍图片、视频，流畅下单。

日志服务

日志服务经阿里集团多年大数据场景锤炼而成，提供一站式实时数据采集，消费，投资和查询分析服务，双十一支撑阿里云/蚂蚁金服全站，及大量阿里集团重要业务。

移动云

双十一期间移动云HTTPDNS承载了全网移动App流量调度和解析，移动推送平稳保障了双十一0点尖刺流量峰值和消息的及时送达，移动云依靠近十年的阿里巴巴移动技术沉淀确保业务在尖峰时刻的完美表现。

阿里云OSS

阿里云OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。几年天猫双11，天猫的图片，视频都全部在阿里云OSS上。

阿里云DDoS防御技术

在几年双11期间，阿里云DDoS防御技术像“保镖”一样，首次采用全自动化防御能力精准地判断攻击流量和异常行为，阻断可能威胁商家站点的黑客。

混合云架构

从2015年开始，天猫双11每年都采用了混合云架构，它是将电商交易的核心链条，菜鸟物流订单流量以及仓配公司，直接切换到了阿里云的公共计算平台。三年来，每年天猫双11全球狂欢节，阿里巴巴都在突破自己的技术极限，不断创造最近记录的全球最大规模混合云架构实践。

专有网络VPC

双11电商核心的交易、订单、物流等都是在公共云平台上，公共云平台是所有用户共享的平台，为了保证双11交易的安全，使用了专有网络VPC进行租户隔离。

负载均衡SLB

双11亿万用户访问的流量洪峰需要大量的服务器进行处理，而这些服务器的调度都需要依赖负载均衡SLB，负载均衡SLB接收到用户的请求，之恩给你调度到后端的ECS进行处理，并将处理后的结果返回给用户。因此，双11的流量洪峰能不能打住，用户购物体验是不是流程，负载均衡SLB是关键因素。

高速通道

2017年双11是异常全球最大规模的混合云弹性架构实践，混合云将公共云和云下数据中心通过专线互通，这个专线就是高速通道。高速通道基于阿里巴巴骨干网络，能够构建安全、稳定、高速的混合云。双11的背后是一个极其复杂的系统，很多系统调用频繁再公共云和云下数据中心之间进行，这些系统调用的背后就是高速通道。

NAT网关

当双11的用户选择嗯啦自己看中的宝贝并下了单后，会跳转到支付宝进行付款，这个时候云服务器上的程序就需要通过NAT网关去调用支付宝的支付接口，这就是NAT网关的SNAT功能。双11支付宝交易每一笔的支付都需要NAT网关。

视频直播

在双11期间，承载优酷，手机淘宝双11晚会的互联网直播服务，承载100%的晚会直播流量，以阿里云特有的窄带高清2.0转图技术，为数亿观众呈现出最流畅、最侵袭的视频直播流。

云导播

双11晚会期间，云导播技术承载晚会现场多路直播流的切换，叠加字幕，声音合成等服务，做到了把视频直播的后端处理工作到云端。今年任何一场大型的直播晚会，发布会等直播，都可以实现在云端的导播处理工作，便脱了复杂、昂贵的硬件导播设备。

 

 

基础设施新技术

大规模文件分发系统

通过使用P2P技术原理同事结合动态压缩、自动化预热、内存文件系统以及智能流控等多种创新技术。解决大规模文件下载，大型文件下载以及跨地域跨网络隔离域等场景下各种文件分发难题，大幅提高UMP数据预热，大规模容灾部署等业务能力。

X-Cluster

自研的金融级分布式数据库，在2017年双11，X-Cluster服务于淘宝天猫核心交易系统，经受了零点压力峰值的考验，并且在数据质量得到保证的前提下提供了高效稳定的跨单元数据同步服务。

时间序列异常检测算法

基于智能基础的时间序列异常检测算法具有自动学习、自动化监控数据和预警的能力，有了它，业务指标监控的准确率从传统监控策略的40%左右提升到80%。

Changefre系统

基于机器智能的changefre保证所有线上变更有迹可领，它通过对变更数据进行全文检索加自定义规则引擎，辅以机器学习的手段全自动统计并分析，快速定位故障，同比故障恢复时间提高65%。

阿里智能流量调度系统

双11的用户遍及全球，阿里的骨干网络也遍及全球，并通过世界各地的运营商网络组成的互联网全球用户提供服务。阿里智能流量调度系统能实施监控互联网质量，并动态调整用户访问阿里数据中心的网络路径，确保高质量的用户双11体验。

StartAgent

支持百万级规模服务器管控，通过基于消息的分布式架构改造，1秒可操作上万台服务器，系统具有多中心部署能力，单机房单存储故障不影响业务，高危操作自动识别与拦截有效的保证系统安全。

调度混部技术

Sigma调度可以跨多个不同平台来分配双11所需的资源，使双11IT成本下降50%，混部技术把服务器资源利用率提高30%，复用计算任务集群为双11节约大量服务器，全网Pouch化实现阿里在线服务全部容器化，内部达到百万级容器部署规模，Pouch容器已对外开源。

网络自愈技术

通过实时准确的故障发现和故障收敛能力，结合自动化康复，2017年阿里巴巴网络已经具备自愈能力，全面保障双11全体业务的稳定运行。

“无人值守”的全链路压测

“无人值守”的全链路压测相当于高考前的“模拟测试”，利用自动化程序根据参加压测的几百个系统的表现，定位压测中发生前问题，并做出相应的决策判断。

 

菜鸟

菜鸟方舟

菜农方舟是一款全新的产品，它基于混合云模式，能够在双11期间对突然上涨的峰值，容器服务需求进行快速扩容。

 

机器智能“新物种”战队

云小蜜

阿里小蜜是阿里巴巴自主研发的人工智能客服机器人，功能包含但不限于解答客户查询、查物流、做导购、交话费、订机票、讲段子。目前，一天能服务350万客户左右，是人类小二的一万多倍。

蚂蚁安安

安安是蚂蚁金服的智能机器人，能够根据用户使用支付宝App的轨迹进行预判，有时能在用户提问之前就“猜”到用户想问的问题，直接给出答案。今年双11，安安在近100个不同场景中，为近100万用户提高了提前教育、客户关怀等服务。

首席拣货官

针对每年双11大量包裹，过去拣货员需要在仓库里逐一将货物找出来，一个拣货员日行八万步，今年双11，菜鸟启动了超级机器人仓群，仓库里机器人来卸货，拣货员抬手就可以拣货。

小G二代：只能配送员

今年双11，已经在阿里巴巴上岗一年多的智能配送机器人菜鸟小G，正式升级。小G能上电梯能躲避行人，全自动将包裹送达阿里巴巴西溪园区的每一个工位。

天巡

今年，机房机器人“天巡”开始在阿里的华北数据中心投入使用，“天巡”不仅全天24小时巡查，而且接替了运维人员以往30%的重复性工作，在大幅提高工作效率的同事，可以让工作人员有时间去做创造性的工作。

尖兵

尖兵是一个“无人值守”的全链路压测，通过尖兵，可以提前暴露系统的问题，并且通过变压边弹，让客流配比达到最佳，让系统在全链路压测之前就达到一个稳定可靠的状态，今年双11，全链路压测从往年的8次减少到3次，节省了近1000人次。

达灵

今年双11，阿里巴巴计算资源AI分配官“达灵”正式上任，在实习期间，达灵打破了人类工程师的多项记录：将数据中心资源分配率拉升到了90%以上，在部分业务中节省了一半服务器，并且可以2秒钟锁定异常机器，命中率94%。

鲁班

鲁班是阿里巴巴的AI设计师，可自动生成美观漂亮的banner，目前每秒可生成8000张的商品banner，解决了双11期间大批量的设计问题。

蚂蚁佐罗

佐罗是蚂蚁金服人脸识别机器人，在今年双11全面应用于账户安全保护，最新的测试显示器人脸识别准确率已达99.6%，再配合眼纹等多因子验证，准确率为99.99%，远超肉眼识别97%的准确率。

无人汽车售卖机

无人汽车售卖机是一个可以自动贩售的人工智能机器人，买车人只要按下按钮，伴随着托盘的缓缓转动，一辆崭新的汽车就出现在眼前。

 

安全

霸下-七层流量清洗

霸下-七层流量清洗是一款安全产品，他能够将所有请求中夹杂的网络主机入侵、DDOS攻击，CC攻击、Web攻击、爬虫、机器刷单等恶意流量进行高精度清洗，从而保障双11期间业务系统在超负载运行状态下的安全。

钱盾

钱盾通过全球领先的病毒木马检测技术、全局反钓鱼、诈骗电话短信识别等技术，为消费者在双11购物提供安全的手机购物支付环境。

MTEE3

MTEE3是阿里巴巴集团最新一代业务安全智能风控平台，双11期间，为阿里经济体的各个核心业务提供账号安全、黄牛刷单、活动反作弊、内容安全、人机识别等几十种风险的防护与保障，日处理300亿次业务风险扫描，扫描峰值超过100万次/秒。

“御城河”

“御城河”依靠其独创的数据泄露风险监测及溯源技术，构建了全链路、立体化的数据安全产品及服务体系，在双11期间服务数百万商家，1000多家核心服务器，20多家物流伙伴，实时检测人员、账号、设备等30多个维度的数据访问风险。

CTU

它是蚂蚁金服风险管理的核心系统，在CTU系统的保护下，目前支付宝的交易资损率为百万分之一，远低于国际领先支付机构万分之时期的风险水平，在保证用户账户安全的基础上，CTU还能精准识别安全交易，有效降低对用户的打扰率。