2017下一代数据中心网络研究报告zz
http://dy.163.com/v2/article/detail/CDG9CD7G05179LAH.html
2月2日,SDxCentral发布了2017下一代数据中心研究报告(2017 Next Gen Data Center Networking Report)。这份报告系统介绍了下一代数据中心网络的发展趋势、关键功能、典型案例、行业标准以及热门产品。
下一代数据中心演进的四大驱动力
1、业务竞争驱动:企业提升自身竞争力,对敏捷性、差异化和成本节约提出了新要求
Increased Competitiveness Driving Agility, Cost-savings, Differentiation in IT
2、内容流量驱动: 高速增长的视频和富媒体内容成为数据中心的新压力
Increased Consumption of Video and Media-rich Content
3、交付模式驱动: 云计算和移动化成为主流交付模式
Dominance of Cloud and Mobile Applications
4、工作负载驱动: 大数据分析和物联网日益重要,未来将成为数字化转型的关键手段。
Importance of Data - Big Data, IoT and Analytics
这部分开场白都是套话,没什么干货,就不详细翻译了
下一代数据中心对网络的关键需求
1、简单化、标准化和模块化
Simplification, Standardization and Modularity
数据中心运营者希望能够删减那些不必要的路由/交换功能,利用标准服务器提供网络优化,采用较少商用芯片数量构建更为简单的网络矩阵,同时将L4-L7的功能迁移到标准服务器上,这些需求,都与传统厂商的理念背道而驰。
LinkedIn、Facebook、Microsoft、Google等巨头已经开启模块化数据中心Pod之路,每个Pod都包含了标准化的网络架构,大规模利用成本低廉的商品化交换机,芯片也切换到BCM、Marvell和一些新兴芯片制造商(比如Barefoot、Cavium Xpliant和盛科)。
模块化的节点更易部署和替换,也提升了横向扩展能力,随着这种云服务商的带动,大型企业级市场也有这种趋势。
2、对虚拟化和容器的支持
Virtualization and Containers
在虚拟化和容器化盛行的时代,无论南北流量还是东西流量,都无法回避虚拟交换机的存在。人们希望虚拟交换机的支持,能像以前使用VLAN一样简单。
复杂的叠加网络环境造成各种标签混杂,比如来自与广域网的MPLS链接很有可能就被ToR交换机给终结掉了。
3、可编程能力
Programmability
为满足业务敏捷型和灵活性需求,网络可编程能力必不可少。上层业务必须能够实时控制底层网络,进行编排和优化。无论这些业务采用基于XML/JSON的RESTful接口,还是用P4编程或者Openflow协议控制,都需要网络设备本身能够“被集成”,与数据中心融为一体。
如今已经有越来越多的企业级网络产品可以被云管理平台(比如Openstack、VMware vRealize suite、Cloudstack)集成部署。网络被系统配置管理是大势所趋,甚至这种响应被要求是实时的。
4、自动化和DevOps/NetOps
Automation and DevOps/NetOps
可编程性让网络集成到编排系统成为可能,但是系统需要被部署、被监控、被更新,并非一劳永逸。传统情况下,网工最爱命令行CLIs,很多厂商提供过图形配置界面,但是很少能广泛应用的,大量的设备还是被“命令行”管理着。
但是,DevOps正在对网络行业产生影响,或者说我们需要NetOps来拯救。基于自动化配置工具(Ansible/Puppet/Chef等),网工们也可以像管理服务器一样去管理网络基础设施了。
5、可视化与Troubleshooting
Improved Visibility and Troubleshooting
跨数据中心流量暴增以及Overlays的存在,让网络可视化变得尤为重要。可视化有理于快速定位网络延迟或者洞察流量突发。还需要具备对流量数据的收集和分析能力,用于排障、优化和安全防范,如果只有海量告警事件日志,那就只能抓瞎了。
另外,由于数据中心网络正在演进为基于ECMP的leaf-spine三层Fabric,保障所有数据的可达性非常关键,不要让“大象数据流”阻挡了“老鼠数据流”,“可视化”有助于让我们了解整个交换矩阵发生了什么,甚至细化到每个交换机端口的缓存利用率。
6、开放的硬件平台
Open Hardware Platforms
从成本和可配置性考虑,数据中心网络运营者越来越关注白盒或者其他开放硬件平台。有人相信,采用白盒,在硬件成本上可以节省30%-80%。由于这些白盒供应商同时也为品牌交换机厂商提供OEM/ODM服务,所以产品品质和可靠性不存在疑问。
时至今日,诸如EdgeCore等低成本白盒硬件供应商值得考虑,但你需要找到成熟的软件来支持。另外,像Dell、HPE和华为也提供白盒交换机,但是会提供他们自己的品牌软件,这种模式被称为“灰盒”(gray box)。
下一代数据中心网络演进
“老帮菜”数据中心网络长这样
由纯物理交换机/路由器组成,有主备或者双A设计,以南北流量为主。
“新生代”数据中心网络长这样
到了云时代,SDN和NFV参与进来,数据中心网络的边界定义被扩大,从服务器内部的虚拟网络到数据中心物理网络,再到数据中心互联网络。
在这样的数据中心里,四个关键组件必不可少:
虚拟交换机:满足服务器内部vm和容器的交换需求。
网络加速卡:智能网卡或加速器提供vSwitch卸载、安全以及存储加速
ToR与Leaf/Spine:两层Clos架构再次得到推广,架构开放,扩展性强。(虽然这种架构早在1950年代就已经在电话交换网中使用了),大量的商用套片和白盒被应用在Leaf和Spine交换机中,降低成本,解决厂商锁定。
数据中心互联(DCI):数据中心基于交换机就可以完成直连,DCI互联模块被直接集成到数据中心交换机上,比如100Gbps DWDM。L2 over L3的隧道技术也得到推广应用,还有我们不得不提的SDWAN。
下一代数据中心网络关键趋势
趋势1、解耦与白盒
Disaggregation and White box
解耦的意义包含两层,第一层:控制平面与数据平面结构,这是SDN的范畴;第二层:网络硬件与软件解耦,这是白盒和ONIE的范畴。
白盒交换机采用的商用套片通常来自于Broadcom(目前主流芯片如Trident II, Trident II+, Tomahawk等等),这类白盒基于ONIE标准提供一个交换机启动环境,最终用户可以选择安装交换机OS,如 Big Switch的ONL、Apstra的Apstra OS、Cumulus Linux等等。
为保证网络与数据中心集成和可编程性,这些OS还提供了相应接口,包括OF-DPA (OpenFlow Data Plane Abstraction)、OpenNSL (Open Network Switch Layer) 以及 SAI (Switch Abstraction Interface)。前两个接口标准主要绑定Broadcom,而SAI出身于OCP,支持多个厂商的芯片(Broadcom, Cavium, Mellanox, Centec、Barefoot)。
在交换机OS之上,还有诸多为交换机管理和转发功能定制的“插件”,比如开源三层路由代码Quagga和BIRD,以及Facebook出品的FBOSS、微软Azure出品的SNOiC,开放的世界很精彩。
解耦的白盒阵营与传统的交换机贵族Cisco、Arista、Junper、Brocade还有很长的博弈时间,但是我们看到,戴尔、HPE、华为已经开始销售开放网络平台(灰盒)。而新进玩家Cumulus、EdgeCore、Pica8和其他ODM厂商也在努力推动白盒产业。
在OCP的推动下,新供应商们正在给市场带来更具性价比、更高性能的硬件产品,而开源团体也会在软件上持续努力,用廉价的开放产品去替代企业级市场那些高价货!
趋势2、虚拟化、Overlays和Openstack
Virtualization, Overlays and OpenStack
虽然Facebook声明他们的业务并不需要Overlays和计算虚拟化,(他们的应用被设计运行的物理服务器上),但是Amazon、Google和Microsoft却是虚拟化和容器化的重度使用者。
在重度虚拟化应用场景,vSwitch必须保持高性能(基于硬件加速、DPDK、FDiO VPP等等),同时还需要支持Overlay的终结,VXLAN应该作为架顶交换机(ToR)的必选项:实现Overlays流量可视化、在VM和物理机混合接入环境下提供VTEP能力等等。
对于下一代数据中心网络来说,另一个重要考量是支持以Openstack为代表的CMP(cloud management platform)平台,提供部署、监控、管理接口,对于企业级运行环境,还应该支持VM热迁移的集成接口。
趋势3、支持ECMP的两层Clos-Fabrics
2-stage Leaf-spine Clos-Fabrics with ECMP and Pods
现代数据中心已经从老式胖树架构进化到两级L3 Leaf-spine Clos矩阵,基于ECMP提供多路径流量分担。这种架构抛弃了大型的机箱式核心交换机,用简单的Leaf-spine交换机实现部署低成本、高灵活。连老牌厂商Cisco、Juniper、Arista也开始拥抱Leaf-Spine,积极在企业级数据中心市场进行鼓吹推广。
而在全球最大的一些数据中心里面,Clos结构的网络被打包在“Pod”里面,通过横向扩展满足Pod巨量的连接需求(参见下文Facebook的Altoona数据中心)。
然而leaf-spine架构也有不爽之处,首先Leaf和Spine之间需要大量的网络连接,线缆维护复杂,替换和新增spine的时候,工作量是巨大的。其次,基于L3技术,VLAN受到Leaf交换机的限制,导致VM移动性不佳,这就必须依赖VXLAN之类的Overlay技术去解决,会增大开销。
由于Leaf和Spine之间的海量连接,要进行监控和排错很难,微软在其Azure数据中心里,采用了一种全量ping测试,被称为PingMesh。PingMesh本质上讲是一种强力的在所有端点之间运行Ping测试的方式,可视化的去显示任意两个端点之间的连接状况。
PingMesh已经在微软数据中心运行多年,每天要产生超过两千亿次探测。
趋势4、软件定义网络、策略、意图
SDN, Policy and Intent
当今数据中心网络之复杂,仅靠人肉运维是不可能的,SDN作为自动化工具,流行起来顺理成章。大型数据中心(如Goole和微软),无论内部还是外部,都有各种形态的SDN存在,Goolge的 B4广域网,就是SDN最典型的案例之一。
在以云计算为核心的生产环境中,传统手工作坊式的网络配置、参数修改如同杯水车薪,应用需要基于CMP来自动化部署系统、优化参数,每个应用都有不同的配置文件、需要特定的网络支持以满足时延、弹性等QoS要求。这些需求会被绑定成策略集,自动化完成下发和部署。
Cisco ACI就是一个策略化(Policy-based)处理网络的商用案例,同样,OpenDaylight和ONOS等SDN控制器的目标,也是在网络部署中提供可编程策略。
基于策略分发,让我们正在向“意图型”网络(intent-based networking)演进:只需要“告诉我你想得到什么”,而不是“告诉我具体怎么做”,剩下的,交给SDN去干。
也许这就是智能网络的未来状态,让你从繁复的具体配置工作中解脱出来!
趋势5、大数据分析
Big Data and Analytics
下一代数据中心网络的典型应用场景是大数据分析,戏剧性的是,网络生成的数据流本身就是一个大数据用例。很多厂商和组织抓取这些数据,用于优化和潜在安全分析,初创公司Pluribus和Big Switch都在兜售他们的数据监控能力,而Cisco则推出了Tetration平台用于网络数据分析。
下一代数据中心网络成果和标准
1、互联网巨头们的实践
A 6-Pack of Wedge, Firehose, Watchtower, Pluto, Saturn, Jupiter, Altair, Olympus and more
引领数据中心变革的,是那些别无选择只能追求持续创新的互联网企业,Facebook、Google、微软、领英都在不断努力,他们内部的数据中心团队驱动着从架构、软件、硬件全方位演进。
Google的数据中心已经进化到第5代,从设计了却没用的“Firehose”,到“Watchtower”,再到"Pluto" 和"Saturn",直到今天使用的 "Jupiter",最新保密设计并未对外公开。Google希望实现一个完整的内置网络的云基础设施,作为一个单元来设计。其目标是打造超过10000台Server的超级集群,将资源利用率发挥到极致。
LinkedIn的网络团队对自己的Altair项目和Falco项目非常自豪。Falco项目其实是基于BCM Tomahawk芯片打造的交换机,该交换机被命名为“鸽子”,提供3.2Tbps交换能力,可以作为Leaf或者Spine使用。“鸽子”运行基于Linux的软件系统,并集成了一大宗监控和管理工具。Altair项目则是一个大规模可伸缩的数据中心网络Fabric,用于替换传统网络。
Facebook是开放计算硬件的领导者,他们发起了的OCP,并贡献了Wedge和6-pack。
Wedge是一款ToR交换机,有40G和100G两种规格,全部贡献给了OCP项目,并且目前两款硬件都可以从第三方供应商EdgeCore买到。
6-pack是Facebook发布的开放式模块化交换机平台,它以Wedge为基本构件,是一个全网状且无阻断的两级(two-stage)交换机,内含12个独立的交换组件,每个组件的交换容量为1.28Tbps。每个组件也运行自己的操作系统,从交换、主板控制,到冷却系统都是独立的。这代表用户能够在不影响整体系统或软/硬件的前提下更改系统的任何部份,并藉由独特的双背板解决方案来打造无阻断的拓扑结构。
在数据中心层面,Facebook设计了Pod级别的模块——Altoona。Altoona设计可借鉴之处在于,你可以使用小型开放交换机构建你的数据中心,这个架构可以让你扩展到任何规模,而不需要改变基本构建块。
Microsoft Azure
微软Azure的网络广泛使用了SDN技术,每个Azure节点都是用了基于FPGA的网络加速卡——Azure Smart NIC,用来加速流处理、存储进程、QoS以及加解密。Azure使用SDN控制每块加速卡上的流表和规则,保障Azure节点的高性能吞吐。
微软同时也在云交换机领域也在驱动创新,是SAI和SONiC(Software for Open Networking in the Cloud)的应用先锋。SONiC是一个网络软件组件集合,包含了交换机常备的BGP、ECMP、LLDP等功能,得到了大量硬件供应商的支持,这里面包括了Arista(微软是A公司最大的客户之一)、BigSwitch、Dell、Mellanox,以及芯片厂商BCM、Cavium和盛科。
2、Linux基金会及相关项目
Linux Foundation and its associated projects
项目很多,就不一一详述了,统一列在这里
3、OCP和TIP
Open Compute Project (OCP) and Telecom Infra Project (TIP)
下一代数据中心网络最主要的推动者就是OCP,该项目由Facebook发起,目前获得了业内广泛的支持。从互联网巨头LinkedIn、 Microsoft、Google,到运营商AT&T、Fidelity和DT 再到设备商Cisco、Dell,、Huawei、HPE、Intel、 Ericsson等等。下图为OCP白金会员列表。
OCP是数据中心关键硬件方案之家,包括高密度机架(Open Rack)、服务器(Microsoft OpenCloudServer和Facebook Yosemite)、网络平台(Wedge 40 100 6-pack)。OCP还是ONIE、ONL、SAI、SONiC这些核心网络软件项目的老巢。
作为OCP的补充,Facebook在2016年又成立了TIP项目(Telecom Infra Project),推动运营商基础设施的变革和演进,替换传统网络架构。TIP的成员包括Intel、Nokia、德电、SK电信、沃达丰、T-Mobile以及思科Juniper等。