思科的大规模可扩展数据中心
来自:https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-743245.html
https://www.cisco.com/c/dam/en/us/td/docs/solutions/Enterprise/Data_Center/MSDC/1-0/MSDC_Overview_1.pdf
数据中心是计算机
1 ——MSDC 是网络思科的大规模可扩展数据中心 (MSDC) 是一个框架，数据中心架构师可以使用该框架来构建弹性数据中心，该数据中心托管一些应用程序，这些应用程序分布在数千台服务器上，并且可以从部门扩展到互联网规模观众。
与托管在孤岛中部署的应用程序的传统数据中心不同，MSDC 数据中心的特点是一些非常大的应用程序分布在地理上分布的同质计算和存储池中。从本质上讲，这些数据中心的行为不像托管环境，而更像是高度优化的计算机。
业界将这些数据中心称为仓库级计算机 (WSC)。思科的 MSDC 框架是构建这些 WSC 的网络结构的蓝图，并以思科在实验室环境中部署的参考架构为基础。
WSC 的典型网络结构在连接到的任意两个节点之间提供对称的二等分带宽。面料。它使用相同的交换平台构建，并部署在具有可变 Clos 阶段的 Clos 拓扑中，其中短主干层用作交换结构，而叶层则用作服务器访问层的 2 倍。
理论上，使用 32 个端口交换机的三级胖树 Clos（具有 16 宽的主干）架构可以连接多达 8192 台服务器。思科的 MSDC 参考架构部署在三级 Clos 拓扑中，使用 Nexus 7000 平台作为主干，Nexus 3000 平台作为叶。
表 1 显示了在 MSDC 参考架构中不同设计点实现的服务器主机端口。以下部分讨论了推动参考架构的设计选择
设计选择拓扑
——脊叶架构如果我们将网络拓扑设计服从普遍性定理（对于给定数量的交换机，存在最优网络），我们很快得出结论，现有网络设计针对数据进出传输进行了优化一个数据中心，并不是最理想的。通过在多路径物理网络上施加逻辑树拓扑，
现有拓扑不会使用两个端点之间的所有可用路径。 Cisco MSDC 使用多根拓扑，该拓扑使用等价多路径 (ECMP) 主动管理两个端点之间可用的多条路径。
此外，选择高端口数平台（即 Nexus 7000）作为主干可以在不使用额外交换组件的情况下部署折叠关闭（或胖树）。
Cisco MSDC 拓扑的主要特点是：
• 使用可变长度主干和 ECMP 启用多个设计和部署选项，以利用叶和主干之间的多个可用路径。
• 通过在主干处选择高基数（或端口数）交换机，为更高性能的折叠 Clos 网络提供未来证明。
• 使用用于叶节点的大型共享缓冲区交换平台减少网络拥塞。由于应用程序架构，当交换机内的多个数据包请求相同的出站端口时，会导致网络拥塞。
• 在主干和叶之间使用多个 10Gbps（在折叠 Clos 拓扑中）而不是单个 40Gbps 链路来降低功耗。当前一个 40Gbps 光学器件的功耗是单个 10Gbps 的 10 倍以上
控制平面
——第 3 层结构对于给定的拓扑，需要适当的控制平面来平衡流量并最大限度地减少延迟。 Cisco MSDC 使用动态第 3 层协议（如 BGP 和 OSPF）构建路由表，以最有效地将数据包从源路由到脊节点（源和目标的共同祖先）。
在 Clos 拓扑中，源和目标之间存在多个路径或祖先。因此，祖先的选择最好在叶节点处完成。也就是说，叶子节点应该存在第 3 层查找，这将导致在叶子节点上选择最佳出口端口。
在思科 MSDC 控制平面中同时使用 BGP 和 OSPF 协议是出于在网络从几千个节点扩展到几十万个节点时维持性能的需要。当多个数据包前往同一个出口端口时，使用最佳路由架构可以减少数据包冲突，从而最大限度地减少网络拥塞。
Cisco MSDC 控制平面的主要特性是：
• 使用 BGP 来通告可达性，并使用 OSPF 来确定到它的最短路径。两个协议栈的最佳执行以减少路由器 CPU 和内存利用率。
• 第 3 层查看每一跳以优化主干节点的选择，从而减少延迟并避免拥塞。它具有不耗尽稀缺资源的额外优势：叶子的转发表。
• 当前架构是一个很好的平台，可通过此选择添加未来特定于应用程序的优化
监控和维护
思科 MSDC 框架和参考架构通过最少使用基于 SNMP 的基础设施进行监控和管理，解决了监控、管理和维护大型网络的问题。管理框架更喜欢使用可扩展到数千个节点的无代理监控系统。
Cisco MSDC 监控和维护平面的主要特点是： • 使用 Ganglia 通过收集指标和趋势来监控主机基础设施。使用 Python 扩展机制对 Ganglia 进行自定义监控。与许多其他开源和专有工具一样，Ganglia 将 RRDTool 用于图形。
• 对带内插件使用 Ganglia 扩展机制来部署自定义 python 模块以监控主机环境。
• 使用 Nagios 监控网络基础设施和资源管理器。
使用 Nagios 的内置机制在 Ganglia 指标上发出警报。
未来 - 可编程性和网络覆盖
Cisco MSDC 架构不排除将来使用外部或内置控制器，这些控制器可以填充主干或叶节点的转发表以引入自适应或确定性负载平衡或路由。使用第 3 层控制平面提供了减少交换机保持状态的巨大优势。通过减少控制器和基础设施之间的同步流量，
这为外部控制提供了巨大的帮助。网络覆盖计划试图消除第 3 层控制平面的一个缺点，它是开发人员的第 2 层扩展模型。思科的 MSDC 框架可以轻松适应任何跨越鸿沟的网络覆盖技术。
