数据中心从10G/40G升级到25G/100G 时的几个注意点

作者简介：郑敏先，任职于诺云信息系统(上海)有限公司，担任售前工程师。从事SDN、白盒交换机等开放网络关产品的推广工作。

　　服务器接口从10G升级为25G接口带来很多好处，比如：

　　● 以太网性能是10G接口的2.5倍;

　　● 能为服务器的提供更高的端口密度;

　　● 更低的每GB数据传输功耗(更省电费);

　　……

　　虽然这些好处很诱人，但是仍然有几个方面需要注意：

　　一、确保理解 25G/100G的含义

　　以太网接口的传输速率在过去几十年来大体呈线性增长(每10年增长10倍)。大家的台式电脑或笔记本电脑的有线网卡基本是千兆网卡。而在当前的许多数据中心中，服务器的接口是10Gbps(万兆), 交换机间的接口是40Gbps(四万兆)，它们中的大多数都在考虑(或者正在)将网络升级到下一代的25G/100G网络(服务器的接口是25Gbps, 交换机间互联的接口是100Gbps)。

　　一个100Gbps连接可被分接线缆(Break-out Cable)分解为四个通道(每个通道25Gbps)，所以100G网络有时被称为25G/100G网络。同理,10G网络有时也被称为10G/40G网络。

　　10G/40G网络：

　　Spine交换机和Leaf (TOR)交换机之间链路为40Gbps，

　　服务器接口为10Gbps，

　　不同的Leaf交换机提供10G接口的方式及端口密度可能并不一样，

　　1)以某Leaf交换机为例，该交换机端口规格为：4810Gbps+640Gbps ，此时Leaf 交换机提供的10G接口是Leaf交换机的原生10G接口：

　　2)以某Leaf交换机为例，该交换机端口规格为：3240Gbps，此时该Leaf 交换机提供的10G接口是其原生的40G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下，能提供(32-6)4=104个10G端口)：

　　25G/100G网络：

　　● Spine交换机和Leaf 交换机之间链路为100Gbps

　　● 服务器接口为25Gbps

　　不同的Leaf交换机提供25G接口的方式及端口密度可能并不一样：

　　1)以某Leaf交换机为例，该交换机端口规格为：4825Gbps+6100Gbps ，此时Leaf 交换机提供的25G接口是Leaf交换机的原生25G接口：

　　2)以某Leaf交换机为例，该交换机端口规格为：32100Gbps，此时该Leaf 交换机提供的25G接口是其原生的100G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下，能提供(32-6)4=104个25G端口)：

　二. 基于业务扩张规模，综合考虑是否需要升级

　　对于一些处于领先地位的企业而言，从当前10/40G网络升级到25/100G是最快速的方法。毕竟从规划、新建到上线一个数据中心所花时间可能要花费好几年。(花费时间过长意味着自身有被竞争对手追上的风险)。世界几大公有云巨头基本都是美国企业，特别注意的是部分领先者为了保持(甚至为了扩大领先优势)，即使当时的25G/100G设备、光模块等比今天要贵不少，但它们仍然在几前就逐渐将既有数据中心网络从10/40G升级到25/100G(当然它们同期也新建了一些数据中心)。

　　▲ 出货到亚马逊、谷歌和微软的光模块数量预测

　　放眼整个光模块市场的出货量，会发现每一种新的光模块刚出现的一两年都不被广泛使用。想想也是，毕竟刚推出的那段时间价格很贵。过去几年，国内25G/100G的应用晚于美国几大OTT的脚步，而且国内25G/100G大多用在新建的数据中心。如今(2018年)，国内存量的10G数据中心有不少即将面临网络瓶颈或着IT设备设计寿命, 25G/100G光模块价格比前两年低不少，切换到到25G是个不错的选择(经济+性能提升)。

　　▲ 整个光模块市场的出货量预测

　　三、不一定每台服务器都需要升级

　　如果您数据中心的一部分服务器的10G网络(或未来一段时间)没有瓶颈，那么将它们网络也升级到25G并不会带来性能提升。这种情况下可以让这些服务器继续使用10G网络，等网络即将成为瓶颈的时候再进行升级。。

　　四、尽量不要采购40Gbps的网卡

　　过去几年中，40G的服务器网卡出货数量并不多。某电商平台的25G和40G服务器网卡的价格截图如下(不含光模块)，可以看到二者价格很接近。

　　但40G网卡通常并不能充分利用服务器PCIe总线。因为许多服务器带PCIe 3.0 x 8(Gen3 x8)插槽，能提供56Gbps的带宽。将带2个25G的端口的网卡插到56Gbps PCIe插槽，可以使网络到服务器性能获得更高的效率(相对于插一个40G端口的网卡)。