本文由 发布，转载请注明出处，如有问题请联系我们！ 发布时间: 2021-08-01阿里巴巴服务器在哪里-阿里巴巴服务市场入口

EFLOPS网站架构

传统式网站架构的短板关键来源于內部的PCIe Fabric树互联。最先，传统式的大数据中心网络服务器一般只配置一个网线端口(独立网卡或Bond网卡)。当网络服务器配置好几个加快部件(如GPU)并根据网线端口高并发传送数据时，将遭遇很大的热度聚集，这将变成系统软件的短板。这类同歩互联网浏览在分布式系统AI训练科目中特别普遍。一般AI练习的数据分成好多个批号。每次数据处理方法进行后，全部参加测算的NPU网络加速器务必同歩梯度方向。跨网络服务器的NPU梯度方向同步控制务必根据网线端口开展通讯。这类规律性的同歩网线端口浏览将必然地造成网线端口时延。相近的端口号时延也会产生在PCIe树拓扑结构的从动连接点上。每一批数据处理方法进行后，分布式系统AI练习服务项目会同歩载入下一批数据信息，造成高并发浏览运行内存。

次之，PCIe网络交换机端口号的时延很有可能会致使总体通讯高效率降低。当NPU1和NPU3与此同时向NPU2传送数据时，立即接入到NPU2的PCIe网络交换机端口号会产生时延。因为NPU1和NPU3与NPU2中间的通讯间距不一样，因而彼此之间存有明显的网络带宽差别。AI训练科目的梯度方向AllReduce是全局性同步控制，其进行時间通常遭受比较慢链接的限定，因而链接网络带宽的不合理也会可能会导致特性的降低。

最终，因为各种各样缘故，PCIe互换集成ic通常只完成一个虚似安全通道，造成欠缺QoS工作能力，促使网络服务器中的各种各样总流量沒有防护工作能力，导致网络带宽的混乱市场竞争。

EFLOP网站架构关键化解以上互联难题，网络服务器配置了与网络加速器（NPU）相等的网口（NIC），并将NPU和NIC开展关联匹配，每一对关联的NPU和NIC处在同一PCIe Switch下，管束NPU的通信网络只有经过自身关联的NIC。那样，NPU的通信网络总流量所有被局限性在PCIe Switch以内，防止了网线端口上的时延。对于PCIe Switch引进的时延难题，在PCIe流量比较大的情形下，禁止使用NPU中间开展跨PCIe Switch通讯，使其根据网线端口开展数据传输，充分利用网络tcp协议的负载平衡体制来减少系统软件的时延水平。非常值得注重的是，数字化网站架构是一个对外开放的构架，能为各种各样网络加速器给予快速互联，针对内置传送数据系统总线（如英伟达显卡的 NVLink）的网络加速器一样兼容，运用其传送数据系统总线完成更带宽测试通讯。EFLOP网站架构关键化解以上互连难题。网络服务器配置了等同于网络加速器(NPU)的互联网接口卡(NIC)，NPU和NIC关联匹配。每对关联的NPU和NIC都是在同一个PCIe网络交换机下，因而NPU的通信网络只有根据自身关联的NIC。那样，NPU的通信网络总流量所有被限定在PCIe网络交换机内，防止了网线端口的时延。对于PCIe网络交换机引进的时延难题，当PCIe流量比较大时，禁止使用跨PCIe网络交换机的npu中间的通讯，使其还可以根据网线端口互换数据信息，充分利用网络tcp协议的负载平衡体制减少系统软件的时延水平。非常值得注重的是，连接网络网站架构是一种对外开放构架，能够为各种各样网络加速器给予快速互连。还兼容内置传送数据系统总线的网络加速器(如NVIDIA的NVLink)，运用其传送数据系统总线完成更带宽测试的通讯。

EFLOPS系统软件互联构架。

系统软件互联构架。

大部分大数据中心选用Clos拓扑结构，给予高切分网络带宽和可拓展的基本上通讯工作能力。殊不知，因为方法挑选的hash算法一直存有相互影响的概率，互联网中的时延没法防止。与传统的的仅提升拥塞控制优化算法的构思对比，EFLOPS从更高层住宅构架管理方法数据流量，彻底消除互联网时延难题。

依靠EFLOPS多网口网络服务器构造，阿里技术工程师开发设计了BiGraph的平扁拓扑结构，将BiGraph分成2组，每一组网络交换机与另一组网络交换机彻底互连，同一组网络交换机中的数据传输必须由另一组网络交换机分享，那样每台网络交换机在Clos互联网中就饰演了Spine和Leaf2个人物角色，较大跳数仅有3跳。BiGraph拓扑结构具备下列2个关键特点。

1.它在双层网络交换机中间给予了充足的物理学链接資源。在具备N台测算网络服务器的系统软件中，双层网络交换机中间最少有N/2条物理学链接可以用。这代表我还有机会将half-double all educe优化算法的全部联接一一投射到可以用的物理学链接上，进而防止他们相互之间的链接争用，彻底消除互联网时延难题。

2.连接不一样层级的随意2个测算集群服务器的最短路径算法具备唯一性。技术工程师能够灵活运用这一特点，在通讯库乃至更高端开展网络服务器间通信方式的管理方法。例如，在创建联接的情况下，挑选适合源和目地网络服务器，来操纵互联网上的途径挑选。2.浏览不一样档次的一切两部测算集群服务器的最短路径算法全是唯一的。技术工程师能够灵活运用这一特点来管理方法通讯库文件乃至更高級其他集群服务器的通讯方式。比如，创建联接时，挑选合理的源网络服务器和总体目标网络服务器来操纵互联网上的途径挑选。

再次排列递减翻倍优化算法平面图。

通讯库手机软件是充分运用BiGraph拓扑结构优点的重要。阿里开发设计了自个的ACCL(阿里团体散播库)团体散播库。最先在物理学互联网中搭建BiGraph虚似拓扑结构，随后根据这类虚似构造完成无时延的团体通讯优化算法。无时延集通讯优化算法是阿里在规范递减翻倍优化算法的根基上明确提出的一种新的重排列递减翻倍优化算法，完成了通讯联接与BiGraph拓扑结构的极致投射，从源头上防止了路由器矛盾。

与现阶段最受欢迎的Ring AllReduce优化算法对比，EFLOPS优化算法更有益于规模性的特性拓展。Ring AllReduce特别适合传统式的单网口网站架构，每一步必须传送的数据信息较少，选用单边双回路传送，但必须O(N)步实行，延迟时间伴随着系统软件经营规模的扩张而线型提升。另一方面，递减-翻倍优化算法根据增加量和二进制方式迅速完成传输数据，只必须O(logN)步，但每一步要传送的数据信息都比Ring AllReduce大，恰好切合EFLOPS的互联网工作能力。

Re-ranking Halving-Doubling优化算法的核心内容是按照每一个过程的全部部位，重新排序该过程相匹配的排行，融合连接点间的同歩对策，促使任何时候一切点和点的传输数据都能独享一条物理学链接，进而合理地防止了互联网时延，理论上可以做到线束的传送。以8台网络服务器，每台网络服务器包括4个网络加速器的系统软件为例子，对该优化算法开展表明，在其中正方形表明网络交换机，圆形表明网络加速器，圆形里的数字表示重新排序后新的排行。联线意味着网络交换机中的物理学联接，不一样颜色代表不一样流程下应用的途径。依照重新排序后，能够见到优化算法的任意一个流程，同一个服务器的四个网络加速器走的全是不一样的传送数据链接，那样确保了数据信息通过的途径最短，且网络加速器间的传输数据途径沒有矛盾。重排列half-double优化算法的核心内容是按照每一个过程的全部部位重新排序其相应的排列，并融合连接点间的同歩对策，促使一切时间段的一切点到点传输数据都能够独享一条物理学链接，进而合理防止互联网时延，理论上完成线束传送。以8台网络服务器，每台网络服务器4个网络加速器的系统软件为例子，表明优化算法，在其中方形意味着网络交换机，圆形意味着网络加速器，圆形中的数字意思重新排列后的新排行。电缆线意味着网络交换机中的物理学联接，不一样的颜色代表不一样流程中采用的途径。依据重新排列能够看得出，在优化算法的一切一步，同一台服务器的四个网络加速器采用不一样的立即连接，进而保障了数据信息的最短路径算法，网络加速器的传输数据途径中间沒有矛盾。

通讯特性对比分析。

EFLOPS AI群集特性。

只需在多机多卡自然环境下经营规模不必很大，EFLOPS群集构架就能充分发挥突出的特性优点。在一个有着64个GPU卡(NVDIA V100 32G显卡内存)的小规模纳税人群集中，对alleduce收集通讯的特性测试表明，选用不一样的alleduce优化算法，EFLOPS群集的硬件开发能够将通讯高效率提升2.3~11.3倍。根据EFLOPS优化算法构架的协作优化算法可进一步提高通讯高效率1.4~7.3倍。伴随着系统软件经营规模和互联网时延几率的提升，EFLOPS AI群集的通信网络特性优点更为显著。

在64 GPU卡的检测情景下，派力淘上百万分类模型的端到端特性提高了2.2倍。自然语言理解解决行业普遍采用的BERT预训练模型的评定在EFLOPS群集中，BERT的通讯花销获得了非常大的减少，仅应用EFLOPS硬件配置就可以将通讯特性提升2倍。在ACCL通讯库的支撑下，总体特性提高了2倍，通讯特性提高了4倍。