【广发电子许兴军团队】“AI的iPhone时刻”系列9：NVLink+NVSwitch，实现GPU间高速互联！

【广发电子许兴军团队】“AI的iPhone时刻”系列9：NVLink+NVSwitch，实现GPU间高速互联！

NVLink：实现GPU间高速直联。NVLink是一种GPU之间的直接互联，可扩展服务器内的多GPU输入/输出。2016年，第一代NVLink搭载基于Pascal架构的Nvidia GP100 GPU发布，其传输速率可达160GB/s；目前NVLink已迭代至第四代，总带宽可达900GB/s，是PCIe 5.0带宽的7倍。NVLink不仅可实现NVIDIA GPU间互联，也可以实现GPU与CPU之间的互联（CPU需要支持NVLink协议，如IBM POWER9）。

NVSwitch：实现服务器内更高带宽、更低延迟、更多GPU间通信。第一代NVSwitch在2018年GTC大会发布，其上有18个NVLink端口，在单服务器节点内通过12个NVSwitch可以实现16个V100以NVLink能够达到的最高速度进行多对多通信。目前NVSwitch已经迭代到第三代，单芯片上共有64个第四代NVLink端口，支持GPU间900GB/s的通信速度，这些通过NVLink Switch互联的GPU可用作单个高性能加速器，拥有高达15petaFLOPS的深度学习计算性能。

服务器之间的NVLink与NVSwitch：实现服务器节点间通信拓展。基于第三代NVSwitch，通过在服务器外部添加第二层NVSwitch，NVLink网络可以连接多达32个服务器、256个GPU，并提供57.6TB/s的多对多带宽，实现GPU在服务器节点间通信扩展，形成数据中心大小的GPU。

AIGC推动AI服务器需求增长，建议关注GPGPU/ASIC/CPU厂商：海光信息（与计算机组联合覆盖）、寒武纪（计算机覆盖）、龙芯中科、芯原股份等；服务器芯片厂商：澜起科技、源杰科技、杰华特、深科技等；服务器硬件厂商：工业富联、沪电股份、胜宏科技等。AIGC应用：大华股份、国光电器、漫步者等

欢迎各位领导随时交流！

———————————————

广发电子 许兴军/耿正/栾玉民