跨服务器之间gpu如何使用nvswitch？

NVSwitch是一种高速互连技术，可以在多个GPU之间实现高速数据传输。要在跨服务器之间使用NVSwitch，需要满足以下要求：

服务器需要安装支持NVSwitch技术的GPU卡，例如NVIDIA Tesla V100或A100。

服务器需要使用支持NVSwitch的技术，例如InfiniBand或以太网等进行物理互连。

服务器需要安装支持NVSwitch的驱动程序和软件包，例如CUDA和NCCL等。

具体而言，您可以使用以下步骤在跨服务器之间使用NVswitch：

使用支持NVSwitch的技术将多个服务器物理互连。

在服务器上安装和配置支持NVSwitch的驱动程序和软件包。

在不同的服务器上启动各自的GPU卡。

调用支持NVSwitch的CUDA函数和NCCL函数，以实现在跨服务器之间传输数据。

需要注意的是，使用NVSwitch进行跨服务器之间的GPU交互需要高带宽、低延迟互连技术，并且需要对网络拓扑进行调整。例如将GPU密集的任务聚集在具有高速InfiniBand网络的服务器上，以最大化NVSwitch的性能。

美国芯片制造企业英伟达，将在中国推出A800用于替代A100，原因是出口管制规定。A800相比A100性能上存在一定的差距，A800的数据传输速率为每秒400GB，而A100的数据传输速率为每秒600GB。

数据传输速率是衡量硬盘的重要的指标，当传输速度越快硬盘就可以更快的写入和写出数据，此外硬盘的容量约越大，硬盘内贮存芯片的数量也会越多，硬盘的读写速度就越快。对于普通用户来说，硬盘速度加快也就是影响电脑游戏和大型软件的使用效率。但是对于人工智能和高端行业，速度越快可以节约算法计算的时间，可以更快更好的获得想要的结果，比如机器人控制，智能化减灾预警等。

A100是英伟达公司2020年5月中旬发布的一款芯片产品，采用了台积电7纳米工艺。A100的GPU芯片性能相比于前代产品提升了近20倍左右，主要用于人工智能，数据分析和计算机图形计算等相关领域。属于英伟达比较核心的芯片产品。但是随着美国出口禁令的出台，该产品因为无法在国内进行销售。随之而来的就是A800产品的替代。在国内的AI芯片市场里，英伟达在核心算力和生态系统方面都具有比较明显的优势，国内很多的公司虽然核心算力方面并不差，但是生态方面还是无法赶超英伟达。A100除了能够提升算力以外，还实现了大规模数据中心的扩展性。

国内芯片的发展。国内的芯片技术虽然这几年发展速度较快，包括华为海思，展讯等企业。但是存在发展瓶颈，我国的芯片核心技术严重缺失，再加上自主研发的成本巨大。我国的高端制造业是非常落后的，芯片的生产配套并不完善。

作者丨顾翎羽

编辑丨周游

地表最强AI芯片要写 汽车 故事。

5月14日，在英伟达公布的GTC 2020录播视频中，CEO黄仁勋正式发布了新一代GPU架构Ampere安培。英伟达每代显卡架构均以顶级科学家命名，这一次以法国物理学家安培命名。这是英伟达推出的第八代GPU架构，较前一代2018年发布的图灵架构性能提升高达20倍。

同时，黄仁勋还带来了基于安培架构GPU A100的DGX-A100 AI系统和面向边缘AI计算的EGX A100。
“这是英伟达八代GPU史上最大的一次性能飞跃”，黄仁勋评价，“安培架构的突破性设计集AI训练和推理于一身。这是有史以来首次可以在一个平台上实现对横向扩展以及纵向扩展的负载的加速。A100将在提高吞吐量的同时，还可以降低数据中心的成本。”

虽然英伟达并未公布安培架构的具体架构细节，但从作为全球首款基于安培架构推出的芯片英伟达 Tesla A100的性能提升来看，A100采用台积电7N制造工艺（7nm工艺），晶体管数量达到542亿，比上一代的211亿提升了257倍。在实际应用上，A100在运行谷歌自然语言处理模型BERT时，训练性能相比上一代提升6倍，推理性能则提升7倍。

此外，该架构还采用了多实例GPU和和第三代NVLink互联技术，前者可以将一个A100 GPU分割为7个单独的GPU，为不同大小的任务提供不同的算力，从而提升利用率和投资回报；后者能使GPU之间的高速连接数量翻倍，可将至多12个A100 GPU连为一个巨型GPU，从而为服务器提供更高效的性能拓展。

目前，这块计算卡已经在全面生产并向全球客户发货，已有包括阿里云、AWS、百度云、思科、Dell Technologies、Google Cloud、HPE、Microsoft Azure和甲骨文在内的公司，正试图将NVIDIA A100整合到他们的服务和产品中。

在此次发布中，英伟达还宣布将联手宝马，推出基于NVIDIA Isaac机器人平台打造提高 汽车 工厂物流效率的物流机器人。此外，小鹏 汽车 新款P7智能电动 汽车 及下一代生产车型中也拟使用NVIDIA DRIVE AGX平台，小马智行将在其自动驾驶Robotaxi车队中使用NVIDIA DRIVE AGX Pegasus平台，法拉第未来（FF）则选择在FF 91电动车上部署NVIDIA DRIVE AGX Xavier平台。

5月15日，FF宣布与英伟达建立长期战略合作伙伴关系，后者将为FF在自动驾驶领域提供持续不断的产品和技术支持。作为目前实力最强的独立GPU供应商之一，英伟达平台正在 汽车 领域一显身手。

主要是看运行什么软件和数据量，训练数值大小，这里要强调一下，数值大小和数据量是不一样的。

深度学习服务器的核心部件还是CPU、硬盘、内存、GPU，特别是很多深度学习依靠GPU的大规模数据处理能力，这就要强调CPU的计算能力和数量，同时不同的数据对GPU的显存要求也不一样。

当下大部分都在用RTX3090做深度学习，最新RTX4090已经上市，单精度计算能力是RTX3090的2倍，这两个GPU都是24G显存；像A100强调双精度计算能力，显存有40G和80G两个版本，而A6000单精度计算能和RTX3090差不多，显存是48G，可以参考选择。

当然，最重要的还是口袋里的银子，A6000市场价大概是RTX的2倍还要多，A100最近更是要上十万了，估计也快买不到了，价高缺货；RTX3090/4090的价位低，性价比高，这也是为什么大部分人都选择它们做深度学习了，这是市场的选择。

细粒度结构化稀疏性（fine-grained structured sparsity ，稀疏性），是助力推动 NVIDIA Ampere 架构 GPU 性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算 *** 作来加速其神经网络。

在A100中，通过细粒度结构化稀疏将训练好的网络权重修剪为2:4 稀疏矩阵，接下来是一个简单而通用的方法来对非零权重进行微调（fine-tune）。然后权重网络权重被压缩之后，数据占用空间和带宽减少为原来的一半，并且 A100 的稀疏 Tensor Core 通过跳过零（skipping the zeros）将数学计算的吞吐量加倍。

根据NVIDIA自述 [1] ，通过对计算机视觉、目标检测、分割、自然语言建模和翻译的数十个网络的评估，这种方法几乎不会导致推理准确性的损失。

以下为NVIDIA使用PyTorch库 Automatic SParsity (ASP) [2] 实现的工作流获得的FP16精度结果示例：

更多信息可以参考 the Accelerating Sparse Deep Neural Networks whitepaper [3]

A100 Tensor Core GPU 包括新的 Sparse Tensor Core 指令，这些指令跳过对零值的计算，从而使 Tensor Core 计算吞吐量翻倍。图1展示了，Tensor Core在点积计算中是如何使用压缩元数据（即：非零值的索引）去匹配经过压缩后的网络权重。

通过引入稀疏 Tensor Core，A100使用TensorFloat-32的运行速度比V100 FP32 FMA快20倍。

---