Dianxin kexue (Jun 2024)
面向大模型预训练的智算网络技术研究
Abstract
随着人工智能的发展，大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果，促进了智算中心的建设。针对面向大模型预训练的智算网络关键技术展开研究，系统梳理了智算网络国内外最新的标准化进展，提出了一种面向智算网络的目标架构，探讨了智算网络关键技术的原理，包括远程直接内存访问（RDMA）、IB（InfiniBand）、基于以太网的RDMA（RoCE）、集合通信等，同时也分析了智算网络目前存在的问题以及未来的发展趋势，在推动智算网络技术发展、指导智算中心建设等方面具有重要意义。
Keywords
