搭载 8 颗 NVIDIA L40S 的浪潮 NF5468 服务器大幅提升了 LLaMA 大模型的微调训练性能

浪潮信息宣布旗下 NF5468 系列 AI 服务器支持英伟达新推出的 L40S GPU, 可为人工智能大模型训练和推理、元宇宙及图形视频处理等应用提供强大算力。实际测试表明，搭载 8 颗 NVIDIA L40S 的浪潮信息 NF5468 服务器大幅提升了 LLaMA 大模型的微调训练性能。目前该产品已具备交付能力，客户可以进行下单采购。

本次浪潮信息推出的算力系统是兼具训练和推理能力的 NF5468 系列 AI 服务器，包括 NF5468M6、NF5468A5、NF5468M7、NF5468A7 等型号，产品可以在 4U 空间内搭载 2 颗高性能通用处理器、8 张 L40S GPU 加速器及多颗高速互联网络，从而满足大模型计算对高算力、高互联的性能需求。在软件上，产品支持浪潮信息新推出的 OGAI 大模型智算软件栈，为客户提供大模型生产力支撑。

针对业界广泛使用的 LLaMA 开源大型语言模型，浪潮信息 NF5468 服务器搭载 8 颗 L40S GPU 进行了大模型训练性能测试，得益于浪潮信息在 NF5468 服务器的设计和大模型算法上的经验，L40S GPU 的强大性能得以充分发挥，实际测试数据表明 LLaMA 大模型微调训练性能更好。