中国电信天翼云完成首个国产GPU万卡训练！4000亿参数大模型

快科技9月20日消息， 中国电信宣布，天翼云自研的国内首个单集群万卡国产化全功能预训练云服务平台，已经正式发布上线，基于华为昇腾芯片，并完成了万卡规模Llama3.1-405B大模型训练。

Llama3.1-405B作为4000亿参数规模的大模型，在息壤训推服务平台的支持下，经过多轮优化，MFU(算力利用率)达到国内领先水平。

另外，700亿参数大模型Llama2-70B在万卡规模下完成训练，MFU也处于业界领先水平。

据悉，天翼云的这套平台 具备万卡纳管和并行训练能力 ，基于HPFS PB级并行文件系统、CTCCL RDMA高速卡间互联技术、Gang策略与拓扑感知的智算容器调度，以及慧聚自研分布式训练框架TeleFormers和平台，实现万卡资源纳管、万卡规模并行训练。