万卡训练史上最大参数模型！百度文心大模型4.0最快下周见

快科技10月9日消息，日前有媒体报道称， 百度正加紧训练文心大模型4.0，已经接近可发布状态，这将是文心大模型3.5版本后，又一个重磅版本。

消息称，文心大模型4.0进展比预期快很多，将是基础模型的大升级，理解、生成、逻辑、记忆核心能力都将提升，特别是在逻辑推理、代码和数学等方面提升最明显。

根据我们获得的最新消息， 上述消息基本属实。目前了解到，文心大模型4.0实际上已经在小流量测试。

根据我们拿到的消息， 文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM，也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。