首页 > 业界资讯 > 正文

消息称字节跳动正在训练10万亿参数超大模型

【太平洋科技快讯】据凤凰网科技报道,英国《金融时报》援引三位行业知情人士消息称,字节跳动正在推进一款超大规模大模型的预训练工作,参数规模上限可达 10 万亿,综合体量对标 Anthropic 旗下顶级 Mythos 系列模型,国内 AI 企业正在缩小与美国头部实验室的技术差距。

知情人士透露,该超大模型当前仅处于预训练初期,完整预训练周期预计 3 至 6 个月,流程走完后才会进入微调环节,能否正式对外发布、最终定型参数体量均存在不确定性。

10 万亿参数的预估规模,是国内现已推出的最大模型 —— 月之暗面 Kimi K3 的三倍以上。 行业测算数据显示,Anthropic 未对外披露旗下模型精确参数量,业内普遍判断其旗舰 Mythos 5 约 8 万亿参数、Fable 5 约 5 万亿参数。文章同时提及,参数量仅决定模型基础信息存储上限,实际推理、创作表现还受训练数据质量、训练框架、优化方案等多重条件制约,不能单一依靠参数评判模型实力。

字节启动 10 万亿级超大模型训练,直观体现国内 AI 厂商不再局限于追赶海外竞品,尝试在前沿通用大模型赛道实现技术赶超。

网友评论

热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·
为您推荐
  • 相关阅读
  • 业界资讯
  • 手机通讯
  • 电脑办公
  • 新奇数码
  • 软件游戏
  • 科学探索