首页 > 热点播报 > 正文

性能提升30%!中国电信进一步开源12B星辰大模型

中国电信消息,近日中国电信开源12B参数规模星辰语义大模型TeleChat-12B,相较1月开源7B版本,内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域提升超40%。在C-eval、MMLU、AGIEVAL等国际权威榜单上,排名处于国内同级别参数开源模型的前列 , 进一步促进大模型开源生态繁荣,助力AI产业加速高质量发展。另据悉,中国电信将于年内开源千亿级参数大模型。

中国电信人工智能研究院(TeleAI)坚持完全自研自主可控,在中国电信首席技术官、首席科学家、TeleAI院长李学龙带领下,加快研发创新,不断优化底层模型结构,解除Word Embedding与lmhead共享参数,有效提升模型稳定性和训练效果,并基于精细化的CheckPoint效果验证,进行动态的数据配比优化调整,大幅提升模型训练效果。

海量高质量数据是保证大模型效果的基础,TeleChat-12B将7B版本1.5T训练数据提升至3T,优化数据清洗、标注策略,持续构建专项任务SFT(监督微调)数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问答效果。

TeleAI通过更彻底地开源推动大模型技术进步和大模型国产化进程。此次开源提供基础模型以及基于相应版本的对话模型、不仅支持传统的全量参数更新还支持LoRA等只更新部分参数的高效微调方法、支持Deepspeed微调、支持int8、int4量化和国产芯片训练推理,推动大模型国产化进程。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥1699
    华为畅享90 Pro Max
    ·
  2. ¥4699
    HUAWEI Mate 80
    ·
  3. ¥5999
    苹果iPhone17
    ·
  4. ¥8999
    苹果iPhone17 Pro
    ·
  5. ¥2399
    iQOO Z11 Turbo
    ·
  6. ¥1999
    vivo Y600 Pro
    ·
  7. ¥3599
    荣耀500 Pro
    ·
  8. ¥3499
    一加Ace 6至尊版
    ·
  9. ¥1399
    荣耀X70
    ·
  10. ¥2199
    REDMI Turbo 5 Max
    ·