首页 > 热点播报 > 正文

清华团队开源大模型推理引擎“赤兔Chitu”:硬件成本削减50%

闂傚倸鍊峰ù鍥Υ閳ь剟鏌涚€n偅宕岄柡宀€鍠栭、娑樷堪閸愮偓姣夋俊鐐€戦崕鏌ュ垂閸ф钃熼柣鏃囥€€閸嬫挸鈽夊▍顓т簼閹便劑宕惰閺€鑺ャ亜閺冨倹娅曟繛鍙夋尦閺屸剝鎷呴崫銉愌囨煛娴h宕岄柡浣规崌閺佹捇鏁撻敓锟�闂傚倸鍊风粈渚€骞夐垾宕囧箵閻犳亽鍔岄崹婵囥亜閺嶎偄浠﹂柛瀣€块弻銊╂偄閸濆嫅锝夋煕鎼淬垹鐏撮柟顔筋殜閺佹劖鎯旈垾鑼嚬闂備礁鎼Λ顓熺椤忓牆钃熼柨鏇楀亾妞ゎ偅绮撳畷濂告偄婵傚绱�>>

快科技3月14日消息,据报道, 清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布,开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型,解决了FP8精度模型对英伟达Hopper架构(如H100/H200)的硬件依赖。

在A800集群的测试中, 赤兔引擎在GPU使用量减少50%的情况下,推理速度提升了3.15倍,显著降低了企业的硬件成本,同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构,使国产厂商无需重复开发软件,专注于硬件升级。目前,清程极智已与沐曦、燧原等厂商合作,推出“开箱即用”的推理一体机,广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示,当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步,将为行业提供更高效、更灵活的技术支持。

闂傚倸鍊峰ù鍥Υ閳ь剟鏌涚€n偅宕岄柡宀€鍠栭、娑樷堪閸愮偓姣夋俊鐐€戦崕濠氬箯閿燂拷 (0) +1 闂傚倷娴囧畷鍨叏瀹ュ拋鍚嬮柛鈩冾殢娴硷拷 (0) +1 闂傚倸鍊搁崐鎼併偑鐎涙ḿ顩查柣鎴f缁狀垶鏌ㄩ悤鍌涘 (0) +1

网友评论

热门IT产品
  1. ¥7599
    苹果iPhoneX 64GB
    ·
  2. ¥5799
    三星S9
    ·
  3. ¥4498
    vivo NEX旗舰版
    ·
  4. ¥4999
    OPPO Find X
    ·
  5. ¥1799
    努比亚Z18mini
    ·
  6. ¥1499
    OPPO A5
    ·
  7. ¥1999
    荣耀Play(4GB RAM)
    ·
  8. ¥1598
    vivo Y85
    ·
  9. ¥3499
    坚果R1(6GB RAM)
    ·
  10. ¥3599
    一加6(8GB RAM)
    ·
用户反馈 返回首页 相关阅读 参与讨论 回到顶部
以科技敬生活
下载太平洋科技APP