首页 > 热点播报 > 正文

杨植麟分享Kimi预训练核心策略:提升Token效率与实现长文本处理能力

在AGI-Next前沿峰会上,月之暗面Kimi创始人杨植麟揭示了Kimi预训练的两大核心策略:提升Token效率和实现长上下文处理。

杨植麟指出Transformer架构在长上下文场景中的优势,当上下文长度达到1000个token时,其性能表现会显著优于LSTM。这种架构优势在代理智能时代尤为重要,因为许多Agent任务需要处理极长的上下文来完成复杂指令。

他强调提升Token效率的本质在于优化搜索过程,通过更好的预训练和基础模型减少无效搜索空间。同时,杨植麟认为AI模型研究需要注重Taste(品位和审美),因为智能具有不可交换性,不同领域需要不同的智能特质。

网友评论

24小时内最火资讯
热门IT产品
  1. ¥4699
    HUAWEI Mate 80
    ·
  2. ¥5999
    HUAWEI Mate 80 Pro
    ·
  3. ¥9999
    苹果iPhone17 Pro Max
    ·
  4. ¥5999
    苹果iPhone17
    ·
  5. ¥2399
    一加 Ace 6T
    ·
  6. ¥3599
    荣耀500 Pro
    ·
  7. ¥2699
    荣耀WIN RT
    ·
  8. ¥5299
    OPPO Find X9 Pro
    ·
  9. ¥5299
    vivo X300 Pro
    ·
  10. ¥2999
    vivo S50
    ·