在AGI-Next前沿峰会上,月之暗面Kimi创始人杨植麟揭示了Kimi预训练的两大核心策略:提升Token效率和实现长上下文处理。
杨植麟指出Transformer架构在长上下文场景中的优势,当上下文长度达到1000个token时,其性能表现会显著优于LSTM。这种架构优势在代理智能时代尤为重要,因为许多Agent任务需要处理极长的上下文来完成复杂指令。
他强调提升Token效率的本质在于优化搜索过程,通过更好的预训练和基础模型减少无效搜索空间。同时,杨植麟认为AI模型研究需要注重Taste(品位和审美),因为智能具有不可交换性,不同领域需要不同的智能特质。

粤公网安备 44010602000162号
网友评论