一文揭秘：火山引擎云基础设施如何支撑大模型应用落地

2024年被普遍认为是“大模型落地应用元年”，而要让大模型真正落地应用到企业的生产环节中，推理能力至关重要。所谓“推理能力”，即大模型利用输入的新数据，一次性获得正确结论的过程。除模型本身的设计外，还需要强大的硬件作为基础。

在8月21日举办的2024火山引擎AI创新巡展上海站活动上，火山引擎云基础产品负责人罗浩发表演讲，介绍了火山引擎AI全栈云在算力升级、资源管理、性能和稳定性等方面做出的努力，尤其是分享了针对大模型推理问题的解决方案。

罗浩表示，在弹性方面，与传统的云原生任务相比，推理任务，以及面向AI native应用，由于其所对应的底层资源池更加复杂，因此面临的弹性问题也更加复杂。传统的在线任务弹性，主要存在于CPU、内存、存储等方面，而AI native应用的弹性问题，则涉及模型弹性、GPU弹性、缓存弹性，以及RAG、KV Cache等机制的弹性。

同时，由于底层支撑算力和包括数据库系统在内的存储都发生了相应的变化，也导致对应的观测体系和监控体系出现不同的变化，带来新的挑战。