技术创新加速AIGC应用落地 英特尔至强释放“芯”力量

近日，英特尔与星环科技在2023中国国际进口博览会上，联合发布了AIGC向量数据库解决方案，旨在支持多样化机器学习模型生成的海量向量数据，满足企业针对海量向量数据的高实时性查询、检索、召回等需求，为人工智能时代多元化应用场景提供有力支持，为企业业务加速发展提供助力。

随着大语言模型的发展，生成式AI开始逐渐应用于千行百业，企业对大语言模型解决方案的时效性、准确度等方面的要求逐渐提高。而当整个大模型的参数在百亿级别的时候，它具备了初步的自然语言理解能力。但如果希望大模型能够去做一些文本输出、编码输出，它的整个参数量级至少要到300-500亿，但是即使到达这样的量级，其准确率也只有50%左右。如果希望整个大模型具备比较好的准确度，它的良好推理能力、计算能力，具备比较好的逻辑思维能力的话，整个大模型的参数量要到5千亿的量级。

除此之外，当将大模型应用于垂直、专业领域的时候，其缺乏专业的大模型的行业数据、提供的信息具备不确定性等问题均亟待解决。因此，当采用文本嵌入的方式，把最新的信息、行业的信息，全部向量化之后存到数据库里面，则不仅能够为缓解大模型压力，还可以提供更具时效性的信息。基于此，星环科技推出基于第四代英特尔至强可扩展处理器的Transwarp Hippo分布式向量数据库解决方案。得益于第四代英特尔?至强?可扩展处理器的高内存带宽优势和多核性能优势，该数据库解决方案的灵活性得到显著增强；而VNNI指令集也进一步提升了向量计算的性能。从测试结果可以看到，Transwarp Hippo分布式向量数据库解决方案整体性能得到了20%-30%左右的提升。

凭借高可用、高性能、易拓展等特性，Transwarp Hippo在大模型场景中，可以极大地拓展大模型的应用边界，让大模型保持信息实时性，并能够动态调整，使大模型拥有“长期记忆”，解决“AI幻觉”的问题。