阿里达摩院提出“知识链”框架 逐步纠错降低大模型幻觉

5月9日消息，阿里巴巴达摩院（湖畔实验室）、新加坡南洋理工大学等联合提出了大模型知识链（CoK）框架。相比传统的检索增强生成（RAG）技术，该框架可实时检索异构知识源并逐步纠正推理错误，进一步提高大模型问答知识型问题的准确率，降低幻觉现象。相关论文入选正在奥地利维也纳举行的国际表征学习大会（ICLR 2024）。

“执导了《El Tio Disparate》的阿根廷演员出生于哪一年？”面对此类需要多步推理的知识型问题，大模型可能会“胡言乱语”，给出看似符合逻辑，实则错误或并不存在的回答。这个问题被称作大模型“幻觉”，极大制约了大模型的应用场景。学界也在重点研究给大模型“外挂知识库”的RAG等技术路线。

在论文《Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources》中，达摩院领衔的联合研究团队提出了一种名为“知识链”（Chain-of-Knowledge, CoK）的新框架，包括推理准备、动态知识适应和答案整合三个步骤。对于知识密集型问题，知识链先确定知识领域，并准备若干中间推理步骤和相应答案。如若这些初步结论没有共识，知识链将实时检索相应知识领域内的不同知识源，逐步生成、纠正推理步骤，给出最终答案。

图说：“知识链”（CoK）框架包括（I）推理准备（II）动态知识适应和（III）答案整合