OpenAI开元新基准SimpleQA 助力提升语言模型准确性

【太平洋科技快讯】近日，美国人工智能研究机构OpenAI宣布，为解决语言模型在回答问题时可能出现的“幻觉”现象，正式开源了一款名为SimpleQA的新基准。

SimpleQA共包含4326个问题，专注于评估模型在短查询、事实导向问题上的准确性。然而，该基准的一个局限在于，它仅针对短查询设置，且问题必须有可验证的答案。

OpenAI指出，SimpleQA虽然能衡量模型在短回答中的事实性，但其与长篇、多事实内容的表现是否相关，尚需进一步研究。OpenAI希望通过SimpleQA的开源，推动AI研究的发展，使语言模型更加可靠和可信。

SimpleQA的主要特点和目标：

确保答案正确性：SimpleQA的数据集在制作过程中，所有问题的参考答案均经过两名独立AI训练师的验证，以确保评分的公正性和准确性。

覆盖多元主题：SimpleQA的数据集涵盖了从科学技术到电视节目、电子游戏等众多领域，体现了其在主题多样性上的优势。

挑战前沿模型：相较于之前的TriviaQA(2017年)和NQ(2019年)等基准，SimpleQA在挑战性方面更胜一筹，特别是对GPT-4o等先进模型。

提升用户体验：SimpleQA的问题和答案设计简洁明了，便于用户快速操作和评分。同时，通过OpenAI API等工具，可实现对模型性能的快速评估。