生成式AI使用自生成内容训练将引发模型崩溃 长期发展需持续补充人工内容

【太平洋科技快讯】近日，牛津大学的伊利亚·舒梅洛夫博士团队在《自然》杂志发表了一项关于生成式AI软件的研究成果。该研究揭示了AI在仅依赖自身生成内容进行训练时，其性能和回答质量的显著下降。

研究显示，在连续进行查询时，AI生成的答案从第三次开始逐渐失准，到第五次查询时，答案质量明显下降。到了第九次查询，AI的回答已完全退化成无意义的胡言乱语，这种现象被研究人员称为“模型崩溃”。

为验证这一现象，研究人员采用了一个预训练的AI驱动模型。通过让AI模型基于自身生成的内容进行更新，发现受污染数据导致训练集被侵蚀，输出信息难以理解。例如，一个关于14世纪英国教堂尖顶的条目，在第九次查询后变成了关于短尾兔子的论文。

研究指出，要实现AI的长期可持续发展，关键在于确保AI能够访问非AI生成的内容，并持续引入新的人工生成内容。这项研究对当前AI发展具有重要意义，特别是在大量使用生成式AI工具的背景下,防止“模型崩溃”对于保障AI技术的稳定性和可靠性至关重要。