OpenAI成立新防备团队监控技术潜在威胁 将评估AI模型风险并限制发布

【太平洋科技资讯】据报道，OpenAI公司日前宣布成立新的“防备”团队，旨在监控旗下技术可能带来的潜在威胁，防止其落入坏人之手，甚至被用于制造化学和生物武器。该团队由麻省理工学院人工智能教授亚历山大·马德里领导，将招募人工智能研究人员、计算机科学家、国家安全专家和政策专家等，对OpenAI开发的技术进行持续监测和测试。

OpenAI发布了名为“防备框架”的指导方针，强调这套指南仍处于测试阶段。据悉，防备团队将反复评估OpenAI最先进、尚未发布的AI模型，根据不同类型的感知风险评为四个等级，从低到高依次是“低”、“中”、“高”和“严重”。根据新的指导方针，OpenAI将只推出评级为“低”和“中”的模型。

OpenAI的“防备”团队旨在介于现有的安全系统和超级对齐团队之间，既关注消除AI系统中的种族偏见等现有问题，也研究如何确保AI在超越人类智能的未来场景中不会伤害人类。

近期，ChatGPT的火爆以及生成式AI技术的快速发展引发了科技界关于该技术潜在危险性的激烈讨论。OpenAI、谷歌和微软的知名AI专家警告称，该技术可能对人类构成与流行病或核武器相当的生存威胁。然而，一些AI研究人员认为，过度关注这些遥远的巨大风险，忽视了AI技术目前已经造成的潜在危害。一些AI商业领袖认为，关于风险的担忧被夸大了，公司应该继续推进技术发展。

尽管领导层经历了动荡，但OpenAI的“防备”团队仍将招募来自国家安全等领域的专家，帮助公司了解如何应对重大风险。该团队已经开始与美国核安全局等机构进行接触，确保公司能够适当地研究AI的风险。

马德里表示，团队的重点是监控OpenAI的技术何时以及如何引导人们进行计算机入侵或制造危险的化学、生物和核武器。该团队将招募来自国家安全等领域的专家，深入思考如何突破规则并成为机智的反派。

OpenAI表示，公司还将允许来自OpenAI之外的“合格的独立第三方”测试其技术。马德里认为，将发展和抑制截然分开是一种非常简单的划分方式。虽然AI拥有巨大的潜力，但我们需要努力确保这些潜力得以实现，并最大程度避免负面影响。