字节跳动Seed近日通过内部邮件宣布,成立“Seed Model-Alignment&Preparedness”部门,由严林负责,直接向Seed负责人吴永辉汇报。原Responsible AI团队及部分Chat团队成员将转入该新部门。
据悉,该部门的核心任务是加强安全与对齐方面的投入。对齐旨在让模型行为与人类意图及安全约束保持一致,从而提升智能体模型的安全能力,并防范化学、生物、放射、核(CBRN)等前沿技术风险。
随着大模型安全风险日益凸显,智能体逃逸等网络攻击事件频发。此前,国内多数大模型研究团队将安全与对齐工作纳入公司整体安全合规体系,而字节跳动Seed是国内首家单独设立这一部门的前沿AI实验室。
Seed团队内部认为,随着模型能力增强和应用场景复杂化,安全与对齐已不仅是风险防范,更是决定模型能否规模化应用的核心能力。未来,该部门将围绕模型规范制定、安全评估体系、对齐训练、防护系统及风险监控持续投入,并加强与外部研究机构和第三方评测合作,确保模型在安全约束下有效运作,并建立应对未知风险的全面安全体系。


粤公网安备 44010602000162号
网友评论