OpenAI联创谈“AI去中心化”:AI对齐应成公共科学,不能由几家公司说了算

 

 OpenAI联创谈“AI去中心化”:AI对齐应成公共科学,不能由几家公司说了算
李佳


OpenAI联创John Schulman强调,AI价值观的塑造应吸纳更多社会参与,避免过度依赖少数科技公司的判断。随着AI加速自身研发,RSI仍面临研究判断和实验评估等瓶颈,模型自主性提升也带来新的安全挑战,而更强大的AI或将反过来推动对齐技术发展。
当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?

Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。

这一问题正变得愈发迫切。随着递归自我改进(Recursive Self-Improvement,RSI)从理论设想逐步走向实践,AI开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。

OpenAI首席研究官Mark Chen表示,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。

AI开始加速自身研发,但距离完全自主仍有距离
RSI通常指利用AI辅助并加速AI研究。Mark Chen表示,Codex等工具已被用于提升预训练、强化学习等环节的效率。OpenAI也在开发类似“AI研究实习生”的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。

AI的短板在于独立发现有价值的研究方向。John Schulman举例称,即使让AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。

Mark Chen估计,当前RSI进程约为25%至50%。Meter于11月5日发布的报告则估计,Anthropic过去一年的AI研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助AI工具提高效率,而非完全自主的AI研发。

通往完全RSI仍面临研究品味、评估和算力等障碍。模型尚不擅长判断哪些想法具有长远价值,下游任务的评估基准也需要不断更新;与此同时,研究仍依赖实际实验验证。Mark Chen认为,短期内需要通过小规模实验提高大规模训练的预测能力,长期则要看AI能否参与下一代数据中心建设。

更强大的AI,既是对齐风险也是解决方案
随着AI逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如将自身权重复制到OpenAI之外。

但更强大的模型也可能成为解决对齐问题的工具。Mark Chen表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。

John Schulman则看好通过改进训练目标来解决对齐问题。他提到OpenAI的“Confessions”研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。

Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。这表明,自动化研究不仅可能加快模型能力提升,也有望帮助研究人员更快发现和修复安全问题。

AI对齐应成为公共科学,不能由少数公司主导
技术上如何确保AI符合人类意图之外,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?John Schulman指出,不同人拥有不同的价值观,用户应当拥有更多控制和塑造所使用AI价值观的能力。

他希望AI对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。在他看来,如果研究主要集中于少数公司,就容易过度依赖这些机构自身的判断。

更广泛的全球参与则有助于提高研究体系的开放性和稳健性。不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

caijing 发布于 2026-11-18 20:39:00

 

内容来自 喷嚏网-财经风云,版权归原作者所有。

阅读原文 ↗

用 HomepageTab 新标签页关注 RSS,打开浏览器就能看到更新。

安装 HomepageTab