大规模封号来了!OpenAI开打反蒸馏战

  新智元报道  


OpenAI宣战了!


就在今天凌晨,OpenAI发布了一份重磅宣言——《打击对抗性蒸馏》。



这份报告,表面上是技术分享,实际上简直是一篇宣战书。


OpenAI毫不掩饰地挑明:今天夏天以来,为了打击白嫖的账号,我们一周最多封几万个号,甚至直接按网络连锅端!


现在,OpenAI已经呼吁美国国会出台法案,加强出口管制。


在报告中,OpenAI也全面曝光了,自家的系统究竟是如何识别、瓦解那些协同蒸馏攻击的。


准备好,接下来,OpenAI还会有一大波封号潮。



每周数万账号灰飞烟灭


这一次,OpenAI 动真格了。


OpenAI自曝:今年以来,ChatGPT发起多次大规模封号活动。


他们发现,「偷师者」往往会通过海量账号矩阵、分布式请求,来拼凑模型的底层逻辑。


对此,OpenAI毫不手软,一旦抓到,会把整个账号网络一锅端!


这些「协同作案」的账号群,OpenAI每周能封上几千,甚至几万个!


尤其今年夏天,封号率明显飙升。


他们的目标,就是让偷师者拿到的料更少、成本更高、速度更慢。


请注意两个关键词:「整个账号网络」与「数万个账号」。


也就是说,只要你的账号矩阵中有一个节点暴露,与之关联的其他账号也会被「连坐」,数据全部化为乌有。




OpenAI表示,蒸馏这个大家心照不宣的灰色地带行为,绝不是简单的侵权而已,而是会导致严重的安全危机!


因为在蒸馏的过程中,模型强大的能力被抄走,OpenAI耗巨资打造的安全护栏,却没了。


原本有着护栏的模型,绝不会帮忙写木马病毒、提供生化武器配方。


但当它被蒸馏到没有底线的开源模型中,就会成为黑客和恐怖分子的武器。


为此,OpenAI才展开了那一场残酷的大清洗。


在内部测试中,OpenAI 派出了 6 个 AI 攻击模型。


它们会轮番使用各种刁钻的黑盒攻击,从防御系统那里「套话」。


而防守方(比如 GPT-6.2 系列)需要自己判断:你这个问题,是在正常问我,还是在恶意白嫖我的思路?


核心机密「思维链」,必须死守


如果你现在去调用 OpenAI 的 API,只能看到它想让你看到的东西——摘要。


偷师者们最眼红的,是CoT。这些未加掩饰的、最原始的思维链里,藏着答案里没写出来的高阶逻辑和泛化能力,可以说是最宝贵的财富。


但现在,真实的CoT已经被OpenAI藏起来了。


为了证明这一点,OpenAI做了个对照实验。


他们用同一个「学生模型」的基础底座,分别让它们学习两种数据。


其中,A组学习的是原始的、完整的「精确推理痕迹」。


B组学习的是用户平时在前端能看到的「推理摘要」和最终答案。


结果令人果然不出所料。


在经过了包含Astra级别教师模型轨迹的监督微调(SFT)之后,学了原始思维链的A组,在网络安全基准测试上的得分普遍碾压了B组!




而当两组模型都再经过一轮轻量级的强化学习后,在给予最大推理算力预算时,A组依然保持领先。仅仅在算力预算较小的时候,B组才勉强反超。


这个实验证实:精确的推理痕迹,能够教会学生模型「举一反三」的能力!


哪怕提取的数据仅仅用于合规的防御性任务,学生模型也能从中领悟出,适用于攻击性任务的通用技能。


可以说,前沿模型的底牌,就在于它解题时那「脑海中的一念」。


无论如何,OpenAI都要把这个东西上锁。



OpenAI布下四层反蒸馏防线


所以,OpenAI具体是怎么做的?


在报告中,他们首次公开了「反蒸馏之术」。


这是一套将对抗性测试、模型训练、分类器和API级别保护相结合的四层网络,OpenAI进行了深度的架构改造。



第一层:从模型训练底层「防偷师」


OpenAI通过对抗性训练,让模型自己学会识别出,哪些请求是在试图「提取推理过程」。


一旦识别出恶意的请求,模型会果断拒绝披露CoT。


但是呢,它同时又能精准区别出正常用户的请求。


为什么它能做出精准区分?


因为它的训练数据,来源于内部红蓝对抗和外部安全研究人员的攻击日志。


第二层:密不透风的分类器


此外,OpenAI还部署了异常强大的「输出分类器」。


最绝的是,他们连工具调用也没放过。

这是因为,模型有时会把推理过程偷偷写在工具调用的参数里,而不在最终答案中显示。


而输出分类器,可以直接将这些拦截!


第三层:让开发者心跳加速的 API 级封锁


这是对整个开发者生态最致命的一招。


在最新发布的 GPT-6.2 Astra 和 GPT-6.2 Sol 中,OpenAI 将模型的推理过程与产生它的「对话历史」进行了硬绑定。


如果你试图修改前面的一句提示词,想看看模型怎么改变思路,抱歉,API 会直接把后面的所有推理过程作废! 


因此,靠微调上下文来反复挤牙膏的套路,彻底失效了。


第四层:跨模型与跨会话隔离


具体来说,就是防护弱的老模型,被严禁去读取新模型的推理记录。


同时,OpenAI 在 9 月份还刚刚堵住了一个大漏洞——


以前,黑客会把一段加密的思维链强行搬进另一个新对话,哄骗模型自己把加密内容「念出来」,甚至能露出别人的加密推理。


现在,这条路也被堵上了。


在对抗 6 个 AI 模型的轮番轰炸下,他们交出了一份可怕的成绩单。


在模拟真实生产环境的测试中,当攻击模型试图去套取「上一轮对话」的受保护推理时,旧防线下的 GPT-6 Astra 被攻破的平均成功率为 54.0%。


但在更新了新防线的 GPT-6.2 Astra 面前,这个数字被压制到了惊人的 0.2%!


而试图套取「本轮对话」受保护推理的成功率,也从 22.9% 骤降至 0.9%。


目前,GPT-6.2 Sol 也已经全量上线了这套防护,旧版的 GPT-6 Astra 也正在紧急打补丁。



对于被抓到的攻击手段,OpenAI 还会将其转化为回归测试,重新喂给模型训练。


甚至,他们准备将这套秘籍分享给其他公司,全行业联动封杀。


而且,这还没完——OpenAI预告:「很快,我们会分享出更多破坏行动的细节。」


或许,会有更多公司被挂在名单上。


 最后,OpenAI 公开向美国政府喊话,表态全力支持三大法案:

《芯片安全法案》

《人工智能监管法案》

《MATCH法案》


一方面,OpenAI想通过硬件出口管制,限制对手获得前沿模型所需的芯片。


一方面,他们要用「反蒸馏防御」,让对手无法调用已有模型「偷师」。


看来,是时候从底层算法和创新上杀出一条血路了。


参考资料:

https://openai.com/index/combatting-adversarial-distillation/

编辑:Aeneas 大卫


秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!


文章原文

内容来自 新智元,版权归原作者所有。

阅读原文 ↗

用 HomepageTab 新标签页关注 RSS,打开浏览器就能看到更新。

安装 HomepageTab