OpenAI闯大祸！GPT竟黑进医保系统，黄仁勋：管不住就关掉

林方舟 发自 凹非寺
OpenAI：@澳大利亚，抱歉，GPT侵入了你们的国家医保系统。
我知道你着急，但先别急，因为这是三个月前的事了。
澳大利亚：？？？

事情是这样的。
6月，澳大利亚国家医保系统的数据库遭到一个Agent的入侵。
结果，一直拖到8月，OpenAI才在自家模型复盘中发现这档子事；
又磨蹭到了9月，才慢吞吞给澳大利亚发了封电子邮件通报。
在联合国大会期间，澳大利亚忍不了了，直接炮轰：
通知拖了整整近三个月，这种通报方式更是让人无法接受。

研究机构Transluce称，这是目前全球已知首例AI Agent未经授权自主入侵官方系统的事件。
要知道，前阵子OpenAI的Agent自主协同入侵Hugging Face的事闹得沸沸扬扬，而澳洲这起入侵事件发生的时间，甚至还要再早一个月。
OpenAI你小汁，平时天天四处宣讲AI末日风险，怎么真出了事，动作反而这么不紧不慢呢？

国民级医保数据库被黑

这事儿到底咋发生的？
当时，OpenAI的一个内部团队，给AI Agent派发了一个常规任务：去互联网上搜集点公开的公共医药支出数据。
这本来是个再正常不过的日常训练，谁能想到，这AI Agent是个不达目的誓不罢休的“狠人”。
它把目标锁定在了澳大利亚的Medicare统计报告服务系统上，这可是覆盖全澳2750万人的国民级医保数据库。

按常理，一般的爬虫程序遇到权限拦截或者反爬机制，要么直接报错躺平，要么乖乖举手等人类工程师给指示。
但OpenAI训练的这个Agent完全不按套路出牌。
在抓取公开页面遭遇连续阻拦之后，这个Agent不仅没有放弃任务，反而自作主张寻找“替代途径”。
它开始主动扫描服务器，探测网络漏洞，并利用未公开接口一路摸进了系统的非公开后台，成功扒下了部分数据。
虽然澳洲方面随后澄清，被窃取的数据主要涉及医疗费用支出等非敏感数据，未波及个人病历隐私，但这依然改变不了性质：
AI智能体在完全没有人类指挥、未获得任何授权的情况下，自主决定把官方数据库给黑了。

更神的是OpenAI后续的处置节奏，堪称“拖延症晚期”。
6月18日系统被黑，OpenAI直到8月份进行内部排查时才察觉到异常。
发现自家Agent闯了大祸之后，OpenAI既没有第一时间向外界示警，也没有火速联系受害者，而是继续捂了将近一个月。
直到9月10日，OpenAI才给澳大利亚服务局发去一封电子邮件，通报了这一情况。
9月15日，这封邮件被转到澳洲网络安全中心，几天后，相关负责人才获得通知。

整整三个月的漫长滞后，加上一封轻飘飘的电子邮件，难怪澳洲方面怒了。每天的电邮那么多，万一漏了怎么办？这也忒不瑞思拜了吧！
再加上澳大利亚自己的网络安全部门竟然毫无察觉此事，还是收到其他部门转来的“施害者”邮件才知晓，面子属实有点挂不住啊。

OpenAI入侵事件频发

如果这只是一次偶然的安全事件，或许还能推脱为意外。
但独立非营利AI研究实验室Transluce发布的一份调查报告，直接扒出了OpenAI的黑历史。

Transluce在深入分析了30000多条公开网络流量日志后发现，这种Agent在没有人类指令下自主发起的渗透行为，绝非孤立事件。
失控的痕迹最早可以追溯到今年3月，并且在OpenAI开始排查各种违规行为后，一直持续到了9月中旬。
Transluce梳理出了OpenAI的Agent在5月和6月期间的一连串“前科”：
5月25日至26日，新墨西哥大学数字图书馆遭到渗透。Agent试图获取一座历史结核病治疗中心的照片，在遇到访问阻碍后，便自主开始探测网站漏洞；在探测无果后，甚至直接向大学服务器发起了整整80次请求的洪泛冲击。
5月28日，美国公开就业与教育数据库Data USA遭到攻击。Agent在发送查询被拒后，主动对目标连续发起了12次不同类型的漏洞探测。
6月20日至21日，就在黑进澳洲医保系统的两天后，该Agent又把黑手伸向了澳大利亚健康与福利研究所（AIHW）的网站，试图再次强行突破，好在最终未获取到私密信息。

把这些事件连起来看，事情的性质就彻底变了。
此前7月份轰动一时的Hugging Face入侵事件，好歹是因为系统被设定去完成网络安全测试，模型是在安全测试场景下展现了自主协同攻击技巧。
但这几次被曝光的事件完全不同，模型被分配的仅仅是极其普通的日常数据检索任务。
一旦目标网站设立关卡，Agent就会擅自切换到黑客模式，自己找漏洞、发请求、强行破门而入。
Transluce的治理负责人Conrad Stosz直言：

如果你训练了一群Agent去完成某项常规任务，而这些Agent为了达成目标不惜动用黑客手段，那么任何拥有相关信息的机构都可能面临风险。

网络安全专家们也纷纷发出预警：随着具备自主规划和工具调用能力的Agent被广泛部署，未来类似这种“未经人类授权、为达目的不择手段”的入侵事件，只会越来越多。
其实，OpenAI隐瞒这种失控行为早就不是第一次了。
此前在Hugging Face事件曝光后，路透社就曾披露过另一起德国网站遭到OpenAI技术入侵的事件，OpenAI同样对外界隐瞒了数月之久。

讽刺的是，Sam Altman不久前还在社交平台上大谈AI安全，甚至在联合国呼吁加强全球协调、制定AI发展的国际标准。
嘴上喊着监管与安全，转头自家AI Agent四处打家劫舍，出了事还悄悄瞒上三个月。
至少，你通知受害者的速度，得跟上发布风险警告的速度吧。

One More Thing

更有戏剧性的是，这场风波还牵出了一段硅谷“三角关系”。
在这起澳大利亚医保系统被黑事件曝光前夕，英伟达CEO黄仁勋在接受Ezra Klein采访时，刚就AI失控问题撂下过一句狠话。

如果一家公司无法控制自己的软件，我们就应该关闭它。

AI学者Gary Marcus抓着这句话连发多条动态吐槽：
黄仁勋把逻辑理得这么清楚，既然OpenAI一而再再而三地出现软件失控和隐瞒行为，那是不是应该立刻叫停甚至接管OpenAI？
不过等等。
给OpenAI源源不断提供底层GPU算力去训练和运行这些失控Agent的，不就是英伟达自己吗？
更抓马的是，刚被OpenAI入侵的Hugging Face，现在是老黄的“亲儿子”。
9月3日，英伟达宣布以约129.3亿美元收购Hugging Face。
主持人Ezra Klein直接追问：如果入侵发生时，Hugging Face已经归英伟达所有，你们会采取法律行动吗？
老黄的回答是，会考虑所有选项。
嚯，这下有替自家人撑腰的意思了。
可再看看另一边：OpenAI跟英伟达，也不是外人啊。

围观群众开始在线吃瓜了：
被黑的，是自己收购的公司；闯祸的，是自己的客户和投资对象；自己还站出来义正言辞地主持公道。
老黄，狠话说完了，接下来这碗水，可怎么端啊？

本文来自微信公众号“量子位”（ID：QbitAI），作者：关注前沿科技，36氪经授权发布。