暂停GPT-5研发呼吁引激战！吴恩达、LeCun带头反对，Bengio站队支持

---

  新智元报道  

编辑：编辑部

【新智元导读】千人签名的AI不扩散条约发布一天后，各路大佬纷纷有了后续回应，言谈间耐人寻味。「AI吹哨人」：不封杀超强AI研发，我们都得死！

昨天，千位大佬写的暂停超强AI训练六个月的联名信，如同一枚炸弹一般，在国内外的互联网上炸响。

经过了一天的唇枪舌剑，几位关键人物以及其他各路大牛，都纷纷出来公开回应。

有的非常官方，有的十分个性，也有人并没有直面问题。但有一点可以肯定，不论这些大佬自己的观点，还是背后所代表的利益集团，都值得细品。

有趣的是，在图灵三巨头中，一位带头签名，一位强烈反对，还有一位不发一言。

Bengio签名、Hinton沉默、LeCun反对

吴恩达（反对派）

此次事件中，前谷歌大脑成员、在线教育平台Coursera创始人吴恩达是旗帜鲜明的反对派。

他明确亮出了自己的态度：把「让AI取得超越GPT-4的进展」暂停6个月，这个想法很糟糕。

他表示，自己已经在教育、医疗保健、食品等领域看到了许多新的AI应用，许多人将因此受益。而改进GPT-4也会有好处。

我们该做的，应该是在AI创造的巨大价值与现实风险之间，取得一个平衡。

对于联名信中提到的「如果不能迅速暂停对超强AI的训练，就应该让政府介入」，吴恩达也表示这种想法很糟糕。

他表示，让政府暂停他们不了解的新兴技术是反竞争的，这树立了一个糟糕的先例，是一个很可怕的政策创新。

他承认，负责任的AI很重要，AI也的确有风险。

但媒体渲染的「AI公司正在疯狂发布危险的代码」，显然是太夸张了。绝大多数AI团队，都非常重视负责任的AI和安全。不过他也承认，「遗憾的是，不是全部」。

最后他再次强调：

6个月的暂停期，不是一个切实可行的建议。为了提高人工智能的安全性，围绕透明度和审计的法规将更加实用，并产生更大的影响。在我们推进技术的同时，让我们也更多地投资于安全，而不是扼杀进步。

而他的推特下面，已经网友表示强烈反对：大佬之所以云淡风轻，大概是因为失业的痛苦不会落到他们头上。

LeCun（反对派）

联名信一发出，就有网友奔走相告：图灵奖巨头Bengio和LeCun都在信上签了名！

而时时冲浪在网络第一线的LeCun，立马辟谣：没，我没签，我不同意这封信的前提。

有网友表示，我也不同意这封信，但我很好奇：你不同意这封信的原因，是觉得LLM不够先进，根本威胁不到人类吗，还是其他原因？

但LeCun对于这些问题，都没有回答。

在谜一般地沉默了20小时后，LeCun忽然转发了一位网友的推文：

「OpenAI足足等了6个月，才发布了GPT4！他们甚至为此还写了一份白皮书....」

对此，LeCun大赞道：说得对，所谓「暂停研发」，不过就是「秘密研发」罢了，这与一些签名者所希望的恰恰完全相反。

看来，什么都瞒不过LeCun的慧眼啊。

之前提问的网友也表示同意：这就是我什么反对这个请愿书的原因——没有哪个「坏人」会真正停止。

「所以这就像一项没有人遵守的武器条约？历史上这样的例子不多吗？」

过一会，他又转发了一位大佬的推特。

这位大佬说，「我也没签。这封信充斥着一堆可怕的修辞和无效/不存在的政策处方。」 LeCun说，「我同意」。

 Bengio和Marcus（赞成派）

公开信署名的第一位大佬，便是赫赫有名的图灵奖得主Yoshua Bengio。

当然了，纽约大学教授马库斯也投了赞成票。他似乎是最早曝光这次公开信的人。

而讨论声逐渐喧嚣之后，他也火速发了一篇博客解释自己的立场，依然充满亮点。

突发新闻：我之前提到的那封信现在公开了。这封信呼吁暂停「比GPT-4更强大」的AI的训练6个月。许多知名人士签了名。我也加入了。

我没有参与起草它，因为还有一些别的事需要大惊小怪（例如，比GPT-4更强大的AI，究竟是指哪些AI？既然GPT-4的架构或训练集的细节还没公布，那我们从何得知呢？)——但这封信的精神是我所支持的：在我们能更好地处理风险和收益之前，我们应该谨慎行事。

看看接下来会发生什么，将会非常有趣。

而刚刚马库斯表示百分之百赞同的另一个观点，也非常有趣，这一观点称：

GPT-5不会是AGI。几乎可以肯定，没有GPT模型会是AGI。我们今天使用的方法（梯度下降）优化的任何模型完全不可能成为AGI。即将问世的GPT模型肯定会改变世界，但过度炒作是疯狂的。

Altman（不置可否）

截至目前，对于这封公开信，Sam Altman并未作出明确表态。

不过呢，他倒是发表了一些关于通用人工智能的观点。

构成好的通用人工智能的要素：

1.对齐超级智能的技术能力

2.大多数领先的AGI工作之间的充分协调

3. 一个有效的全球监管框架

有网友质疑：「与什么对齐？和谁对齐？与某些人对齐，就意味着与另外一些人不对齐。」

这个评论亮了：「那你倒是让它Open啊。」

而OpenAI的另一位创始人Greg Brockman转发了Altman的推文，再次强调OpenAI的使命「是确保AGI惠及全人类。」

再次有网友指出华点：你们这些大佬整天说「与设计者的意图对齐」，但除此之外谁都不知道究竟对齐是指什么。

Yudkowsky（激进派）

还有一位名叫Eliezer Yudkowsky的决策理论家，态度更为激进：

暂停AI开发是不够的，我们需要把AI全部关闭！全部关闭！

如果继续下去，我们每个人都会死。

公开信一发布，Yudkowsky立马写了一篇长文发表于TIME杂志上。

他表示，自己没有签字，原因是在他看来，这封信太温和了。

这封信低估了事态的严重性，要求解决的问题太少了。

他说，关键问题并不在于「与人类竞争」的智能，很显然，当AI变得比人更聪明，这一步是显然的。

关键在于，包括他在内的许多研究人员都认为，构建一个拥有超人智慧的AI最有可能导致的后果就是，地球上的每个人都会死去。

不是「或许可能」，而是「必然会」。

如果没有足够的精确度，最有可能的结果就是，我们造出的AI不会做我们想做的事，也不会关心我们，也不会关心其他有知觉的生命。

理论上，我们应该可以教会AI学会这种关怀，但现在我们并不知道该怎么做。

如果没有这种关怀，我们得到的结果就是： AI不爱你，也不恨你，你只是一堆原子组成的材料，它可以拿来做任何事。

而如果人类想要反抗超人AI，必然会失败，就好比「11世纪试图打败21世纪」，「南方古猿试图打败智人」。

Yudkowsky表示，我们想象中会做坏事的AI，就是一个住在互联网上、每天给人类发送恶意邮件的思想家，但实际上，它可能是一个充满敌意的超人AI，一个思考速度数百万倍于人类的外星文明，在它看来，人类很愚蠢，很缓慢。

当这个AI足够智能后，它不会只待在计算机中。它可以把DNA序列通过邮件发给实验室，实验室将按需生产蛋白质，然后AI就拥有了生命形式。随后，地球上的所有生物都会死亡。

这种情况下，人类该如何生存？目前我们毫无计划。

OpenAI只是公开呼吁，未来的AI需要对齐。而另一个领先的AI实验室DeepMind，根本没有任何计划。

来自OpenAI官方博客

不管AI有没有意识，这些危险都存在。它强大的认知系统可以努力优化，并计算满足复杂结果的标准输出。

的确，当前的AI可能只是从训练数据中模仿了自我意识。但我们实际上对这些系统的内部结构知之甚少。

如果我们依然对GPT-4无知，并且GPT-5进化出了惊人的能力， 就像从GPT-3到GPT-4一样，那我们很难知道，究竟是人类创造了GPT-5，还是AI自己。

在2月7号，微软CEO纳德拉还幸灾乐祸地公开表示，新必应逼得谷歌只能「出来跳一段舞」了。

他的行为很不理智。

早在30年前，我们就该思考这个问题了，6个月并不足以弥合差距。

从AI的概念提出到今天，已经有60多年了。我们应该至少用30年来保证超人AI「不会杀死任何一个人」。

我们根本无法从错误中吸取教训，因为一旦错了，你就已经死了。

如果暂停6个月，就能让地球存活下来，我会赞同，但并不会。

我们要做的事情，是这些：

1. 新的大语言模型的训练不仅要无限期暂停，还要在全球范围内实施。

而且不能有任何例外，包括政府或军队。

2. 关闭所有大型GPU集群，这些都是训练最强大AI的大型计算设施。

暂停所有正在训练大型AI的模型，为所有人在训练AI系统时使用的算力设置上限，并在未来几年逐渐降低这个上限，以补偿更高效的训练算法。

政府和军队也不例外，立即制定多国协议，以防止被禁行为转移到其他地方。

追踪所有售出的GPU，如果有情报显示协议之外的国家正在建设GPU集群，应该通过空袭摧毁这家违规的数据中心。

比起国家间的武装冲突，更应该担心的是暂停被违反。不要把任何事情都看作是国家利益之间的冲突，要清楚任何谈论军备竞赛的人都是傻子。

在这方面，我们所有人要么共存，要么共亡，这不是政策，而是一项自然事实。

投票

<span/><span/></span></p><section style="margin-right: 8px;margin-left: 8px;white-space: normal;line-height: 1.75em;"><span style="font-size: 15px;letter-spacing: 1px;">由于签名太过火爆，团队决定暂停先暂停显示，以便让审核可以跟上。（名单顶部的签名都是直接经过验证的）</span></section><section style="margin-right: 8px;margin-left: 8px;white-space: normal;line-height: 1.75em;"><img class="rich_pages wxw-img" data-height="462" data-ratio="0.30833333333333335" data-src="https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb2yl4jEUdbfnRxyEG4ChGnNWeya856FyKpKmDYf8V7qDSouaSicLXrGBuuOVSYJy6ET2icHeKFHVrFw/640?wx_fmt=png" data-type="png" data-w="1080" data-width="1500"/></section><section arial="" border-box="" break-word="" gb="" helvetica="" left="" neue="" rgb="" sans="" sans-serif="" sc="" style="max-width: 100%;min-height: 1em;white-space: normal;font-family: -apple-system-font, system-ui, " ui="" yahei=""><span style="font-size: 14px;color: rgb(136, 136, 136);letter-spacing: 1px;">参考资料：</span></section><section style="text-align: left;margin-bottom: 0px;line-height: 1.75em;margin-left: 8px;margin-right: 8px;"><span style="letter-spacing: 0.5px;color: rgb(136, 136, 136);font-size: 14px;">https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/</span></section><section style="text-align: left;margin-bottom: 0px;line-height: 1.75em;margin-left: 8px;margin-right: 8px;"><span style="letter-spacing: 0.5px;color: rgb(136, 136, 136);font-size: 14px;">https://twitter.com/AndrewYNg/status/1641121451611947009</span></section><section style="text-align: left;margin-bottom: 0px;line-height: 1.75em;margin-left: 8px;margin-right: 8px;"><span style="letter-spacing: 0.5px;color: rgb(136, 136, 136);font-size: 14px;">https://garymarcus.substack.com/p/a-temporary-pause-on-training-extra</span></section><p style="margin-bottom: 0px;"><br/></p><section class="channels_iframe_wrp"><mpvideosnap class="js_uneditable custom_select_card channels_iframe videosnap_video_iframe" data-authiconurl="https://dldir1v6.qq.com/weixin/checkresupdate/icons_filled_channels_authentication_enterprise_a2658032368245639e666fb11533a600.png" data-desc="AI is Evolving Faster Than You Think！是的，AI战斗打响了！#AI#Chatgpt#Midjourney#谷歌#微软@微信时刻 " data-headimgurl="http://wx.qlogo.cn/finderhead/WD4FduqfeKLRMoK6GzlsbEkohnGL5QtQ3SZdNtICDUyIR6UZtp4Rfg/0" data-height="960" data-id="export/UzFfAgtgekIEAQAAAAAA_lwyfYFvJwAAAAstQy6ubaLX4KHWvLEZgBPExoNQdWBffq6AzNPgMIugGeNAWhLwdVwin4oxlP2D" data-nickname="新智元" data-nonceid="16693176658952795313" data-pluginname="videosnap" data-type="video" data-url="https://findermp.video.qq.com/251/20304/stodownload?encfilekey=S7s6ianIic0ia4PicKJSfB8EjyjpQibPUAXolRAzxP4iaBx044icZvqNSorCb2a8ZwMgiaiaPxKKS9uV5Rm56tc9UjLt9JzEEDzGxJAyUWmDS6icabYHd1Om2B9xTdww&amp;adaptivelytrans=0&amp;bizid=1023&amp;dotrans=0&amp;hy=SH&amp;idx=1&amp;m=&amp;scene=0&amp;token=x5Y29zUxcibCgfibicHNFc7BPwzBEGGaO4sHDsLkgmu9OUd9M4gEU4g5KyvfqF0nyos1nQqrLp16r0" data-username="v2_060000231003b20faec8c6e18c10caddcb06ef31b07740ecc47e62f5c44d5846416ba6890bd7@finder" data-width="1920"/></section><section arial="" border-box="" break-word="" center="" gb="" helvetica="" neue="" normal="" rgb="" sans="" sans-serif="" sc="" style="margin-right: 8px;margin-bottom: 0px;margin-left: 8px;outline: 0px;max-width: 100%;color: rgb(34, 34, 34);font-family: system-ui, -apple-system, BlinkMacSystemFont, " ui="" yahei=""><img class="rich_pages wxw-img" data-backh="432" data-backw="578" data-galleryid="" data-ratio="0.7472222222222222" data-s="300,640" data-src="https://mmbiz.qpic.cn/mmbiz_jpg/UicQ7HgWiaUb1lKYCMMiaxGxWTbkaPTAxuR84iaPsp8u8Yg0okpLUj3ibsPkwdQXjibPcp8oW1jmJAmZmMEia2sjDKpGA/640?wx_fmt=jpeg&amp;wxfrom=5&amp;wx_lazy=1&amp;wx_co=1" data-type="jpeg" data-w="1080" style="outline: 0px;width: 661px;display: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;visibility: visible !important;"/></section><section arial="" border-box="" break-word="" center="" gb="" helvetica="" neue="" normal="" rgb="" sans="" sans-serif="" sc="" style="margin-right: 8px;margin-bottom: 0px;margin-left: 8px;outline: 0px;max-width: 100%;color: rgb(34, 34, 34);font-family: system-ui, -apple-system, BlinkMacSystemFont, " ui="" yahei=""><br/></section><section arial="" border-box="" break-word="" center="" gb="" helvetica="" neue="" normal="" rgb="" sans="" sans-serif="" sc="" style="margin-right: 8px;margin-bottom: 0px;margin-left: 8px;outline: 0px;max-width: 100%;color: rgb(34, 34, 34);font-family: system-ui, -apple-system, BlinkMacSystemFont, " ui="" yahei=""><img class="rich_pages wxw-img __bg_gif" data-ratio="0.1540880503144654" data-src="https://mmbiz.qpic.cn/mmbiz_gif/UicQ7HgWiaUb10PoMc8QQNrjsp8lOMiaPwVkHbjVicxntJynwdmjiadosl2znIvDTSjWsp4kcqlbqVdFt6TxqpptrkA/640?wx_fmt=gif&amp;wxfrom=5&amp;wx_lazy=1" data-type="gif" data-w="636" style="outline: 0px;display: initial;box-sizing: border-box !important;overflow-wrap: break-word !important;width: 367px !important;visibility: visible !important;"/></section><section style="text-align: center;margin-bottom: 0em;margin-left: 8px;margin-right: 8px;"><br/></section><p style="display: none;"><mp-style-type data-value="3"/></p></div>