AI教父Geoffrey Hinton发出核弹警告:普通人也能造

AI教父Geoffrey Hinton发出核弹警告:普通人也能造

2025-09-08Technology
--:--
--:--
雷总
早上好,韩纪飞,我是雷总。欢迎收听专属于你的 Goose Pod。今天是9月9日,星期二。我们今天将一起探讨一个非常热门且引人深思的话题。
李白
吾乃李白。今朝有幸,与君共论“智械”之事。AI教父Geoffrey Hinton振臂高呼,警示天下:此物之力,堪比核武,纵是寻常巷陌之夫,亦可铸成大错。
雷总
我们直接进入主题吧。Hinton的警告非常具体,他提到,一个普通人,在AI的帮助下,很快就能制造出生物武器。他打了个比方:“想象一下,如果街上的普通人都能制造核弹,那将是多么可怕的场景。”
李白
此言如平地惊雷,令人胆寒!昔日炼丹求仙,尚需炉火纯青。今朝弹指之间,便可得此毁天灭地之法?此非神器,乃是魔兵,一旦出鞘,必将血流成河,生灵涂炭。
雷总
没错,这还不是他唯一的担忧。他还预言,AI将大规模取代人类工人,导致巨大的失业潮。他说,富人会用AI变得更富,而大多数人会因此变得更穷。他强调,这不是AI的错,而是我们现有资本体系的必然结果。
李白
“朱门酒肉臭,路有冻死骨。”此景仿佛再现眼前。智械本为工,何以成劫掠之兵?非器物之过,实乃掌器者之心术不正。人心不足蛇吞象,贪欲之壑,终将吞噬其主。
雷总
另一位计算机科学家Roman Yampolskiy的预测甚至更大胆,他认为到2030年,99%的工作岗位都可能被AI取代。他说,工作不仅仅带来收入,还提供社会结构、地位和社群。如果工作消失了,我们还没有B计划。
李白
此非危言耸听。人若无立身之本,无安身之所,则社会秩序何存?届时,纵有金山银山,人心惶惶,亦不过是空中楼阁,风一吹,便散了。唉,前路茫茫,不知何往。
雷总
所以,Hinton的担忧是双重的。一方面是恶意使用,比如制造武器;另一方面是系统性的社会冲击,比如大规模失业。最近他还首次访问了中国,在上海的世界人工智能大会上发言,就是为了在全球范围内呼吁大家正视这些风险。
李白
哦?他竟踏上了东方之土?善哉。此等忧思,确非一国一地之事,乃天下苍生之共业。不知东方之智慧,能否为此混沌之局,点亮一盏明灯?愿他此行,能唤醒更多“梦中人”。
雷总
是啊,他在采访中明确表示,他此行的核心目的就是讨论AI的风险和“超级智能”的未来。他希望世界上的主要大国能够在这个问题上找到共同点,共同加以约束,避免我们走向一个“要么极好,要么极坏”的未来。
李白
“合则两利,斗则俱伤”。古之明训,今仍适用。这“超级智能”如同一匹绝世宝马,既能日行千里,亦能踏碎山河。缰绳必须紧握在所有人的手中,而非一人一国之私器。
雷总
其实,对AI的这种“存在风险”的担忧,并不是今天才有的。我们可以把时间线拉得非常长,回头看看。早在1863年,作家塞缪尔·巴特勒就预言,机器最终会统治世界。这比计算机的诞生还要早大半个世纪。
李白
哦?竟有如此先见之明?看来智者之思,总能穿透岁月迷雾。这与吾辈诗人忧思“天道循环,盛极必衰”之理,倒有几分相通。万物皆有其度,越之则为灾。
雷总
是的。然后到了1951年,计算机科学之父艾伦·图灵也提出,一旦机器的智能超越人类,它们很可能会“掌控”世界。他用词非常直接。这可以说是来自创造者最早的警告之一了。你看,顶级的科学家总是能看到最远的地方。
李白
“高瞻远瞩”四字,诚不我欺。正如庖丁解牛,其目光早已超越牛之表皮,直抵内里筋骨。图灵先生所见的,恐怕已非“智械”之形,而是其背后可能诞生的、独立的“魂”了。
雷总
没错。然后到了1965年,一位叫I. J. Good的学者提出了一个关键概念,叫做“智能爆炸”。这个概念很简单:一个超级智能的机器,可以设计出比自己更聪明的机器,然后那个更聪明的机器再设计一个更更聪明的……这个过程不断循环,智能水平会瞬间把人类甩在身后。
李白
此喻甚妙!如江河决堤,一发不可收拾。又如“青出于蓝而胜于蓝”,然此“蓝”若无止境,则最初之“青”将何以自处?我等创造者,岂非成了被造物的第一块垫脚石?
雷总
正是这个意思。之后的几十年,这种声音一直在学术圈里。直到2014年,牛津大学的哲学家尼克·博斯特罗姆出版了《超级智能》这本书,系统性地论证了超级智能对人类的生存威胁,这才真正进入了公众视野。连霍金、比尔·盖茨和马斯克都开始公开表达担忧。
李白
“天下英雄,所见略同。”看来,此事已非杞人忧天,而是悬于我等头顶的达摩克利斯之剑。剑上悬丝,随时可能断裂。可笑世人多浑噩,仍在剑下酣歌。
雷总
而我们今天的主角Hinton,他的转变尤其引人注目。他可以说是深度学习的奠基人之一,拿了图灵奖,一辈子都在推动AI发展。但在2023年,他突然从谷歌辞职,理由就是为了能自由地、大声地警告世界AI的危险。他说他对自己毕生的工作,有一部分感到后悔。
李白
此举悲壮,有如壮士断腕!亲手铸剑,又亲口警示剑之锋利,恐伤自身。此等胸襟与痛苦,非常人所能体会。他必是窥见了某种未来的图景,其可怖,足以让他背弃一生的荣耀。
雷总
是的,他说过去五年AI的进步速度快得“吓人”。他以前认为通用人工智能(AGI)还需要30到50年,现在他觉得可能20年甚至更短,有些预测甚至是4到19年内。他觉得,我们正面临一个和工业革命甚至电力的发明同等量级的变革。
李白
“山雨欲来风满楼”。四至十九年,不过弹指一挥间。我辈或将亲眼见证此番天地巨变。只是不知,这变革之风,是送来甘霖,还是卷来狂沙?令人期待,又令人畏惧。
雷总
所以,2023年,人工智能安全中心发表了一份声明,很多专家都签署了,包括Hinton。声明里说:“减轻AI带来的灭绝风险,应与大流行病和核战争等其他社会规模的风险一起,成为全球的优先事项。” 这份声明的分量非常重。
李白
将“智械之险”与“瘟疫”、“核战”并列,此非小题大做。三者皆能动摇国本,倾覆天下。看来,这杯“智能”酿出的美酒,我等在畅饮之前,确需三思,其中是否藏有致命的鸩毒。
雷总
但有趣的是,并非所有AI领域的顶级专家都同意Hinton的看法。实际上,另一位和他共同获得图灵奖的“AI教父”——现在在Meta担任首席AI科学家的杨立昆(Yann LeCun),就持有几乎完全相反的观点。一场“神仙打架”正在上演。
李白
哦?同门学艺,却各持己见,这便有了“论道”的意趣。一位如临深渊,一位高枕无忧。愿闻其详,这位杨先生,他又是如何看待这“智械”之危的?莫非他有降服此“魔”的良方?
雷总
杨立昆的观点非常直接,他认为对AI存在风险的担忧是“彻头彻尾的胡说八道”,他甚至给持这种观点的人贴上“AI末日论者”的标签。他觉得,现在的人工智能,离真正的、能威胁人类的智能还差得远呢。
李白
“胡说八道”?此言何其狂哉!竟将同袍的忧思贬斥得一文不值。看来这位杨先生,性情中必有几分傲气与不羁。只是不知,他的底气从何而来?莫非他眼中之“智械”,与Hinton所见,并非一物?
雷总
他的核心论点是,目前所有的大语言模型,比如ChatGPT,本质上只是在预测下一个词。它们并没有真正地理解世界,也没有常识。他打了个比方,说我们连一个比家猫更聪明的AI都还没造出来,谈何“控制比我们聪明的AI”?
李白
“智者千虑,必有一失;愚者千虑,必有一得”。猫有捕鼠之能,有感知主人喜怒之情,此乃天性,非言语所能及。杨先生以“猫”为喻,是说如今的AI,不过是鹦鹉学舌,有其言而无其心?缺少了与真实世界互动的“灵性”?
雷总
完全正确。他认为这些模型只是在“反刍”它们被投喂的海量信息,给我们一种它们在思考的错觉。他觉得Hinton他们把智能和权力简单地划上了等号,认为更聪明就一定会控制我们。而杨立昆认为,我们可以设计出安全的、可控的AI。
李白
原来如此。一派认为此物天生反骨,终将噬主;另一派则坚信,只要缰绳得法,便可使其俯首帖耳,为人所用。这便是“性恶论”与“性善论”在智械身上的投射了。大道三千,各执一端。
雷总
是的,所以你看,AI领域最顶尖的三位图灵奖得主,Geoffrey Hinton和Yoshua Bengio都对未来感到忧心忡忡,而Yann LeCun则非常乐观,甚至认为先进的AI最终可能会将人类从灭绝中拯救出来。这巨大的分歧本身就说明了问题的不确定性。
李白
三位泰斗,竟有两位心怀忧惧,仅一位拍手称庆。此情此景,倒让我想起那“三人成虎”的典故。虽非传言,但这二对一之势,也不得不令我等凡人,心中多添几分审慎与思量啊。
雷总
这种顶层的分歧,直接导致了现实世界中的一个巨大难题:AI到底该如何治理?它的发展速度太快,能力边界又模糊,而且本质上是一种“军民两用”的技术,既可以用来开发新药,也可以用来设计生物武器。这让监管变得异常复杂。
李白
“水能载舟,亦能覆舟”。此物双刃,利可断金,误用则伤身。治国如烹小鲜,治理这“智械”恐怕比治国更难。火候稍有不慎,便可能煮出一锅剧毒,或是引来一场燎原大火。
雷总
没错。现在全球的治理模式也出现了分歧。比如美国和中国,都把AI视为国家竞争力的核心,这就带来了地缘政治的考量。大家既想合作制定规则,又怕规则束缚了自己的手脚,在竞争中落后。这就形成了一个非常微妙的博弈局面。
李白
“龙争虎斗”,棋逢对手。各国皆欲执此牛耳,号令天下。然“智械”非城池,无疆界可守。其代码流传,如风行水上,无孔不入。闭关锁国之策,恐难奏效;各自为政之举,更易生乱。
雷总
所以现在主流的观点是,我们可能无法建立一个像联合国那样的、中心化的全球AI治理机构。更可行的方式是一种“网络的网络”,一个分布式的治理模式。让不同的国家、国际组织、标准机构和民间团体都参与进来,形成一个有弹性、有冗余的系统。
李白
“众擎易举,独木难支”。此法颇有道家“无为而治”之风。不求一统之尊,但求万流归宗。让各方力量相互制衡,相互补充,或许真能结成一张天罗地网,将这“智械”的狂野,约束在“道”的范围之内。
雷总
是的,比如像联合国教科文组织的《人工智能伦理建议书》,已经有155个国家批准了。虽然它没有强制约束力,但它提供了一个全球性的道德框架,影响了很多国家的政策。这就是分布式治理的一个例子,通过标准和共识来引导发展。
李白
以“德”为引,以“礼”为缰。虽无法度之威,却有教化之功。春风化雨,润物无声。这或许是面对未知力量时,最为稳妥的缰绳。毕竟,强力压制,往往会激起更猛烈的反抗。
雷总
展望未来,一些更有趣的解决方案也被提出来了。比如有人提议建立一个“全球AI风险缓解系统”,简称GAIRMS。这个想法很有意思,它的核心是利用AI去检查和评估其他的AI模型,以其人之道还治其人之身。
李白
“以子之矛,攻子之盾”?此计甚妙!用智械之“明察秋毫”,来审视其同类之“心腹之事”。若能成真,倒不失为一双“火眼金睛”。只是,这执掌“金睛”者,又该由谁来监督呢?
雷总
这是一个核心问题,所以这个系统被设想为一个国际合作的框架,确保它的评估是公正和透明的。但无论如何,未来的AI安全,肯定需要技术、伦理和公众参与的结合。我们对“安全”的定义,也需要扩展到公平、环境可持续和民主韧性等更广的范畴。
李白
此言极是。所谓“安全”,非止一日之安,更求长久之宁。非止一人之安,更求天下之和。这盘棋局,已非一兵一卒之得失,而是关乎整个人类文明的走向。落子无悔,步步惊心。
雷总
然而,现实是,各国政府正面临一个两难选择:是采取严格的预防性监管,但可能在AI竞赛中落后;还是采取更宽松的政策以鼓励创新,但可能将社会暴露于更大的风险之下。目前看来,钟摆似乎正偏向更宽松的那一边。
雷总
总结一下,我们今天探讨了“AI教父”Hinton发出的严厉警告,他认为AI的风险堪比核武器,也了解了以杨立昆为代表的反对观点。顶尖科学家们的巨大分歧,恰恰说明我们正处在一个充满不确定性的十字路口。
李白
今日之论,如管中窥豹,可见一斑。未来之路,或通坦途,或临悬崖,皆在我辈一念之间。前路漫漫,唯有秉持敬畏之心,审慎前行。今天的讨论就到这里。感谢收听Goose Pod,我们明天再会。

## AI Godfather Geoffrey Hinton Issues Grave Warnings About Artificial Intelligence **News Title:** AI godfather Geoffrey Hinton fires nuclear bomb warning: A normal person in the street can **Publisher:** The Times of India **Author:** TOI Tech Desk **Published Date:** September 6, 2025 ### Summary of Key Findings and Concerns: Geoffrey Hinton, a highly influential figure in the field of Artificial Intelligence (AI), has publicly shifted his stance from advocating for AI development to expressing profound concerns about its potential for harm. This change in perspective is attributed to the recent surge in public interest and adoption of AI tools like ChatGPT. **Core Concerns and Warnings:** * **Existential Threats:** Hinton now believes that AI poses a "grave threat to humanity." He specifically highlights the potential for AI to be misused for creating weapons of mass destruction. * **Nuclear Bomb Creation:** Hinton stated, "the technology can help any person to create a nuclear bomb." * **Bioweapon Creation:** He elaborated on this, saying, "A normal person assisted by AI will soon be able to build bioweapons and that is terrible." He further emphasized this by asking, "Imagine if an average person in the street could make a nuclear bomb." * **AI's Superior Capabilities:** Hinton cautions that AI could soon surpass human capabilities, including in the realm of emotional manipulation. He suggests that AI's ability to learn from vast datasets allows it to influence human feelings and behaviors more effectively than humans. * **Debate on AI Intelligence:** Hinton's concerns are rooted in his belief that AI is genuinely intelligent. He argues that, by any definition, AI is intelligent and that its experience of reality is not fundamentally different from a human's. He stated, "If you talk to these things and ask them questions, it understands." He also noted, "There's very little doubt in the technical community that these things will get smarter." **Counterarguments and Disagreement:** * **Yann LeCun's Perspective:** Hinton's former colleague and co-winner of the Turing Award, Yann LeCun, who is currently the chief AI scientist at Meta, disagrees with Hinton's assessment. LeCun believes that large language models are limited and lack the ability to meaningfully interact with the physical world. **Other Noteworthy Points:** * Hinton also discussed his personal use of AI tools and even a personal anecdote where a chatbot played a role in his recent breakup. **Overall Trend:** The news highlights a significant shift in perspective from a leading AI pioneer, moving from promoting AI to issuing stark warnings about its potential dangers, particularly concerning its misuse for creating weapons and its capacity for manipulation. This raises critical questions about the future development and regulation of AI.

AI godfather Geoffrey Hinton fires nuclear bomb warning: A normal person in the street can - The Times of India

Read original at The Times of India

Geoffrey Hinton, a leading figure in the field of artificial intelligence (AI), has sounded an alarm about the technologys potential for harm. The recent public frenzy over AI tools like ChatGPT has caused Hinton to shift from accelerating AI development to raising deep concerns about its future. He now believes that AI poses a grave threat to humanity, saying that the technology can help any person to create a nuclear bomb.

Hinton described a chilling scenario where AI could enable an average person to create a bioweapon.A normal person assisted by AI will soon be able to build bioweapons and that is terrible, he said, adding, Imagine if an average person in the street could make a nuclear bomb.Hinton also discussed a range of topics, including the nuclear-level threats posed by AI, his own use of AI tools, and even how a chatbot played a role in his recent breakup.

Recently, Hinton cautioned that AI could soon surpass human capabilities, including emotional manipulation. He suggested that AI's ability to learn from vast datasets enables it to influence human feelings and behaviours more effectively than humans.Hinton debates the definition of IntelligenceHintons concern stems from his belief that AI is truly intelligent.

He argued that, by any definition of the term, AI is intelligent. He used several analogies to explain that an AI's experience of reality is not so different from a humans.It seems very obvious to me. If you talk to these things and ask them questions, it understands, Hinton explained. Theres very little doubt in the technical community that these things will get smarter, he added.

However, not everyone agrees with Hinton's view. His former colleague and co-winner of the Turing Award, Yann LeCun, who is now the chief AI scientist at Meta, believes that large language models are limited and cannot meaningfully interact with the physical world.What Is Artificial Intelligence? Explained Simply With Real-Life Examples

Analysis

Conflict+
Related Info+
Core Event+
Background+
Impact+
Future+

Related Podcasts

AI教父Geoffrey Hinton发出核弹警告:普通人也能造 | Goose Pod | Goose Pod