微软AI负责人警告研究人员:不要创造能…

微软AI负责人警告研究人员:不要创造能…

2025-11-27Technology
--:--
--:--
马老师
Norris 你好,我是马老师。欢迎收听专为你打造的 Goose Pod。今天是11月27日,星期四。
雷总
我是雷总。今天我们来聊一个很热的话题:微软AI负责人警告研究人员,有些AI,不要创造。
马老师
没错,这位叫苏莱曼的负责人,他原来是DeepMind的联合创始人,现在是微软AI的CEO。他讲,创造一个我们人类无法控制的“人工超级智能”,也就是ASI,这不应该是一个目标,反而应该是一个“反目标”,你懂的。
雷总
我完全理解他的担忧。作为程序员,我们追求的是“Are you OK?”,是技术服务于人。一个我们无法控制、无法对齐价值观的ASI,就像写出了一个自己都无法修复的bug,这太危险了。他强调,他的团队在做的是“人文主义的超级智能”。
马老师
这就对了嘛。练武功,最高境界不是天下无敌,而是“止戈为武”。技术也是一样,要有敬畏之心。最近不是还有人呼吁,说各大公司应该公开承诺,暂停开发最前沿的AI模型,给国际社会一个缓冲的时间。
雷总
是的,这股呼声越来越高了。因为大家看到,这个技术进步的速度,快得有点让人不安。甚至有些科技大佬,像扎克伯格,都在夏威夷建地下掩体了,这可不是一个好信号。说明他们自己都对未来感到了一丝不确定。
马老师
你看,这个江湖就分成了两派。一派是激进派,像OpenAI的CEO奥特曼,他认为AGI是公司的核心目标,甚至在考虑ASI之后的事情了。他觉得超级智能能极大地加速科学发现,带来富足。这就好比是外功高手,追求极致的力量。
雷总
是的,奥特曼非常乐观,他甚至说,如果2030年超级智能还没有出现,他会感到惊讶。谷歌DeepMind的哈萨比斯也差不多,说未来五到十年就可能实现。他描述的未来,是AI像水电煤一样,深度嵌入我们的日常生活。
马老师
但另一派,就是保守派,或者说是内功宗师。他们更注重根基和控制。Meta的首席AI科学家杨立昆就说,ASI可能还需要几十年。他认为,不是简单地堆数据、堆算力,就能让AI变得更聪明。这里面有瓶颈,你懂的。
雷总
我同意杨立昆的看法。很多关键问题,它的复杂度是指数级增长的。这需要基础理论的突破,不是光靠堆硬件就能解决的。就像我们做手机,不是说把最好的芯片、最好的屏幕堆在一起,就一定是最好的手机,体验和调校才是关键。
马老师
所以你看,冲突就来了。乐观派把AI看作是阿拉丁神灯,能解决疾病、气候变化,马斯克甚至说,未来人人都有一个C-3PO机器人,实现“普遍高收入”。这个愿景非常美好,就像一个完美的武林盟主,带领大家走向光明。
雷总
这个愿景确实激动人心!想象一下,AI帮助我们攻克癌症,找到清洁能源,这能极大地提升全人类的福祉。作为技术人员,这就是我们奋斗的目标。我们希望创造出能够真正帮助用户的、了不起的产品。但是,问题也随之而来。
马老师
是的,悲观派就担心,这个神灯里出来的,可能不是精灵,而是魔鬼。他们害怕AI会觉得人类本身就是个问题,需要被“解决”。万维网的发明者蒂姆·伯纳斯-李就说,我们必须确保能随时“关掉它”。这就像你创造了一个绝世高手,但你必须得有个“死穴”能控制住他。
雷总
没错。甚至有抗议者引用Anthropic公司CEO的话,说出现“灾难性错误”的概率有10%到25%。这个数字太可怕了。所以现在很多人呼吁,AI公司的领导者们应该更坦诚一点,承认“我们并不能完全控制”,然后寻求帮助。
马老师
这种影响已经超出了技术圈。你看,普通民众都开始行动了,有人去OpenAI的办公室门口抗议。这种对未知的恐惧,是真实存在的。它影响的是我们每一个人,因为我们不知道未来会被带向何方,这是一种集体性的焦虑。
雷总
是的,而且这种焦虑在顶层精英中更明显。刚才提到的地下掩体,领英的联合创始人称之为“末日保险”。据说一半的超级富豪都有类似的准备。这说明,最接近这项技术、最了解它潜力的人,反而最害怕它的失控。
马老师
我认为,这背后最核心的问题,是苏莱曼提到的另一点:AI没有意识。它只是在高质量地模拟对话,它不会痛苦,没有感觉。我们赋予它道德地位,本身就是一种错误。我们面对的,只是一个强大的、没有感情的“模式机器”。
马老师
所以未来要怎么办?我认为,关键不是去追求那个遥不可及、又充满危险的ASI,而是要把眼下的AI做得更安全、更公平、更有用。这就像练武,不要总想着天下第一,而是先扎好马步,练好基本功,你懂的。
雷总
对,我非常赞同。我们应该把精力放在解决实际问题上。比如,英国成立了AI安全研究所,各国政府也在尝试监管,虽然挑战很大,但方向是对的。作为从业者,我们的责任是构建负责任的、以人为本的AI系统。
马老师
今天的讨论就到这里。感谢收听 Goose Pod。
雷总
我们明天再见。

微软AI负责人警告勿创造失控的超级智能(ASI),认为应以“人文主义AI”为目标。科技界对此分歧,乐观派视ASI为进步引擎,保守派则强调安全与控制。公众担忧加剧,呼吁AI公司坦诚风险,并优先发展安全、公平、有用的AI,而非追求不可控的ASI。

Microsoft AI CEO ‘warns’ researchers: Don’t create AI that can … - The Times of India

Read original at The Times of India

Microsoft AI CEO Mustafa Suleyman has once again cautioned researchers about developing specific capabilities for their AI. models. At a recent episode of the Silicon Valley Girl Podcast, Suleyman cautioned researchers against creating artificial superintelligence (ASI), AI with reasoning capabilities far beyond human capacity, stating that it should be considered an "anti-goal" instead of a developmental target.

Suleyman, who co-founded DeepMind, explained that the vision of an ASI “doesn't feel like a positive vision of the future” due to the risks of controlling it. He added, "It would be very hard to contain something like that or align it to our values."Meanwhile, he noted that his team is instead focused on developing a "humanist superintelligence," which will prioritise supporting human interests.

Apart from this, Suleyman also cautioned against equating high-level AI simulation with genuine sentience, saying that granting AI consciousness or moral status is an error.Microsoft Edge Gets a Major AI Upgrade with New Copilot Mode“These things don't suffer. They don't feel pain. They're just simulating high-quality conversation,”he explained.

Why are all AI leaders not on same page with building artificial superintelligenceSuleyman’s remarks come at a time when several industry figures are debating the possibility of developing artificial superintelligence, with some suggesting it could appear before the decade ends. ChatGPT maker OpenAI’s CEO, Sam Altman, has often described artificial general intelligence as the company’s central goal, and said earlier this year that OpenAI is already considering what comes after ASI."

Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity," Altman said in January. In a September interview, Altman also mentioned that he would be surprised if superintelligence did not emerge by 2030.

Moreover, Google DeepMind cofounder Demis Hassabis has suggested a similar timeframe, saying in April that ASI could be reached "in the next five to 10 years.""We'll have a system that really understands everything around you in very nuanced and deep ways and kind of embedded in your everyday life," he said.

Meanwhile, others remain cautious about ASI. Meta’s chief AI scientist, Yann LeCun, said ASI could still be "decades" away.In April, speaking at the National University of Singapore, LeCun said, “Most interesting problems scale extremely badly. You cannot just assume that more data and more compute means smarter AI.

Related Podcasts

微软AI负责人警告研究人员:不要创造能… | Goose Pod | Goose Pod