分享

Sam被开除原因:刻意隐瞒OpenAI超级能力,新版本将完全超越人类认知

撰文:顾家祈
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2023%2F1120%2F3adfe1b7j00s4ee5o00dxd000ei00hep.jpg 这是OpenAI四巨头的合照。
左边是技术长 Mira Murati,现在暂任 CEO。
中间靠左是 Sam Altman,他旁边是 Greg Brockman,昨天以前是 CEO 跟董事长身份,今天双双“被离职”。
右边是这次发动闪电作战的主要人物,Ilya Sutskever,也是 OpenAI 的首席科学家。
--
Ilya 是“AI 教父” Geoffrey Hinton 实验室的学生,没有 Hinton 就没有现在的类神经网络。没有 Ilya 也不会有现在的 ChatGPT。
创办 OpenAI 之前,Ilya 不管在 AI 的图像辨识或是语言翻译上面,都有超好的成果,2013年进到 Google Brain 担任科学家。
2015年,Sam Altman 和 Greg Brockman 邀请 Ilya 一起创办 OpenAI,Google 知道后,开出高于 OpenAI 两三倍的薪水--接近两百万美元,想留住 Ilya,但 Ilya 还是决定投入当时仍然非营利的 OpenAI。
--
今年 ChatGPT 爆红后,Ilya 跟 Sam 开始有一些矛盾出现,最主要是出在“安全性”上面。
Ilya 很早就觉得 AI 产生了“意识”,然后最近的发展让他越来越不安,觉得我们对 AI 限制的工具比不上 AI 进步的速度,迟早会出现大问题。
所以他在今年七月时,在 OpenAI 内部成立了新的团队,希望要好好研究“超级对齐”(Superalignment),来确保未来的“超级 AI”不会失控。
但 AI 实在太红,到 OpenAI Dev Day 达到了高峰,Sam altman 也对外宣佈了要开始训练下一世代的 GPT-5、并准备开始募资。
在这个关键时刻,Ilya 忍不住了,他的超级对齐预计是四年完成,如果超级 AI 在那之前出现,他无法保证这个智慧体是“足够安全”的,所以联合了董事会,发动了这次的罢免。
我在猜这可能也是董事会觉得 Sam “不老实”的主要地方,你的首席科学家觉得超级 AI 还不安全,但你没跟我们说。
--
看完相关资料,就连我是超级 AI 爱好者,都觉得好像可以慢一下比较好。
Ilya 不是一般人,他对 AI 的理解也不是半吊子,他的判断是能够限制 gpt-4的机制限制不了 gpt-5,这件事我选择相信他。
那 gpt-5需要什么样的“超级对齐”能力呢? Ilya 心中有答案,他说最好是“能像父母看待孩子那样看待人类的 AI”。
但他并不是反对“超级AI”出现,他的前提是“要有更多优秀的人工智慧专家”,他认为只要有足够多的使用者跟专家,大家一起展望 AI 的未来、讨论“我们希望 AI 是什麽样子”,到时将会出现“非常亲近人类的超级AI”,那时人类就不用担心会灭亡。
--
很难想象下一代 AI 到底是多强大,以至于让 Ilya 这样的专家会这麽担心、甚至用激烈的手段来阻止开发。
但如果代价是人类毁灭的风险,那...Sam 你先休息一下,超级 AI 晚点出来我 OK
至于“超级对齐”具体应该怎么做,Ilya 也有想法,应该会是“以 AI 治 AI ”的路线,需要先打造一个能“自动对齐”人类价值观、“喜欢人类”的强大 AI,然后透过大量的算力进行自动对齐。
AI 领域真是越来越有趣了,Ilya 甚至认为 AI 已经是“非生物”的生命体,改天再来整理他对 AI 的更多想法。

回复

使用道具 举报

已有(1)人评论

跳转到指定楼层
taptap 发表于 2023-11-20 10:02:08
<script type="text/javascript">var jd_union_pid="1666359147085";var jd_union_euid="";</script><script type="text/javascript" src="//ads-union.jd.com/static/js/union.js"></script>
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则