.:. 草榴社區 » 技術討論區 » GPT论文一作Alec Radford离职,前两代GPT作者全部离开OpenAI[13P]
本頁主題: GPT论文一作Alec Radford离职,前两代GPT作者全部离开OpenAI[13P]字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
古秦戰士


級別:新手上路 ( 8 )
發帖:31
威望:93 點
金錢:3383 USD
貢獻:3 點
註冊:2007-01-01

GPT论文一作Alec Radford离职,前两代GPT作者全部离开OpenAI[13P]

OpenAI 又跑了一名大神!
The Information 消息,初代 GPT 论文第一作者Alec Radford也要离开 OpenAI,转向独立研究。


据了解, Alec 于 2016 年加入 OpenAI,从初代 GPT 到 GPT-4o 的论文中全都有他的名字,其中前两代还是第一作者。
另外 OpenAI 的多模态模型CLIP,还有语音识别模型Whisper,论文一作也都是 Alec。
对于 Alec 的离开,OpenAI 研究负责人 Mark Chen 表示," 我们对 Alec 和他的贡献深表敬意和赞赏,并期待在他探索独立研究的过程中继续与他合作。"
之前,前任研究团队负责人 Jeff Clune(已于 2022 年离开 OpenAI,现在是不列颠哥伦比亚大学副教授,同时给 DeepMind 担任顾问)还对 Alec 给予过很高的评价,认为Alec 是影响力最大但知名度最低的 AI 科学家之一。
甚至在 Jeff 看来,Alec 应该作为 " 现代生成式人工智能之父 " 被载入史册。


坚持做大模型的本科生,前两代 GPT 一作
2016 年,Alec Radford 于富兰克林 · 欧林工程学院(Franklin W. Olin College of Engineering)取得学士学位,随后加入 OpenAI,一干就是 8 年。
虽然 Alec 只有本科学历,但在大模型领域是不折不扣的领军人才,截至今日论文被引量已超 19 万。
被引量排名前三的论文,分别与 GPT-3、CLIP 和 GPT-2 相关。


这三篇论文都为今天的 ChatGPT 打下了重要基础,实际上,Alec几乎参与了 OpenAI 所有的重大突破。
除了被引量最高的这三篇,从第一代 GPT 到 GPT-4o 的作者名单中,Alec 的名字都赫然在列,并且前两代中都是第一作者。
Alec 同样作为一作的 CLIP,则是 OpenAI 在多模态路线上的重要成果,甚至在整个行业都极具影响力;同时,Alec 也是 OpenAI 初代绘图模型 DALL · E 的参与者。
其他模态方面,OpenAI 开源的语音识别系统 Whisper,一作仍然是 Alec ……


不过,最新的 o1 模型贡献者列表中已经没有了 Alec 的名字,但与他一同从初代开始参与所有 GPT 工作的 Ilya,仍然在 o1 的名单之上。


但无论如何,综观整个 OpenAI,其他人或多或少都转向过机器人、或是游戏 AI 等其他领域 " 发发论文 ",只有 Alec 坚持做大模型方向的研究。
正是他所坚持的大语言模型路线,改变了 OpenAI 公司、乃至整个 AI 领域的发展方向。
对此,奥特曼还曾半调侃半认真地表示:
招聘时,记得关注那些 " 看起来不会加入公司 " 的人。
OpenAI 一开始并未确定大模型这一研究方向,但我们仍然招了 AI 研究员,并在取得突破后让更多人加入其中,最终成就了 ChatGPT。
在加入 OpenAI 之前,Alec 研究了卷积神经网络、批量归一化和 GAN,是 DC-GAN 的第一作者。
DC-GAN 的另外两名作者,是 Alec 的同学 Luke Metz 和 PyTorch 之父 Soumith Chintala。


彼时,还在上学的 Alec 已经参与创立了 indico.io(现名为 Indico Data),Luke 也加入到了该公司。
(后来,大模型兴起之后,Indico 也增加了企业大模型业务,率先推出了基于 GPT 的自定义模型。)


2016 年,也就是 Alec 加入 OpenAI 的同一年,Luke 去了谷歌大脑,但后来又在 2022 年加入了 OpenAI,参与了 GPT-4 的部分研发工作,不过今年 10 月也离职了。
前两代 GPT 论文作者全部离开 OpenAI
到 Alec 离职完成之后,也就标志着前两代 GPT 论文的所有作者,都离开 OpenAI 了。
其中最著名的是原首席科学家Ilya Sutskever,他和 Alec 一样参与了包括前两代在内的 GPT 的工作。
Ilya 今年五月宣布退出 OpenAI 时,震动了整个 AI 圈,后来他成立了新公司,主攻构建 " 安全超级智能 "。


第一代 GPT 的另外两名作者分别是Karthik Narasimhan 和 Tim Salimans。
其中 Karthik Narasimhan 到 OpenAI 是出任访问学者,2018 年访问期结束后到普林斯顿担任教职,现在是普林斯顿 NLP 联合主任,跟陈丹琦是同事。
另外,Karthik 还是开源版 Devin 作者之一——清华姚班学霸姚顺雨在普林斯顿读博期间的导师(今年 8 月,姚顺雨加入了 OpenAI)。


三作Tim Salimans则是在 2018 年 7 月履新谷歌大脑,担任职位为高级管理科学家。


同样选择加入谷歌的,还有 GPT-2 的三作Rewon Child和四作David Luan。
Rewon 后来还参与了 GPT-3 的工作,2021 年离开 OpenAI 加入谷歌,2022 年加入了初创公司 Inflection AI,今年三月又到了微软;
David 到谷歌则是 2020 年,后来他和 Transformer 论文作者 Ashish Vaswani、Niki Parmar 一起,创办了一家叫 Adept 的公司,David 出任 CEO。
不过据 David 的领英资料显示,他这个月已不在 Adept 担任职务,而是加入了亚马逊,与强化学习大牛、吴恩达第一届博士生 Pieter Abbeel 一同工作。


除了去谷歌的,GPT-2 的作者中还包括了后来 OpenAI 的最强竞对,也就是 Claude 背后的厂商Anthropic 的创始人 Dario Amodei。
Dario 在 OpenAI 参与了 GPT-2 和 3 的工作,2020 年末和妹妹 Daniela 一起离开,创立了 Anthropic,两人分别出任 CEO 和总裁。


去向为 Anthropic 的,除了创始人 Dario,还有 GPT-2 的二作Jeffrey Wu,离职的时间是今年 7 月,成为了倒数第二位离开 OpenAI 的前两代 GPT 参与者。


而今天,随着 Alec 的离职消息,打造最早两代 GPT 的八位研究者,已经要全部各奔东西了。

赞(14)
DMCA / ABUSE REPORT | TOP Posted: 12-20 11:43 發表評論
.:. 草榴社區 » 技術討論區

電腦版 手機版 客戶端 DMCA
用時 0.01(s) x3, 12-26 03:30