分享
月之暗面杨植麟:大模型需要新的组织范式,场景摩尔定律能催生 Super App
输入“/”快速插入内容
月之暗面杨植麟:大模型需要新的组织范式,场景摩尔定律能催生 Super App
🔗 原文链接:
https://mp.weixin.qq.com/s/499NG03U...
⏰ 剪存时间:2023-11-29 22:00:19 (UTC+8)
✂️ 本文档由
飞书剪存
一键生成
原创 Founder Park Founder Park
2023-11-28 21:30 发表于 北京
收录于合集
#AGI 110 个
#大模型 87 个
月之暗面 Moonshot AI 是一家神秘且特别的大模型创业公司。
公司目前只发布了一款产品,基于千亿大模型的 chatbot 产品 Kimi Chat。发布之初,就打出了「长文本」、「自研闭源」、「toC」等清晰的标签。
创始人杨植麟饱受期待,他毕业于 CMU,师从苹果 AI 负责人 Ruslan Salakhutdinov,曾在 Meta 和 Google Brain 任职,是 Transformer-XL 与 XLNet 等爆款论文的第一作者。
但在这次直播中,他更多地聊了聊战略、组织、产品和人才等等——除了技术以外,作为创业者需要关注的一切。
•
为什么要下场创业?
•
谁能率先做出大模型时代的 Super App?
•
大模型的产品经理,需要具备怎样的特质?
以下是极客公园创始人 & 总裁张鹏与月之暗面 Moonshot AI 创始人 & CEO 杨植麟的对话,经 Founder Park 编辑。
1.
大模型时代,对组织形态提出了新的要求
张鹏:大家都说你们公司有点神秘,尤其这个名字——「月之暗面」,先来给我们揭秘下「月之暗面」这个名字背后有什么讲究?
杨植麟
:我们的名字其实来源于一张摇滚专辑,Pink Floyd(摇滚乐队)的《The Dark Side of the Moon》(月之暗面)。因为我们(创始人们)都比较喜欢摇滚,以前也是玩乐队的,今年也刚好有个契机,是月之暗面发行 50 周年。
我们平时看月亮,都只能看到发光的一面,看不到背后,但是你会有一种很强的冲动,想要去探索神秘的月球背面。
这和大模型很相似,你很想去探索一个神秘的、未知的东西。它很难,很有挑战性,同时又可以结合很多摇滚的底层精神,不断地创新,不断地挑战事物已有的形状,去想象接下来可能会是什么样。
我们当时想了各种名字,最终选择了月之暗面和 Moonshot(登月计划)的中英文组合,它可以比较好地去反映我们对于做 AGI 的决心,以及——它或许可以定义,我们是怎样的人。
《The Dark Side of the Moon》是 Pink Floyd 最受好评的专辑,专辑以以疯狂为重点,探讨了冲突、贪婪、时间、死亡和精神疾病等主题|图片来源:Wikipedia
张鹏
:我也是 Pink Floyd 的粉丝,从我的角度来看,这张专辑虽然用了个很天文的名字,但本质上讲的东西可能更接近人的潜意识。
杨植麟
:对,里面的那个主打的歌曲叫 Brain Damage,讲的就是一个人出现了 hallucination(幻觉)。我们现在就是穿越了 50 年,要去拯救大模型的 hallucination 问题。
张鹏
:八卦一下,你原来在乐队里是哪个位置?
杨植麟
:原来是鼓手。张鹏:鼓手在乐队里大概是一个什么样的定位?
杨植麟
:我觉得是掌握节奏,为整个乐队的演奏提供一个框架。
构建新的组织形式是通往 AGI 的必经之路
张鹏:投身到大模型赛道里。你当时是怎么做出这个决心,并选择要做一个组织来投身其中的?能不能分享下当年的决策逻辑?
杨植麟
:我的认知在过去几年里面发生了非常大的变化。
一开始觉得语言模型可能是个工具,可以去提升很多不同场景的效果;第二个阶段,认为语言模型可能对很多任务都有用。后来大家认为语言模型可能成为 AI 唯一的一个(要解决的)问题——所有的问题,都可以通过把语言模型做得更好,把 next token prediction 做得更好来解决。
2018、2019 年,在 Google 开始用几千张卡,基于 Transformer 训练语言模型的时候,过程中会观察到非常多的现象,这些现象进一步提供了更多的证据,证明这条道路是正确的。可能只需要往这个路径一直走下去,然后不断地去寻找更高效的 scale 它的方式,就可以得到一个非常好的结果,能够解决很多以前很难解决的问题——不管是记忆的问题、推理的问题,还是很多常识,甚至是更复杂的多链路问题。
这个经历给了我很深的冲击,或者说创业的铺垫。
2020 年开始,我去找很多机构合作,一起去训练大模型,也是最早在国内训练了很多像盘古、悟道大模型,这个过程也一直在酝酿一个真正的时机。
同时在这个过程中,我也看到很多大模型面对的挑战。这种挑战一方面是来自于技术,另外一方面可能是来自于组织。我们发现,如果你还是用传统的组织结构,对训练大模型来说,可能很难成功。我们今天看到 OpenAI 的成功,本质上,也是因为它的组织做了极大的创新。
所以我觉得之前的经历,可以理解成我一直在寻找一个机会——
怎么样能够去从零去建造一个新的组织。我认为这是通往 AGI 的必经之路
,它甚至比我们今天接触到的各种细枝末节的技术还要更重要。因为组织是一个更底层的东西,只有你把这个组织做好,才有可能真正地在 AGI 这条路上好好走下去。
去年开始,不管是资本市场,还是人才市场,都发生了极大的变化。在这种情况下,我觉得时机更加成熟,我们有机会去从零搭建一个组织去做这件事。
2.
大模型时代的创新很难被规划
底层逻辑变了,做事的方式也要变
张鹏:是什么让你认为组织是一个核心的问题,以至于要利用这个契机去构建这样的组织?
杨植麟:
更多的还是实践。
今年之前我们也尝试过很多,用不同的方式,不同的组织。一种就是传统的,在企业内部去做事的方式。还有就是我也参与了一些独立研究机构(的工作);甚至还有其它一些高效的模式。然后就发现这几种不同的模式,其实都很难成为组织上的根本创新。