近日，Dylan Patel参加了Matthew Berman的播客访谈节目，对目前“硅谷AI大战”进行了深度而富有洞察的剖析。
Dylan Patel 是一位在半导体和人工智能领域有着深厚见解的专家。他创办了 SemiAnalysis，一家提供深入技术分析和市场洞察的机构。Patel 以其对芯片产业、AI模型发展趋势、以及大型科技公司战略布局的独到见解而闻名。
Dylan Patel认为，近期Meta收购Scale AI并非看重其日渐“过气”的数据标注业务，而是为了Alexandr Wang及其核心团队。Wang的加入标志着扎克伯格在AI战略上的重大转变，从之前的“AI很好，但AGI不会很快实现”转变为全力追逐“超级智能”，因为他意识到Meta在该领域已经落后，需要“迎头赶上”。
而苹果在吸引顶级AI研究人员方面存在劣势，因为他们无法提供像Anthropic或Meta那样具有吸引力的企业文化、高薪酬和充足的计算资源。
对OpenAI而言，Patel认为更大的隐忧在于微软对IP的控制权。微软理论上可以在AGI实现的前一刻拥有所有的IP，这给OpenAI的研发人员带来了巨大的不确定性。
英伟达凭借其卓越的硬件互联和成熟的软件生态系统构筑了强大的护城河。然而，英伟达也面临挑战。其近期收购Lepton并推出DGX Cloud，直接与云服务商竞争，引发了部分云服务商的不满，导致他们开始转向AMD。Dylan Patel将此视为英伟达的一个“重大错误”。
在设备端AI方面，Dylan Patel表达了悲观的看法。他认为，尽管设备端AI在安全和低延迟方面有优势，但消费者对价格的敏感度更高，更倾向于使用免费的云端AI服务。他预测，设备端AI的应用将主要限于低价值、轻量级的任务，例如在可穿戴设备上进行图像识别或手部追踪，而复杂且有价值的AI功能仍将依赖于云端。苹果自身也在建设大型数据中心，表明其也认识到云端是AI发展的关键方向。
Patel认为，尽管许多公司声称自己在做不同的事情，但底层技术和方法大致相同，即都是在预训练大型Transformer模型并进行强化学习。他提到了“重写人类知识语料库”的重要性，因为现有数据中存在大量低质量信息。他认为 Grok 在处理实时事件和时事信息方面具有优势。
Dylan Patel认为，AI的最终目标是减少人类工作时间，虽然可能导致少数人过度工作，而多数人工作更少。AI最先冲击的是白领创意性工作（如平面设计师），而非体力劳动，这与人们的普遍认知相反。他预测，未来AI将承担更多长期、复杂任务，最终可能完全脱离人类审核。关于时间线，他认为十年内实现20%工作自动化不太可能，更可能发生在十年末或下个十年初。
谁将赢得超级智能竞赛？Patel认为，OpenAI 领跑，Meta 将紧随其后。他相信Meta有能力吸引到足够的顶尖人才，从而在超级智能竞赛中脱颖而出。
“如果超级智能就是一切，那么1亿美元，甚至10亿美元，与Meta目前的市值以及人工智能的整体潜在市场相比，都只是沧海一粟。”“去Meta的人，很多显然是为了钱，但也有很多人离开（原有岗位），是因为他们现在能掌控一家市值万亿美元公司的AI发展路径。他们可以直接与扎克伯格对话，并能说服一个对整个公司拥有完全投票权的人。”“OpenAI的估值会持续飙升，因为他们正在构建的东西短期内并无盈利计划。……所以在这个整个过程中，他们会一直亏损，需要不断筹集资金，还得能够说服全球的每一位投资者。而且这些条款既不光彩、不简洁，也不易理解。”“GPT 4.5 Orion是出了什么问题吗？这就是他们内部所说的、他们希望能成为GPT 5的东西……总体来说，它没那么实用，速度太慢，而且和其他模型相比成本太高。”“这也是我有时会用到Grok的另一个领域：时事。你可以向Grok提问，它能比谷歌搜索、甚至Gemini或OpenAI的查询更准确地告诉你发生了什么，因为它可以获取所有这些信息（X的数据）。”“就苹果而言，他们在吸引AI研究人员方面一直存在问题，这些研究人员喜欢夸夸其谈，喜欢发布和发表自己的研究成果。苹果一直是一家神秘的公司。”“即便你有优秀的人才，由于组织问题，要真正做出好的成果也很有挑战性，因为合适的人没有处在合适的位置，决策者可能选错了人，让他们搞政治，把他们的想法和研究路径纳入模型，而这些想法不一定是好主意。”“总体而言，我对设备端AI持悲观态度，并不看好它。安全固然很棒，但我了解人类心理：免费比付费好，有广告的免费模式比单纯的安全更有吸引力。其实没多少人真正关心安全问题。”
“设备端AI的一个重大挑战在于硬件限制。模型的推理速度取决于芯片的内存带宽。如果我想增加芯片的内存带宽，硬件成本可能要增加50美元，这最终会转嫁给客户，导致iPhone贵上100美元。”
“设备端AI真正发挥作用的场景，会是在可穿戴设备上，比如耳机或智能眼镜。你在本地做的都是些零碎的小事，比如图像识别、手部追踪，但实际的推理和思考是在云端进行的。”“AMD确实很努力，但他们的硬件在某些方面比较落后，尤其是与Blackwell相比。他们面临的真正挑战是软件，开发者体验并不出色。英伟达能够通过芯片上搭载的NVLink网络硬件将GPU连接组网。英伟达构建服务器的方式能让72个GPU非常紧密地协同工作，而AMD目前只能做到8个。这对推理和训练至关重要。”“英伟达最近犯了一个重大错误：收购了Lepton公司。现在英伟达收购了这家开发软件层的公司，并正在研发名为DGX Cloud的产品。这意味着，如果任何云服务商有闲置的GPU，可以将其作为裸机交给英伟达，英伟达会在上面部署Lepton的软件并将其出租给用户。这让云服务商非常恼火，因为英伟达在与他们直接竞争。”“我不认为在这十年内，会有20%的工作被自动化。我感觉可能要到这个十年末或下个十年初，才能实现20%工作的自动化。”“人工智能理应让我们的工作时间变得更少。未来可能会出现一种情况：像我（可能还有你）这样的人工作过度，而普通人的工作时间则少得多。”“谁将赢得超级智能竞赛？OpenAI。他们总是第一个取得每一项重大突破，甚至在推理方面也是如此。”“我认为Meta会吸引到足够多的优秀人才，从而真正具备竞争力。”以下为访谈全文，内容由AI翻译：
Meta Llama 4和被推迟的“巨兽”项目Matthew Berman：
迪伦，非常感谢你今天能来和我一起。我真的很兴奋能和你交谈。我看过你做过不少演讲和采访。我们要谈很多事情。我想先谈的是Meta。让我们从Llama 4开始。自从那款产品发布以来，在AI领域已经过了一段时间，但当时人们充满了期待。还不错，但不算很棒。当时它并没有改变世界。然后他们推迟了巨兽项目。你觉得那里正在发生什么？
Dylan Patel：
这很有趣。大概有3种不同的型号，而且它们都有很大差异。巨兽项目被推迟了。我实际上认为他们可能永远不会发布它。它存在很多问题，他们训练它的方式，以及他们做出的一些决策都没有取得预期效果。还有马弗里克和斯考特。实际上，其中一个模型还不错。相当不错。它发布时并非最佳，但与发布时的最佳中国型号相当。但后来，阿里巴巴推出了一款新车型，深海也推出了一款新车型。于是情况更糟了。另一个客观来说就是很糟糕。
我确切知道，他们训练它是为了应对深度搜索试图更多地使用深度搜索架构的元素，但他们做得并不恰当。这真的只是个仓促的活儿，而且搞砸了，因为他们在Moe的稀疏性上用力过猛。但有趣的是，如果你真的查看模型，它往往甚至不会将标记路由到某些专家那里。基本上就像是一种训练的浪费，在每一层之间，路由器可以路由到它想要的任何专家，它会学习路由到哪个专家，而每个专家也会学习。
这就像拥有独立的事物。这真的不是人们能观察到的东西。但你能看到的是代币。他们会将哪些专家路由到哪里，或者当他们通过模型时，就好像其中一些根本没有被路由到。就好像你有一堆无所事事的空专家。显然，培训方面存在问题。
Matthew Berman：
这在内部算是一种专业技能方面的事情吗？我的意思是，他们肯定拥有世界上一些最优秀的人才，我们接下来会谈到他们最近的招聘举措。但是为什么他们一直没能真正做到呢？
Dylan Patel：
我觉得这是各种事物的结合与汇聚。他们有大量的人才，也有大量的计算资源。但人员的组织安排始终是最具挑战性的事情。哪些想法实际上是最好的？谁是那个挑选最佳创意的技术负责人？这就好比如果你有一群优秀的研究人员，那可太棒了。但要是在他们之上安排产品经理，却没有技术负责人来评估该如何选择，那就会有很多问题。
OpenAI，山姆是个很棒的领导者，他能获取所有资源。但是技术负责人是格雷格·布罗克曼。而且格雷格·布罗克曼正在做很多决策，还有很多其他的人，就像马克·陈和其他类似的技术领袖一样，他们实际上在决定，从技术角度来说我们该走哪条路，因为研究人员会进行他们的研究，他们会认为自己的研究是最好的。是谁在评估每个人的研究，然后决定哪个想法很棒，哪个想法很糟糕呢。咱们别用那个了。这真的非常困难。
当研究人员没有一位技术过硬、能够做出选择，而且真的能做出正确选择的领导者时，最终就会陷入困境。我们确实有所有正确的想法。但AI研究的一部分在于，你也会有各种错误的想法，你从这些错误想法中学习，然后产生正确的想法，并做出正确的选择。现在，如果你的选择非常糟糕，实际上你选择了一些错误的想法，然后你走上了某种研究的分支，会怎么样呢？
就像你选择了这个馊主意一样，这是我们要做的事。咱们再往下去。然后现在你会想，从这个馊主意衍生出来的，还有更多的研究。因为我们不会回头去撤销我们做的决定。每个人都在说，我们做了那个决定。好吧，让我们看看从这里能研究出什么。于是你最终会面临这样的情况，即优秀的研究人员可能在浪费他们的时间。我走的路不对。研究人员常提及一种东西，那就是品味。
这很有趣。你觉得这些就像那些渴望成为国际数学奥林匹克选手的人一样，那就是他们成名的途径。但当他们像青少年时，19岁就去OpenAI或其他公司，或者Meta或其他地方工作了。
但实际上这里面涉及到很多品味问题。在某种程度上，判断什么值得研究、什么不值得研究是一种艺术形式。这是一种选择最佳方案的艺术形式，因为你在这个尺度上把所有这些想法都罗列出来，然后突然你就会想，现在我们就来，那些实验都是用100个GPU完成的。太棒了。现在让我们用100,000个GPU运行一次。
有了这个想法，就好像，事情并非总能完美地转换。这里面有很多个人品味和直觉的成分。并不是他们没有优秀的研究人员。就好像很难说谁选的口味是对的。就像你不在乎影评人的评价，你在乎的是烂番茄，也许是观众评分。而且就好像，你到底在听哪位批评家的意见？即便你有优秀的人才，由于组织问题，要真正做出好的成果也很有挑战性，因为合适的人没有处在合适的位置，决策者可能选错了人，让他们搞政治，把他们的想法和研究路径纳入模型，而这些想法不一定是好主意。
ScaleAI 收购案与 Meta 的“超级智能”野心Matthew Berman：
我们来探讨一下谁在做决策。上周有很多新闻报道，扎克伯格给出了1亿美元的报价，山姆·奥特曼也证实了这一点。Meta收购Scale AI，似乎是冲着亚历山大·王（Alexandr Wang）及其团队去的，他正处于创始人模式。那么，Scale AI的收购究竟给Meta带来了什么？
Dylan Patel：
我觉得从某种程度上说，AI数据标注业务现在有点“过气”了。
Matthew Berman：
作为一项服务，因为各家公司都在取消订单。
Dylan Patel：
是的，谷歌要退出了。我听说Scale AI今年和他们有大约2.5亿美元的合作，但他们却要退出。显然，谷歌已经投入了大量资金，项目也已骑虎难下，但这些投入会大幅缩减。据说OpenAI也切断了与外部的Slack连接，所以现在Scale AI和OpenAI之间不再有任何联系了。
Matthew Berman：
公司之间的彻底决裂。
Dylan Patel：
是的，所以（像OpenAI这样的公司）不希望Meta知道他们如何处理数据，因为模型的独特之处就在于你想用自定义数据做什么。Meta收购Scale AI并不是为了Scale AI这家公司本身，而是为了得到亚历山大和他几位最核心的同事。Scale AI还有其他一些非常出色的人才，Meta将他们一并招入麾下。
Dylan Patel：
目前的问题是，Scale AI带来的数据是否优质？了解所有这些其他公司正在进行的各种数据标注路径固然有益，但更重要的是，Meta想找个人来牵头这项超级智能（Superintelligence）的工作。亚历山大·王和我年龄相仿，大概28或29岁。他在各方面都取得了惊人的成功。人们可以不喜欢他，但他显然非常成功，尤其是当他说服马克·扎克伯格——一个非常理智和聪明的人——买下他的公司时。这家公司的营收差不多有10亿美元，而他却说“我们去追求超级智能吧”。
这（对扎克伯格而言）是一个巨大的转变。如果你看扎克伯格几个月前的采访，他当时并没有在追逐超级智能，他只是在宣扬AI很好、很棒，但认为通用人工智能（AGI）不会很快实现。所以这在策略上是一个重大转变，因为他现在基本上是在说：“超级智能才是最重要的，我相信我们正在朝着这个方向前进。现在我该怎么做才能迎头赶上？因为我落后了。”
Matthew Berman：
似乎所有这些大公司的叙事现在都转向了“超级智能”，即便在一个月前还是“通用人工智能”（AGI）。为什么会有这种转变？
Dylan Patel：
AGI这个词没有明确的定义。
Matthew Berman：
是的，含义多变。
Dylan Patel：
你可以直接问一位人类研究人员“AGI是什么意思？”，他们可能真的认为这仅仅意味着一个自动化的软件开发人员，但这并不是通用人工智能。生态系统中的许多研究人员都这么认为。伊利亚·苏茨克维（Ilya Sutskever）是第一个洞察这一切的人，然后他创办了自己的公司Safe Superintelligence（SSI）。我认为这开启了（行业）品牌重塑的潮流。几个月过去了，差不多九个月到一年后，大家都在说“哦，超级智能是现实了”。所以这是另一个由伊利亚首先提出的研究方向，就像预训练扩展、推理网络等，他即便不是首创者，也为此付出了很多努力。这种品牌重塑，也许说明他也懂营销。
Matthew Berman：
有传言说，扎克伯格曾试图收购SSI，但被伊利亚拒绝了。我还想问你关于丹尼尔·格罗斯（Daniel Gross）和纳特·弗里德曼（Nat Friedman）的事。这些谣言现在可能已得到证实，扎克伯格似乎也在试图聘请他们。这两个人能带来什么？
Dylan Patel：
扎克伯格试图收购SSI，他还试图收购Thinking Machines和Perplexity。这些都见诸于一些媒体报道。具体来说，流传的谣言是马克试图收购SSI，但伊利亚显然拒绝了，因为他致力于实现超级智能的核心使命，并不为产品发愁，而且他可能并不太看重金钱，他主要专注于构建它，在各方面都是一个真正的信徒。他很可能拥有足够强大的投票权和控制权来说“不”。如果关于丹尼尔·格罗斯的传闻属实，那么很可能是他想促成这次收购。他会说，这是一个超棒的创始人。
另一位创始人纳特并非来自AI研究背景，但他和丹尼尔一起有自己的风险投资基金，并共同创立了SSI。他可能希望进行收购，但最终没有实现。我猜测，如果他（丹尼尔）真要离开，很可能就是因为（在收购SSI这件事上）产生了分歧和裂痕，所以他要继续前行。
总的来说，当你观察许多非常成功的人时，会发现成功的关键并非金钱，而更多的是权力。去Meta的人，很多显然是为了钱，但也有很多人离开（原有岗位），是因为他们现在能掌控一家市值万亿美元公司的AI发展路径。他们可以直接与扎克伯格对话，并能说服一个对整个公司拥有完全投票权的人。
这其中蕴含着巨大的能量。他们可以在数十亿用户中实施他们想实现的任何AI技术，无论是基础设施、研究还是产品。对于像亚历山大·王、纳特·弗里德曼或丹尼尔·格罗斯这样更专注于产品的人来说，这样做非常有意义。纳特打造了GitHub Copilot，他是一个产品人，而不是AI研究员，尽管他对AI研究了解很多。同样，亚历山大显然对研究非常精通，但他的超级技能在于与人打交道、说服他人和组织协调，而在研究本身方面可能没那么突出。在Meta，他们拥有所有的资源和权力去做很多事情。
山姆·奥特曼还提到，Meta一直在向其顶尖研究人员提供数亿美元的offer，但顶尖研究人员中没有一人离开。我想问，仅仅靠砸钱来解决问题、聘请最优秀的人才，这是一个成功的策略吗？感觉文化元素可能会缺失。在OpenAI，有很多真正的信徒，他们为使命而工作。仅仅投入资金并吸引最优秀的研究人员，就足以营造出那种文化氛围吗？
这要看你怎么想。如果你认为超级智能是唯一重要的东西，那你就必须去追求它，否则就是失败者。马克·扎克伯格当然不想成为失败者，而且他认为自己能建成超级智能。于是问题就变成，你该怎么做？
答案就是去尝试招揽最优秀的团队，比如Thinking Machines，那里有所有来自前OpenAI、Character.AI、Google DeepMind、Meta等公司的杰出研究人员和基础设施人员。SSI也一样，是伊利亚和他招募的人。Meta试图从这些公司招募人员，也试图收购这些公司。当那条路走不通时，你就会和像亚历山大这样人脉极广、能帮你组建团队的人合作，然后立刻开始组建团队。
14:28 这和收购像SSI这样员工人数远少于100人的公司有什么不同？我觉得SSI的员工甚至不到50人。花300亿美元收购，就像在说：“我们为每个研究人员花了数亿美元，给伊利亚本人就花了100多亿美元。”这和你现在（单独挖人）做的是同样的事情。
至于山姆所说“没有顶尖研究人员离开”这一点，我认为并不准确。最初肯定有顶尖研究人员离开了。而且你说的是1亿美元，实际上，我听说过OpenAI有一个人的身价超过了十亿美元。不管怎样，这些钱数额巨大，但这和直接收购其中一家公司是一回事。像SSI或Thinking Machines都没有产品，你收购它们就是为了人才。
如果超级智能就是一切，那么1亿美元，甚至10亿美元，与Meta目前的市值以及人工智能的整体潜在市场相比，都只是沧海一粟。
微软与OpenAI：从蜜月到“疗法”Matthew Berman：
我想稍微谈一下微软和OpenAI的关系。我们似乎早已度过了蜜月期，现在他们的关系确实处于一种动荡不安的状态。
Dylan Patel：
现在它成了一种疗法。
Matthew Berman：
是的，绝对。
Dylan Patel：
告诉我你们的感受，山姆和萨提亚。
Matthew Berman：
这就是心理治疗。这是两个人，他们有关系，并且这种关系似乎有点破裂。OpenAI的野心似乎没有边界。微软现在是否在考虑调整交易？OpenAI呢？微软似乎没有理由这么做，但你觉得接下来这段关系的动态会怎样发展呢？
Dylan Patel：
OpenAI如果没有微软，就不会有今天的成就。微软签署了一项协议，借此获得了巨大的权力。这是个很奇怪的交易，因为一开始他们想做非营利组织，并且关心AGI（通用人工智能），但同时，为了拿到钱又不得不放弃很多。
微软不想卷入反垄断相关事务，所以他们把这笔交易的结构设计得很奇怪。有收益分成、有利润保障，还有各种各样不同的东西，但没有任何地方写明：你拥有公司X%的股份。他们的分成比例，我一下子想不起来了，但大概是20%的收入分成，49%或51%的利润分成，直到达到某个上限。然后，微软拥有直到AGI实现之前所有OpenAI的IP（知识产权）权利。
所有这些东西都非常模糊不清。利润上限可能是10倍左右。再说一遍，我现在是信口开河，有段时间没关注了。但就好比微软投入了约100亿美元，而OpenAI有个10倍的利润上限，这意味着如果微软能从OpenAI获得1000亿美元的利润，那他们现在还有什么动力去重新谈判呢？在那之前，OpenAI得把所有利润或者一半利润都给他们。他们获得20%的收入分成，并且在AGI实现之前可以使用所有的OpenAI IP。
但是，AGI的定义是什么呢？理论上来说，OpenAI的董事会可以决定何时达到AGI。但如果真发生这种情况，微软会把他们告得倾家荡产，而且微软的律师比上帝的还多。所以这是一种疯狂的交易。
对OpenAI来说，里面有一些确实令人担忧的事情。他们已经去掉的主要内容之一是，微软曾非常担心反垄断问题，即OpenAI必须独家使用微软的计算资源。他们去年放弃了这项条款，然后今年宣布了“星际之门”（Stargate）的合作。也就是说，OpenAI将流向甲骨文（Oracle）、软银、CoreWeave和中东，用于构建他们的“星际之门”集群，也就是他们的下一代数据中心。当然，他们仍然从微软那里获得大量资源，但也从“星际之门”获得了大量资源，主要来自甲骨文，但其他公司也有。
而在以前，OpenAI不直接找微软就无法做到这一点。最初他们想找CoreWeave，但后来微软就介入了这段关系，说：“不行，你只能用我们的。”所以很多GPU从CoreWeave租给微软，再租给OpenAI。但这种独家合作结束了，现在CoreWeave与OpenAI签署了大合同，甲骨文也与OpenAI签署了大合同。
Matthew Berman：
在微软放弃独家授权的这笔交易中，他们得到了什么回报？有报道称他们为此得到了什么吗？通常情况并非简单地说“好吧，我们放弃了”。
Dylan Patel：
据报道，他们放弃了独家权，作为回报，得到的仅仅是优先拒绝权。即任何时候当OpenAI去争取计算资源合同时，微软都有权以相同的价格和时间框架提供相同的计算资源。
Matthew Berman：
是为了降低反垄断风险。
Dylan Patel：
是的，反垄断是最大的考量因素之一。从OpenAI的角度来看，他们只是很恼火微软的速度比他们所需要的慢得多。他们无法获得所需的全部计算资源和数据中心容量等。CoreWeave和Oracle的进展要快得多，但即便如此，它们也不够快。于是，OpenAI也转向了其他人。
但如今，真正具有挑战性的是，微软拥有OpenAI的IP，他们对这一切都拥有权利。他们现在可以随心所欲地处置它。不管是微软表现得友善不利用它做什么，还是有些无能无法充分利用它而只是浏览一下，不管原因是什么，微软尽管有能力，却没做多少事。但可能性是无穷无尽的。
另一件事是，你拥有直到超级智能实现之前的所有IP。这意味着，在实现超级智能的前一天，你拥有所有的IP，然后它被切断，但直到那一刻之前你都拥有所有的IP。所以这也许是一天的工作量，也许需要10天，而不是1天。或者，你实现了超级智能，但要经过一段时间才能进行审议并达成共识，确认你已经实现了。但就像你在这个日期宣称超级智能模型就在这里并将其公开一样，微软可以访问它。
所以，对OpenAI的开发人员来说，这才是真正的重大风险。利润分成之类的事情非常复杂且困难，而且大多数人在投资OpenAI时并不太在意这些。要让世界上的每一位投资者都认可你那疯狂的结构——即非营利性的营利模式以及所有这类东西——是极具挑战性的。微软长期拥有你所有的利润和全部IP的权利。所以理论上，如果他们决定挖走你最好的一些研究人员然后自己实施一切，你可能就一文不值了。
这类事情会吓到投资者，而山姆和OpenAI则认为这将成为人类历史上资本密集度最高的初创企业。估值会持续飙升，因为他们正在构建的东西短期内并无盈利计划。他们已经存在很长时间，年收入约100亿美元，但未来五年仍不会盈利。有预测显示，在实现盈利之前，他们预计自己的收入将远超数百亿美元，甚至可能达到数千亿美元。所以在整个过程中，他们会一直亏损，需要不断筹集资金，还得能够说服全球的每一位投资者。而且这些条款既不光彩、不简洁，也不易理解。
GPT-4.5 Orion项目为何被弃用?Matthew Berman：
好的，你稍微谈到了计算能力，特别是提到了Azure能够接入Core Weave和其他地方。我想专门谈谈4.5，GPT 4.5。我认为它是上周被弃用的。这是一个很像你的大型模型。
Dylan Patel：
真的是这样吗？
Matthew Berman：
不是吗？
Dylan Patel：
我不知道。我以为在聊天中仍然可以使用。我只是好奇而已。
Matthew Berman：
也许他们只是宣布了弃用，但这是迟早的事。
Dylan Patel：
不，它还在那里。不过，没错，他们确实跳过了。它的使用量非常少，这样就说得通了。
Matthew Berman：
是模型太大了，还是运行成本太高了？GPT 4.5 Orion是出了什么问题吗？
Dylan Patel：
这就是他们内部所说的、他们希望能成为GPT 5的东西，他们在24年初就下了这个赌注。他们在24年初开始对其进行训练。这是一场全面的赌注，全规模预训练。我们只是要收集所有数据，构建一个大得离谱的模型，然后对其进行训练，使其比4.0和4.1版本聪明得多。
说清楚点，我之前说过它是第一个能把我逗笑的模型，因为它真的很有趣，但总体来说，它没那么实用，速度太慢，而且和其他模型相比成本太高。就像O3只是在预训练扩展方面表现更好，但数据却无法扩展。所以他们没能获取大量数据。如果数据没有这么快速地扩展，他们就有这样一个在所有这些计算资源上训练的非常庞大的模型。
但你面临一个被称为过度参数化的问题。一般来说，在机器学习中，如果你构建一个神经网络并给它输入一些数据，它往往会先记忆，然后再进行泛化。它会知道如果我说"敏捷的棕色狐狸跳过"，它就会知道下一个词总是"懒惰的"，直到你用比它所学多得多的数据对其进行训练。敏捷的棕色狐狸究竟是什么意思，懒惰的狗又是什么意思呢？它不会理解，实际上也不会构建世界模型。它缺乏通用性。在某种程度上，GPT 4.5 Orion规模如此之大，参数如此之多，以至于它确实记住了很多内容。实际上，当它最初开始训练时，我知道包括我在内的人们都兴奋不已，就像在说，天哪，它已经在碾压各项基准测试了，而我们才刚刚起步。
Matthew Berman：
训练。因为有些检查点真的很棒，最初。
Dylan Patel：
是的，但那是因为它只是记忆了很多内容，然后就停止进步了。就好像它只是被长时间记忆下来，却没有泛化能力。它最终确实实现了泛化，因为这是一次非常复杂的运行。
实际上，他们的系统里有个bug已经存在好几个月了，在训练期间。训练通常是几个月或更短时间，通常还会更少。他们的训练代码中有一个bug存在了几个月，这是一个非常小的bug，却影响了训练。这很有趣，就像当他们最终发现问题时，原来是Pytorch里的一个bug，OpenAI发现并修复了这个bug，然后提交了补丁。在Github上，有大约20个人对bug修复反应做出了回应，用表情符号表达了看法。另一件事是，他们不得不经常从检查点重新开始训练。它如此庞大、如此复杂，很多事情都可能出错。
因此，从基础设施的角度来看，仅仅是整合如此多的资源、将它们汇聚在一起并让其稳定训练就非常困难。但从另一个角度看，即便基础设施、代码以及诸如此类的一切都完美无缺，你仍然会面临数据方面的问题，大家都在提及2022年的《Chinchilla》论文，我想是2022年，谷歌DeepMind发布了一篇名为《Chinchilla》的论文。它基本上表达的意思是，对于一个模型而言，参数与标记的最优比例是多少？而且这仅适用于具有Chinchilla模型确切架构的密集模型。
但感觉就像是，如果我有X次浮点运算，我应该有这么多参数和这么多词元。这是一个缩放定律。显然，当你增大模型规模并应用更多浮点运算时，模型的性能会提升。但是应该添加多少数据呢？现在应该再添加多少参数，显然，随着时间的推移，人们的架构会发生变化，Chinchilla的精确观测结果并不准确。
大致来说，你想要的训练数据的每个参数对应约20个标记，这是相对于模型中的参数而言的。大致来说，实际上有一条曲线，诸如此类。在这方面它更复杂，但就像那种观察并非完全相同。但是，当你增加计算能力时，你想以一定比例或沿着某条曲线增加更多数据和参数，在理想世界中基本上有一个公式，而他们并没有遵循这个公式。他们不得不使用比标记多得多的参数。
但这都是24年早期的事了，他们开始训练的时候，所有这些实验规定，他们最终做到了，我不记得他们是什么时候发布4.5的。是去年。但他们最终发布模型时，是在完成开始训练、完成训练、预训练之后好几个月，然后他们再尝试进行强化学习（RL）等一系列操作。但与此同时，OpenAI的不同团队发现了一些神奇的东西，即推理能力，也就是那颗"草莓"。
Matthew Berman：
就好像，在他们已经投入了所有这些资源，并且正在训练这个大规模模型的过程中，他们意识到，由于推理能力，以低得多的成本，我们就能从一个模型中获得更高的效率和更高的质量。
Dylan Patel：
如果你真的很想将推理简化为第一性原理，这样你就给模型提供了更多的数据。你从哪里获取这些数据的？你在创建这些可验证的领域时，是如何生成数据的，在这些领域中模型生成数据，并且你会丢弃所有未得出正确答案的数据。在那里，它不会验证那个数学问题、那段代码或那个单元测试是否正确。所以在某种意义上，回顾过去，显然当时我没有那种直觉，但回顾起来，那种直觉很有道理，就是说，4.5版本失败是因为它没有足够的数据。
此外，从扩展角度和基础设施层面来看，这非常复杂且困难。那里存在着大量的问题和挑战。但他们也不应该有足够的数据。现在，就像另一个团队取得的这一突破正在产生更多数据，而这些数据是有益的。就像很多合成数据一样，它就像劣质数据，但就像草莓的魔力一样，推理的魔力在于数据是优质的。你正在生成的数据是什么。所以从第一性原理的角度来看，这确实很有道理。数据就是那堵墙，仅仅增加更多参数无济于事。
苹果公司在人工智能领域的滞后表现Matthew Berman：
想聊会儿苹果，我相信你对此有自己的看法。苹果显然落后了。我们在公开模型、泄密情况以及了解他们正在做什么等方面没有获得太多信息。你认为苹果公司正在发生什么？你觉得他们只是失误了吗？它们在某种程度上与游戏相关。他们为什么不是招聘公司呢？如果非要猜测的话，内部正在发生什么？
Dylan Patel：
我认为苹果就像一家非常保守的公司。他们过去收购过一些公司，但从未进行过真正大规模的收购。
Matthew Berman：
Beats是最大的一个。一家耳机公司。
Dylan Patel：
对。但总体而言，他们的收购规模都非常小。而且他们确实收购了很多公司。他们只是早早收购真正的小公司。他们发现，也许是一家失败的初创公司，或者，不管他们买的是什么，他们收购的这些初创公司尚未实现产品与市场的契合，也不是那种超级热门的公司。就苹果而言，他们在吸引AI研究人员方面一直存在问题，这些研究人员喜欢夸夸其谈，喜欢发布和发表自己的研究成果。苹果一直是一家神秘的公司。他们实际上修改了政策，允许其AI研究人员发表成果。但说到底，这仍是一家神秘的公司。它仍然像一家陈旧的公司。就像Meta只能不断提升一批研究人员和人才，因为他们已经有了一批ML人才，对吧？他们一直是AI领域的领导者。他们也有这个Pytorch团队。然后他们承诺将AI开源。
Matthew Berman：
已经有一段时间了。他们一直是对的。开源。
Dylan Patel：
除此之外，就像谁有能力招揽AI人才，从DeepMind跳槽到OpenAI，OpenAI就像是DeepMind的竞争对手，诸如此类的事情，还有很多优秀的研究人员聚集在一起组建了它，然后是Anthropic分裂组织，接着是OpenAI的Thinking Machine分裂组织，而SSI是OpenAI的分裂组织，对吧？这就好比，有哪些公司实际上能够招揽到原本没有AI人才的人才呢？就好像谷歌Deepmind在这个领域就是最大的品牌，而且他们一直吸引着最多的AI研究人员和博士流入。然后还有像OpenAI、Anthropic这样的机构，它们在某种程度上与思维机器和SSI有关，对吧？这都是OpenAI的。我觉得，吸引人才主动找上门来很难。
复杂且有价值的AI功能仍将依赖于云端Dylan Patel：
如今，Anthropic拥有如此强大的文化，以至于他们能够让人们大开眼界。我在思考，像Meta这样的领导者可以，但苹果要如何吸引这些顶尖研究人员呢？他们招到的不会是最优秀的研究人员。所以对他们来说，保持竞争力很有挑战性。
此外，他们对英伟达有偏见，非常讨厌英伟达。这可能出于合理的原因：英伟达曾一度威胁要就某些专利起诉他们，并且卖给他们的GPU最终也出现了故障，那次事件被称为“凸点门”（Bumpgate）。这是一个非常有趣的故事。
事情与英伟达的一代GPU有关，具体原因我可能记不太清了，毕竟已经过去很多年了。
Matthew Berman：
这是什么时候的事？
Dylan Patel：
大概是2015年，或者更早。当时有一个面向笔记本电脑的英伟达GPU系列。芯片底部有焊球，负责将其输入输出（I/O）引脚连接到主板、CPU、电源等。在供应链的某个环节——所有公司，包括戴尔、惠普、苹果、联想，都指责英伟达，英伟达也反过来指责他们，称这不是自己的错。我不想归咎于谁，但问题出在焊球的质量上。当温度上下波动时，由于芯片、焊球和PCB（印刷电路板）的热膨胀系数不同，它们的膨胀和收缩速率也不同。最终，这种不同的膨胀率导致连接芯片和电路板的焊球开裂。这就是所谓的“凸点门”。
这样一来，芯片与电路板之间的连接就断开了。我认为苹果公司希望从英伟达获得赔偿，但英伟达当时拒绝了，表示情况很复杂。苹果非常讨厌英伟达，一方面是由于这个事件，另一方面是因为英伟达在尝试进入移动芯片市场（虽然最终失败了）时的威胁性举动。当时他们试图就移动设备中的GPU专利起诉所有相关公司。综合这两件事，苹果非常不喜欢英伟达，因此在图形硬件方面的采购量也不大。
Matthew Berman：
他们现在其实也不再需要大量采购了。
Dylan Patel：
在笔记本电脑里他们不需要，但在数据中心里也是如此。如果我是一名研究人员，我会考虑文化契合度、薪资待遇等因素。即使是像Meta这样拥有大量计算资源和优秀研究人员的公司，仍然需要提供巨额资金才能吸引人才。而苹果不会提供那么高的薪酬，并且他们甚至没有足够的算力。为了给用户提供推理服务，他们同时在Mac芯片和数据中心上运行模型，这种方式太奇怪了，我（作为研究员）可不想处理这些事情，我只想构建最好的模型。这对苹果来说是个挑战。
Matthew Berman：
好的，关于苹果，我最后一个问题。他们非常重视设备端AI，我个人很喜欢这种做法，比如它在安全和延迟方面的优势。你对设备端AI（即边缘端AI）与云端AI的看法是什么？未来的趋势会介于两者之间吗？
Dylan Patel：
总体而言，我对设备端AI持悲观态度，并不看好它。安全固然很棒，但我了解人类心理：免费比付费好，有广告的免费模式比单纯的安全更有吸引力。其实没多少人真正关心安全问题，他们口头上说关心，但真正基于安全因素做决策的人非常少。当然，我也希望有隐私和安全保障。
Matthew Berman：
等等，但你刚说喜欢免费，设备端AI不也是一种免费的体现吗？
Dylan Patel：
不，比如Meta会在云端免费提供服务，OpenAI的ChatGPT有免费版，谷歌也有。
Matthew Berman：
是的，而且云端的免费版会比在你设备上运行的任何版本都更好。
Dylan Patel：
对。设备端AI的一个重大挑战在于硬件限制。模型的推理速度取决于芯片的内存带宽。如果我想增加芯片的内存带宽，硬件成本可能要增加50美元，这最终会转嫁给客户，导致iPhone贵上100美元。而用这100美元，我可以在云端获得大约一亿个token的使用量，但我个人根本用不了这么多。我宁愿省下这100美元，因为Meta会在WhatsApp和Instagram上免费提供模型，OpenAI会在ChatGPT上免费提供，谷歌也会免费提供。从这个角度来看，设备端AI很有挑战性。
最后，我不同意关于延迟的观点。我认为，对于某些特定用例，例如键盘上的下一个词预测或拼写检查这类超小模型，低延迟是有意义的。但对我们个人而言，目前最有价值的AI应用场景，比如搜索餐厅，或者访问我的Gmail、日历，这些数据反正都在云端。
在商业领域有大量用例，但就个人而言，反正我的数据都在云端。
对于个人来说，最有价值的应用是搜索、通过谷歌地图找餐厅、打电话、查看日程和邮件等。这些数据和状态本来就都在云端。再比如一个更主动的工作流：“我想吃意大利菜，找一家位于我们两人之间、有无麸质选项、并且今晚7点可以预订的餐厅。”
这是一个深入的研究型查询，得到回应需要时间。再比如我们设想未来AI为我们预订航班，它不是简单地执行“预订航班”这个命令然后立刻完成。
它需要进行研究、查找信息，然后返回结果，这个过程必须经过网络和云端。它有什么必要存在于设备上呢？而且由于硬件限制，即使是流式传输token，你的手机运行Llama 7B的速度，也比不上我从服务器查询并把token传回手机的速度。更何况，没人想运行Llama 7B，他们想运行的是GPT-4.5、Claude 3 Opus或其他更好的模型。
用户想要的是好模型，而这些模型不可能在设备上运行。所以对于像整合我所有数据这样的用例，设备端AI很难实现，况且这些数据无论如何都在云端。
Meta、谷歌、微软掌握了多少我的数据？允许我接入所有这些就行了。就像Anthropic正在做的，你可以把你的谷歌云盘连接到Anthropic。即使我的数据不在Anthropic那里，只要我授权，他们仍然能够访问。所以从用例的角度来看，设备端AI的真正好处究竟在哪里呢？从安全角度看确实有，但实际用例呢？
Matthew Berman：
是的，我认为可能有理由兼顾两者。从总工作负载来看，可能会偏向云计算，但我认为也有理由将一部分工作负载放在设备端处理。任何与设备直接交互的操作，比如文本预输入，都很有意义。
Dylan Patel：
我确实认为AI会在设备上得到应用，但这只会是价值极低的AI，因为其成本结构必须很低。我认为消费者不会为手机上的AI硬件买单，因为那会让手机更贵。如果你打算保持手机价格不变，同时增加AI功能，那很好；但如果要提价，消费者不会接受。
设备端AI真正发挥作用的场景，会是在可穿戴设备上，比如耳机或智能眼镜。你在本地做的都是些零碎的小事，比如图像识别、手部追踪，但实际的推理和思考是在云端进行的。这在某种程度上也是许多这类可穿戴设备所推崇的模式。
我认为设备上会有一些AI，各大公司也都会去尝试。但真正能推动用户采用、增加营收并改善客户生活的功能，将会倾向于云端，这也是苹果采取当前策略的原因。苹果正在建设几个大型数据中心，购买数十万块Mac芯片并将其部署进去，还聘请了谷歌TPU机架架构负责人来制造加速器。他们自己也认为云是AI发展的方向，只不过他们也必须在设备端上做文章。但苹果公司自身，虽然不会明说，但也希望将很多业务放在云端运行。
NVIDIA vs. AMD：谁会胜出？Matthew Berman：
他们确实有很棒的芯片。我们来谈谈芯片，谈谈英伟达与AMD的对比。最近我读了几篇SemiAnalysis的文章，文章认为AMD的新芯片实际上非常强大。你怎么看？这真的足以挑战CUDA的护城河吗？他们会开始从英伟达手中夺取市场份额吗？
Dylan Patel：
我认为这是多种因素共同作用的结果。AMD确实很努力，但他们的硬件在某些方面比较落后，尤其是与Blackwell相比。他们面临的真正挑战是软件，开发者体验并不出色。情况正在好转，我们已经向他们提出了一长串建议来改变现状，比如具体修复和更改CI资源等。我们在12月和最近都提供了建议，他们已经实施了其中相当一部分，但在软件方面感觉仍然远远落后。至于市场份额，我认为他们会获得一些。他们去年有一定份额，今年也会有。挑战在于，与英伟达的Blackwell架构相比，AMD的芯片客观上要更差。
Matthew Berman：
哦，你是指单纯的芯片，而非生态系统。
Dylan Patel：
是的，因为系统。英伟达能够通过芯片上搭载的NVLink网络硬件将GPU连接组网。英伟达构建服务器的方式能让72个GPU非常紧密地协同工作，而AMD目前只能做到8个。
Dylan Patel：
这对推理和训练至关重要。其次是英伟达的软件栈，这不仅仅是CUDA。虽然人们常说“就是CUDA”，但实际上大多数研究人员并不会直接接触CUDA。
Dylan Patel：
他们调用PyTorch，PyTorch再调用CUDA，从而在硬件上自动运行。无论是通过编译器还是即时模式，它与英伟达硬件的适配性通常都非常好。在AMD上也是类似的调用流程。而现在，很多人甚至不再直接接触PyTorch。
Dylan Patel：
他们会使用vLLM或SGLang等推理库，从Hugging Face或其他地方下载模型权重。
Dylan Patel：
他们将模型权重接入推理引擎（例如GitHub上的开源项目SGLang或vLLM），然后只需运行即可。这些引擎在底层会调用Torch编译、CUDA以及Triton等各种库，形成一个完整的调用栈。
Dylan Patel：
实际上，最终用户只想使用一个模型来生成token。英伟达构建的Dynamo等库让这个过程变得非常轻松。
Dylan Patel：
显然，开发者所处的层次不同，有的在应用层，有的则深入底层。但许多用户只想调用开源库，告诉程序：“这是我的模型权重，这是硬件，运行它。”在这方面，AMD确实很努力，但用户体验仍然较差。并非程序无法运行，而是例如在使用某个库时，英伟达可能需要设置10个参数。
Dylan Patel：
而用AMD可能需要设置50个参数。并且每个参数都有不同的设置，要达到最佳性能非常困难。不过，我认为AMD正在迎头赶上。
Dylan Patel：
他们进展迅速，会占据一定的市场份额。另一方面，英伟达的一些做法也对自己不利。在云服务生态系统中，有谷歌、亚马逊、微软这样的大公司。
Dylan Patel： 43:22 这些大公司一直在研发自己的AI芯片，与英伟达形成了竞争。作为回应，英伟达将CoreWeave、甲骨文等其他云公司列为优先合作对象。实际上，这类公司超过50家，包括Nebius、Together和Lambda等。英伟达把原本可能分配给亚马逊、谷歌的资源拿出来，优先供给这些新兴云公司。
Matthew Berman：
这算是一种示好吧？
Dylan Patel：
是的。你去看看亚马逊在GPU上的利润率，如果直接租用一个GPU，他们每小时收费约6美元。
Dylan Patel：
而将英伟达GPU部署在数据中心的成本大约是每小时1.40美元。云服务的合理利润可能是每小时1.75美元或2美元。这才是英伟达希望看到的，他们不希望所有利润都被云服务商赚走。
Dylan Patel：
而在亚马逊上售价是6美元。当然，你可以和亚马逊谈判以获得更低的价格，但这并不容易。
Dylan Patel：
所以，英伟达通过支持这些不同的云公司来压低价格。但在我看来，他们最近犯了一个重大错误：收购了Lepton公司。Lepton本身不拥有数据中心，但他们开发云软件层，负责可靠性、便捷运行以及Slurm、Kubernetes等所有调度相关的工作。这本是大型云公司和那些被称为“新兴云企业”（Neo-clouds）所做的事情。
Dylan Patel：
现在英伟达收购了这家开发软件层的公司，并正在研发名为DGX Cloud的产品。这意味着，如果任何云服务商有闲置的GPU，可以将其作为裸机交给英伟达，英伟达会在上面部署Lepton的软件并将其出租给用户。这让云服务商非常恼火，因为英伟达在与他们直接竞争。实际上，英伟达可能也会将自己的一部分GPU资源接入DGX Cloud平台。
Dylan Patel：
这就好比你扶持我们，现在却又打造一个平台与我们竞争。所以很多云服务商都很生气，但他们不敢公开对英伟达表达不满，因为英伟达的地位太重要了，就像你不会去招惹上帝一样。所谓“黄仁勋（Jensen）赐予，黄仁勋也能收回。”
Dylan Patel：
但是，他们会私下向我们（分析师）抱怨。因此，一些云服务公司开始转向AMD，部分原因是AMD可能为它们提供了激励，部分原因也是它们对英伟达不满。现在确实有一些云公司在购买AMD的GPU。此外，AMD还在做第三件事：他们正在做英伟达被指责的那种事情。我不知道你是否了解外界针对英伟达和CoreWeave那种交易模式的指控。
Matthew Berman：
是的，指控他们来回输送收入，构成欺诈。
Dylan Patel：
是的，英伟达投资他们，然后又从他们那里租用集群。
Matthew Berman：
是的，看起来是常规操作。
Dylan Patel：
CoreWeave用投资款购买GPU，而且他们还必须开发自己的软件。
Matthew Berman：
这其中似乎有些值得推敲的地方，但没错。
Dylan Patel：
不管怎样，AMD实际上正在做类似的事情，甚至在加速推进。他们在向甲骨文、亚马逊、Crusoe、Digital Ocean、TensorWave等公司出售GPU，然后再从这些公司租回算力。这种“售出再租回”的模式，与CoreWeave购买英伟达GPU后，将一小部分算力租给英伟达，但将绝大多数算力卖给微软的情况，是有区别的。
Matthew Berman：
为了打开局面。不过这不算会计欺诈吧？
Dylan Patel：
不算。从会计角度看是完全合法的。向别人出售产品，再从他们那里租回服务，这本身没有问题。就像英伟达……
Matthew Berman：
英伟达也做过。他们几乎是在资助对方进行这项投资。
Dylan Patel：
没错。对于甲骨文和亚马逊这类公司，AMD的说辞是：“购买我们的GPU，我们会租回一部分算力。你们可以保留另一部分，尝试租给自己的客户。这样能激发市场兴趣，如果效果好，你们就可以买更多。”而对于那些只购买英伟达产品的新兴云企业，他们的说法是：“为什么不买我们的产品？我们签个合同让你安心，而且你还可以把一部分算力租给别人。”从某种程度上说，这讲得通。但另一方面，这看起来也像是很多销售额其实只是AMD自己回购了算力。但这确实培养了非常好的合作关系。
Dylan Patel：
现在，TensorWave和Crusoe这些云公司都表示很喜欢AMD。因为AMD先把GPU卖给他们，再租回算力，让他们从中获利。他们可以把这笔钱再投资于更多的AMD GPU，或者将富余的GPU租给其他人。与此同时，他们觉得英伟达反正就是想和自己竞争，自己又能怎么办呢？这形成了一个有趣的局面。我认为AMD会表现不错，虽然市场份额不会激增，但他们会卖出价值数十亿美元的芯片。
Matthew Berman：
但如果你要为一家公司提供投资建议，在可预见的未来，你会建议他们投资哪种芯片？还是英伟达吗？
Dylan Patel：
这取决于你能从AMD拿到什么样的价格。我认为存在一个价格点，在这个价格点上使用AMD是合理的，而且AMD有时确实会提供这样的价格。Meta就使用了相当多的AMD产品，当然他们也大量使用英伟达。在某些特定工作负载中，如果你有足够的软件人才，且AMD给出的价格非常低，那么选择AMD就是明智的。这就是Meta这么做的原因。
Grok与xAIMatthew Berman：
我想谈谈关于可解释人工智能（XAI）和Grok 3.5的话题。显然，目前关于它的公开信息并不多。埃隆·马斯克曾表示，这是目前地球上最智能的AI，并将基于第一性原理运行。
Matthew Berman：
这一切都是吹嘘吗？他们真的发现了新的、独特的东西吗？特别是他提到的那种关于“有争议但真实”的事实。他的行为要么表明他有了新发现，要么就是纯粹的自吹自擂。你对目前的情况有什么看法？
Dylan Patel：
埃隆是一位出色的工程经理，同时也是一位出色的营销专家。我不知道新模型会是什么样子，但听说它很不错，大家都这么说。我们看看结果如何。当Grok 3发布时，我感到非常惊喜，因为它实际上比我预期的要好。
Matthew Berman：
Grok 3。
Dylan Patel：
我日常不会用它，但我确实会用它来处理某些查询。
Matthew Berman：
如果不介意的话，是哪类查询呢？
Dylan Patel：
它的深度研究功能比OpenAI快得多，所以我有时会用它。而且，有时候其他模型在提供我想要的数据时会显得很“羞怯”（shrinking violet）。我个人对人文地理很感兴趣，比如人类历史、地理、政治以及资源间的相互作用，所以也想了解人口统计数据之类的信息，这很有趣。
举个例子，我长大的小镇位于《圣经》地带，人口约一万，黑人和白人各占一半。我向别人解释这种人口构成时会提到，那片区域是海洋退去后的洪泛区，土地极其肥沃。在佐治亚州，当早期定居者来到这里时，他们占据了这些肥沃的地区，获得了更好的收成，从而有能力购买奴隶。这就是为什么当地的黑人比例远高于州内大部分地区的原因。
虽然这种说法可能有些“出格”，但我喜欢思考这类人文地理问题，而Grok并不会回避这些话题。它能让我进行深入思考。虽然从“品味”（tastefulness）的角度看，探讨某些话题可能不妥，但它有助于理解历史。例如，欧洲历史上的一些入侵行为，其根本原因并非侵略本性，而是由于其发源地日益干旱，迫使他们离开家园。了解这类事情，或是像标准石油公司在成为垄断企业前如何战胜竞争对手的商业史，都非常有趣。其他模型在处理标准石油的话题时，可能会直接贴上“破坏工会”之类的标签，而我只想知道事实究竟是怎样的。
所以，Grok有时能解决我的问题，但它并非最佳模型。在我日常工作中，使用最多的是Claude 3 Opus或Claude模型。
Matthew Berman：
你每天都在使用Claude 3 Opus，尽管它的响应速度很慢？
Dylan Patel：
这取决于主题。很多时候我可以接受等待，但也有很多时候不行，这时我就会用Claude。我在工作中使用Gemini，我们用它来处理大量的许可证和监管备案文件。我们进行了很多长上下文（long context）的操作。它在处理长上下文、文档分析和检索方面非常出色，所以我们在工作中用Gemini处理大量事务。但如果是日常场景，比如拿出手机在对话中途想查点什么，情况就不同了。
Matthew Berman：
好的，我们说回Grok。
Dylan Patel：
是的，关于Grok，他们拥有大量的计算资源，而且非常集中。他们有很多优秀的研究人员，已经有大约20万台GPU投入使用，还在孟菲斯购置了一座新工厂，并正在建设一座新的数据中心。他们在获取算力方面的一些做法堪称疯狂，比如使用移动发电机。现在他们刚从海外购买了一座发电厂运往美国，因为无法及时买到新的。
他们正在做各种疯狂的事情来获取计算资源。他们有优秀的研究人员，模型本身也很不错，而埃隆正在大力宣传。它会很棒，还是仅仅不错？它会与竞争对手旗鼓相当，还是会稍逊一筹？我不知道。
Matthew Berman：
他们做的事情有本质上的不同吗？他特别提到要重写人类知识语料库，因为当前的基础模型中存在太多无用信息。他显然掌握了X的数据。
Dylan Patel：
它的质量也很低，所以很难处理。
同时，这也是我有时会用到Grok的另一个领域：时事。
Matthew Berman：
是的，用于总结。
Dylan Patel：
例如发生在以色列和伊朗的局势以及所有战争相关的事情。你可以向Grok提问，它能比谷歌搜索、甚至Gemini或OpenAI的查询更准确地告诉你发生了什么，因为它可以获取所有这些信息。
Matthew Berman：
他们做的事情有什么不同吗？我指的是那种阶跃函数式的差异。
Dylan Patel：
我从不同角度看待阶跃函数。每个人都喜欢觉得自己在做不同的事情，但总体而言，大家做的都是同样的事情。他们正在预训练大型Transformer模型，并在此基础上进行强化学习，这主要是在可验证的领域，不过他们也在研究如何在不可验证的领域开展相关工作。他们在为模型创建可供其运行的环境，但这些环境大多是代码和数学。现在他们则开始接触电脑使用以及其他方面。
感觉每个人都在做大致相同的事情，但这也是一个极具挑战性的问题，有很多方向可以着手。但我认为总体上大家都在采取相同的方法。即使是SSI也不是。SSI正在做一些不同的事情，但我认为他们做的事情和我刚才描述的并没有太大不同。
人工智能与就业：白领岗位的挑战与劳动力市场的未来Matthew Berman：
我有两个主题想讨论。第一个是关于经济和劳动学的，我想谈谈白领工作岗位中可能消失的50%。我知道你可能也读到过相关内容。这显然是近期发生的事情，也更让你挂心。你倾向于聊哪个？
Dylan Patel：
我们先聊第一个吧，虽然第二个可能对你的受众来说更有趣。第一个话题确实很有趣。每个人，或者说至少AI领域的一些人，都担心大规模失业。但另一方面，我们的人口老龄化速度极快，而且总体上人们的工作时间比以往任何时候都少。我们过去常常取笑欧洲人工作时间少，但实际上，50年前的平均工作时长要高得多，100年前则更长，人们几乎没有休闲时间。而现在，每个人的住房面积更大，粮食安全状况也更好。可以说，我们在每一项指标上都比50或100年前要好得多。
人工智能理应让我们的工作时间变得更少。未来可能会出现一种情况：像我（可能还有你）这样的人工作过度，而普通人的工作时间则少得多。显然，资源分配是一个挑战，我认为这才是问题的关键。这也是我对机器人技术感到非常兴奋的原因。很多容易自动化的工作，恰恰是那些我们最难用机器人技术替代的。人们总以为自己想做的是坐在电脑前发挥创造力，但实际上，受冲击最严重的市场之一是自由平面设计师，而像采摘果实这样的体力劳动市场却尚未受到影响。而这（体力劳动）正是人们不想做的工作。
Matthew Berman：
有道理。尽管机器人技术在以惊人的速度发展，但这部分自动化似乎仍很遥远。那么，你是否预见到，随着人类生产力的极大提升，大量任务将被自动化？你认为未来人类的角色是管理AI，审查AI的输出，还是两者的结合？
Dylan Patel：
我们正从使用基于聊天的模型，过渡到更长期的任务处理。例如，在深度研究中，过去需要十几分钟甚至几十分钟才能完成的任务，现在通过AI可以更快完成。
Dylan Patel：
未来会有一个AI助手，我们可以一直与之交谈，或者它会主动提示我们关注某些事情。同时，也会有长期任务，AI会持续工作数小时甚至数天，然后将结果交由我们审核。最终，这个过程中将不再需要人类的参与。
Matthew Berman：
我相信这一点。你设想的时间线是怎样的？
Dylan Patel：
我通常对时间线问题持比较悲观的态度。我不认为在这十年内，会有20%的工作被自动化。我感觉可能要到这个十年末或下个十年初，才能实现20%工作的自动化。虽然有人说通用人工智能（AGI）将在2027年出现，但这取决于他们如何定义。
Matthew Berman：
即使他们的预测是准确的，也不意味着技术能在那一刻就落地实施，对吧？我们还需要数年时间才能在实际中真正部署它。
Dylan Patel：
我认为部署会非常快。你已经可以看到，初级软件工程师的市场受到了重创，毕业生很难找到工作，而AI在软件开发中的使用量正在急剧上升。我们现在还仅仅处于代码辅助阶段，甚至还没到自动化软件开发的阶段。
Matthew Berman：
那么，在AI的帮助下，公司是会选择做更多的事情、解决更多的问题吗？如果是这样，那些初级工程师最初该如何进入这个行业呢？我昨天和亚伦·利维（Aaron Levie）聊到这个，他的反应是：“是的，如果一个团队告诉我他们的工作效率变得非常高，我当然会把更多的钱投给那个团队，壮大那个团队。”那么，初级工程师的发展空间在哪里呢？
Dylan Patel：
是的，我同意这个观点。以我自己的公司为例，我们借助AI可以做更多的事情，这使我们生产力更高，能够超越那些在咨询和数据领域不使用AI的老牌公司。我公司的规模在去年从两个人增加到了三个人，但我们招聘了多少初级软件开发人员呢？答案是没有。我手下的一位初级开发人员，我们上周还在为她庆祝，因为她一个人就提交了大约50次代码。
Dylan Patel：
在过去，完成同样的工作需要更多的人。虽然显然还有很多软件等着我们去开发，但问题在于我们实际上能招聘多少人？我难道不更希望让一位资深工程师来指挥一群AI，而不是雇佣一个初级工程师吗？这确实是一个挑战。当然，雇佣年轻人也有好处，因为他们能很快适应新的AI工具。这需要一种平衡。
Dylan Patel：
我不知道初级软件开发人员的出路在哪里。总有人在推特和领英上给我发招聘信息，但我实际上并不太需要。我很少看到大型科技公司招聘初级软件开发者，这是一个事实，也是市场如此糟糕的原因。
Matthew Berman：
所以他们只能自己提升，掌握更好的技能。
Dylan Patel：
是的，他们需要能独立完成工作，向外界证明自己并非初级人员，而是能够真正运用这些工具的专家。
Matthew Berman：
但这并不适合所有人。
Dylan Patel：
确实不适合。很多人需要的只是一份工作，他们不一定有很强的自驱力。
Matthew Berman：
他们肯定不想当创始人，也不想成为单打独斗的开发者。即使不是创始人，他们也需要方向指引。
Dylan Patel：
我开始招聘时一直面临一个问题：有些人需要大量的指导，而我却无法提供。我需要的是能够自我驱动的人。现在公司里有些人能做到这一点，但为员工提供指导确实很难，因为有些人至少需要明确的方向和手把手的教导。
Matthew Berman：
为什么最初开源模式会领先于闭源模式？
Dylan Patel：
除非Meta大幅改进（他们也正在这样做），否则美国将失去一个强大的开源项目。山姆·奥特曼认为Meta没有招到顶尖研究人员，我认为这个观点是错误的。我相信有一些顶尖研究人员会去那里，也许不是第一梯队的人选，但仍然是顶尖人才。中国之所以搞开源，只是因为他们暂时落后。一旦他们取得领先，就会停止开源。说到底，闭源模式终将胜出。很遗憾，但闭源会赢。我唯一的希望是，未来不会由两三个闭源的AI模型或公司主导全球GDP。市场的格局可能比这更分散，但也不一定。
谁会赢得超级智能竞赛？Matthew Berman：
Meta、谷歌、OpenAI、微软、特斯拉，以及其他公司。你必须挑选一家公司，押注它会率先实现超级智能。你会选谁，为什么？
Dylan Patel：
OpenAI。他们总是第一个取得每一项重大突破，甚至在推理方面也是如此。我认为仅靠推理无法让我们迈向新一代，所以肯定还会有其他与人类相关的因素。至于第二、第三名，这是一个难题。
Matthew Berman：
不过，他们确实非常保守，尤其是在发布内容、发表成果以及关注重点方面。他们的安全性极高，对此我心存感激。
Dylan Patel：
但这种保守的风格已经减弱了很多。我认为他们不像过去那么保守了。据我所知，推出GPT-4的过程比推出GPT-3的过程要容易得多。这可能是因为他们正在大量招聘合规人员，也可能是因为他们意识到，既然其他人无论如何都会发布相关内容，他们也应该发布自己的版本。不过，我认为他们只是拥有非常优秀的人才。
至于第三的位置，目前在谷歌、XAI、X和Meta之间难分高下。但我认为Meta会吸引到足够多的优秀人才，从而真正具备竞争力。
Matthew Berman：
非常感谢你和我聊天。这次的交流非常棒，也很有趣。
风险提示及免责条款 市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。股市杠杆公司提示：文章来自网络，不代表本站观点。
- 上一篇：买股加杠杆三、图案印刷方式不同
- 下一篇：没有了
