本集概述
Jensen Huang 是 NVIDIA 的联合创始人和 CEO,这家目前全球市值最高的公司正引领着 AI 计算革命。在本集中,Jensen 与 Lex Fridman 深入探讨了 NVIDIA 从 GPU 芯片设计扩展到整个数据中心级系统设计的转型历程,以及他对 AI 未来发展的深刻洞察。
这集对话之所以值得关注,是因为 Jensen 不仅分享了 NVIDIA 如何通过 "extreme co-design"(极端协同设计)构建 AI 基础设施,更揭示了他在关键时刻做出冒险决策的思维方式——包括在财务压力下坚持将 CUDA 架构部署到每一张 GeForce 显卡上的历史性决定。对于理解 AI 基础设施的现状和未来,以及一家科技公司如何塑造行业格局,这都是不可错过的一集。
主要话题
1. 极端协同设计(Extreme Co-design)
Jensen 解释了为什么 NVIDIA 必须从芯片级设计转向 rack-scale(机架级)设计。核心问题是:当问题规模无法在单台计算机内解决时,如何通过分布式计算获得超越线性扩展的性能提升。这涉及 Amdahl 定律——如果计算只占总工作量的 50%,即使将计算速度提升百万倍,整体性能也只能提升两倍。
因此,NVIDIA 现在需要同时优化整个技术栈:从软件架构、算法、芯片、系统,到网络、存储、供电、冷却,甚至是整个数据中心。这是一个 "massively complex computer science problem",必须整合所有技术才能实现突破。
2. Jensen 如何管理 NVIDIA
Jensen 的直接汇报团队有 60 人,其中几乎所有人都有工程背景——内存专家、CPU 专家、光网络专家、架构算法专家等等。令人惊讶的是,他从不进行一对一沟通。任何问题都在团队会议上集体讨论,因为他们在做极端协同设计,每个人都需要了解全栈。
这种组织方式的设计逻辑是:公司的组织架构应该反映其存在的环境,并且要像一台机器一样产出产品。Jensen 说:"没有人能独自解决问题,所以我们要集体攻击问题。"
3. CUDA 战略的生死抉择
这是 NVIDIA 历史上最接近 "existential threat"(生存威胁)的战略决策。Jensen 回忆,当他们决定将 CUDA 架构部署到每一张 GeForce 显卡上时,虽然这能扩大 CUDA 的安装基数——而安装基数是决定一个计算平台成败的关键——但这也大幅增加了 GPU 成本,几乎消耗了公司全部的毛利润。
当时 NVIDIA 市值从 70-80 亿美元跌至 15 亿美元左右,公司经历了一段艰难时期。但 Jensen 坚信这是成为 "computing company"(而不仅仅是 accelerator company)的必经之路。他预见 PC 是当时主要的计算载体,如果能将超级算力放到每个研究者和学生手中,"something amazing will happen"。事实证明,这为后来的深度学习革命奠定了基础。
4. 如何塑造信念与领导力
Jensen 分享了他的领导哲学:当他发现某种趋势或洞察时,不会突然宣布一个全新的年度计划。相反,他会每天通过外部信息、新发现、技术里程碑来持续塑造团队、董事会、员工的信念系统。
"有时看起来像是从后面领导,但我一直在塑造他们的信念,直到我宣布的那天,100% 的人都已经买入了。" 当他说 "让我们全力投入深度学习" 或 "让我们收购 Mellanox" 时,员工们的反应应该是 "你怎么才宣布这个?"
同样的策略也应用于 GTC 大会,他在那里塑造行业合作伙伴的信念系统。因为 NVIDIA 是平台公司,没有合作伙伴的认同就无法成功。
5. AI 规模化定律(AI Scaling Laws)
Jensen 仍然是规模化定律的坚定信徒。他提到现在有 "more scaling laws",包括:
- Pre-training scaling(预训练规模化)
- Post-training scaling(后训练规模化)
- Test-time scaling(测试时规模化)
- Agentic scaling(智能体规模化)
对话中开始讨论阻碍 AI 规模化的最大挑战,但文稿在此处截断。从目录来看,后续会讨论供应链、内存、功耗、与 Elon 的 Colossus 项目、中国、台积电、护城河、太空数据中心等话题。
金句与核心观点
-
安装基数定义架构:"Install base defines an architecture. Everything else is secondary."(这就是为什么 x86 虽然不够优雅,却成为了今天的定义性架构。)
-
极端协同设计的必要性:"The problem no longer fits inside one computer to be accelerated by one GPU."(问题规模已超越单机单 GPU 的承载能力。)
-
领导力的本质:"When I announce something, the employees should be saying: 'What took you so long?'"(宣布决定时,员工应该觉得:你怎么才宣布?)
-
理性与愿景的结合:"There's a reasoning system that convinces me so clearly this outcome will happen... You manifest a future and that future is so convincing, there's no way it won't happen."
-
组织的使命:"The goal of a company is to be the machinery, the mechanism, the system that produces the output."
-
Compute 与 Accelerator 的张力:"The better computing company we become, the worse we became as a specialist. The more of a specialist, the less capacity we have to do overall computing."
适合谁听
这集适合对 AI 基础设施、科技战略、企业领导力感兴趣的听众。尤其是那些想要理解:
- AI 硬件与系统的未来:从芯片到数据中心的全栈设计思路
- 科技公司的战略决策:如何在财务压力下做出长期主义选择
- Jensen 的领导哲学:如何通过持续塑造信念而非突然宣布来推动变革
最值得深入了解的是 CUDA 战略的决策过程和极端协同设计的理念,这两部分展示了 NVIDIA 如何在关键时刻做出定义行业的决策,以及它如何构建 AI 时代的"引擎"。