ChaosAI

他山之石 · Acquired NVIDIA Part II (2006-2022)

Acquired · The Machine Learning Company 2006-2022 · CUDA + AlexNet + Data Center

他山之石 · Acquired NVIDIA Part II　|　Acquired · 2023-05 首发 · Season 10 Episode 6　|　主持: Ben Gilbert & David Rosenthal　|　378 段对话 · 81K 字 transcript

核心结论

CUDA 闭源护城河 + AlexNet 2012 革命 + 2016 OpenAI DGX-1 = AI 算力霸主

5 章节:

① CUDA 启动

2006-2007 · 闭源护城河

② 早期科学计算

2007-2011 · Folding@home 扩展

③ AlexNet 革命

2012-2014 · GPU 训练胜利

④ 数据中心转型

2014-2018 · 2016 OpenAI DGX-1

⑤ crypto 冲击 + 大年

2017-2022 · H100 发布

1① CUDA 启动(2006-2007) · 闭源护城河 · "embarrassingly parallel" 战略

2006.11 GTC 大会 · CUDA 1.0 发布

2006.11 NVIDIA 第一次 GTC(GPU Technology Conference)· Jensen 发布 CUDA 1.0
CUDA 是什么: C/C++ 扩展 · 让 GPU 通用计算(原 GPU 只能做图形)
关键决策: CUDA 闭源(只支持 NVIDIA GPU)· 不开源(拒绝 OpenCL 主导)
2007.6 Tesla GPU(C870)· 首款"科学计算 GPU"· 价格 $1,500-3,000
2007.11 Tesla C1060 · 4GB 显存 · 售价 $1,700 · 首批非游戏 GPU
2008 营收 $1.5B(其中科学计算占 5%)· 25 年最早期 AI 革命种子

"embarrassingly parallel" 战略思想

技术核心: "embarrassingly parallel"(尴尬并行)· 一些软件问题天然并行(像素渲染 + 矩阵乘法)
CUDA 的工程: 让 GPU 4000+ 个核心同时工作 vs CPU 4-16 个核心串行
Jensen 引用: 2006 内部会议"GPU 是天然的并行处理器,只是之前没人用对方向"
2008-2011 Folding@home · CERN LHC · 科研客户开始用 CUDA 加速
2009 Tesla C2050 · DirectX 11 + CUDA 2.0 · 科学计算 8x 性能
Acquired 评价: "CUDA = NVIDIA 25 年最深护城河。闭源 + 仅支持 NVIDIA = 25 年后 AI 算力 100% 在 NVIDIA"

CUDA 闭源 vs OpenCL · 25 年最大战略赌注

OpenCL(2008 推出): 跨平台 GPU 通用计算标准 · Apple / AMD / Intel 支持 · NVIDIA 也支持 OpenCL
CUDA 战略: Jensen 选 CUDA 闭源 + 仅 NVIDIA · 放弃成为"行业标准"
代价: 2008-2012 OpenCL 看起来更开放 · CUDA 用户少 · 研发成本高
收获: 2012 AlexNet 革命时 所有深度学习代码都是 CUDA · 没有 OpenCL 替代
15 年后: 2023 NVIDIA 90%+ 数据中心 AI 加速市场份额 · CUDA = 25 年最深护城河
Acquired 评价: "CUDA 闭源 vs OpenCL 开放 = NVIDIA 25 年最大战略赌注 · 15 年后赌赢了"

2② 早期科学计算(2007-2011) · CUDA 慢慢扩散 · 4 年慢慢扩散到科研

2007-2009 · 科研客户第一批

2007.6 Tesla C870 · 首款"科学计算 GPU"· 售价 $1,500-3,000
2008.6 Folding@home 全网第一 · Stanford Pande Lab 用 GeForce + CUDA · 130x 蛋白质折叠速度
2008.10 Tesla C1060 · 4GB 显存 · 首款 1.4 TFLOPS 通用计算
2008.12 Tesla S1070 · 1U 服务器 4 颗 Tesla · 5.6 TFLOPS · $10,000+ 服务器
2008 营收 $3.4B · 科学计算占 5%(+$170M)· 游戏 GPU 仍主导

2008 金融危机 + Tesla 路线坚持

2008.9 雷曼兄弟破产 · 2009 全球经济衰退
NVIDIA 2008 末 股价跌 80% · 营收跌 25%
Jensen 关键决策: ① 不裁 CUDA 团队 ② 维持 Tesla 路线 ③ 4 年内 5% 营收占比不变
为什么坚持: Jensen 2007 内部说"CUDA 10 年内会有杀手级应用"· 但 2007-2011 还没出现
2009 营收 恢复 $3.1B · 2010 $3.5B · 2011 $4.0B(稳步增长)
关键反讽: 4 年"亏损"投入 CUDA = 25 年最深护城河

2010-2011 · 早期 HPC + 国安客户

2010 CERN LHC 大型强子对撞机 用 NVIDIA Tesla 加速粒子物理模拟
2010 美国国家实验室(Los Alamos / Sandia)用 Tesla 做核武器模拟
2011 俄罗斯 + 印度国家实验室用 Tesla
2011.11 Tesla M2090 · 6GB 显存 · 双精度浮点性能突破 · HPC 主流
关键意义: 国家实验室客户 = 长期稳定 · 25 年后 AI 算力"主权"战略客户
Acquired 评价: "2007-2011 4 年 CUDA 慢慢扩散到科研 + 国家实验室 · 4 年亏损"投资"= 25 年护城河"

3③ AlexNet 革命(2012-2014) · GPU 训练胜 CPU 100x · "CUDA 10 年赌注" 的杀手级应用

2012.9 Alex Krizhevsky + Hinton · ImageNet 大胜

2012.9.30 Alex Krizhevsky(多伦多大学 Hinton 学生)用 2 颗 NVIDIA GTX 580 训练 AlexNet 卷积神经网络
ImageNet 2012 比赛: AlexNet 错误率 15.3% vs 第二名 26.2% · 10pp 优势碾压
关键: GPU 比 CPU 训练快 100x · 让深度学习从"理论"变成"工程"
2006-2011 4 年"亏损"投入 CUDA = 1 个 AlexNet 全部回本
2012 末 全行业转向深度学习 + GPU · NVIDIA 突然成为"AI 必备基础设施"

2012.11-2013 · Jensen 立刻跟进 · GPU 战略全面转向

2012.12 Jensen 立刻宣布 NVIDIA 全面转向"AI 加速"战略
2013.1 Tesla K20/K20X 发布 · 首款"AI 优化 GPU"· 7.1 TFLOPS 双精度
2013.3 CUDA 5.0 · 集成 cuDNN(深度学习加速库)· 25 年最关键 SDK 之一
2013 营收 $4.1B(科学计算占 10%)· 2 年内翻倍
2014.1 首批 AI 初创公司(Vicarious / MetaMind / Clarifai)用 Tesla K20
Acquired 评价: "Jensen 2007 内部说'10 年内会有杀手级应用'。2012 AlexNet = 准时 5 年 = CUDA 赌赢"

2013-2014 · Google + Facebook + Baidu 转向 GPU

2013.5 Google 内部 "DistBelief" 深度学习项目 · Jeff Dean 用 1000 颗 NVIDIA GPU
2013.11 Facebook AI Research(FAIR)成立 · Yann LeCun 选 NVIDIA GPU
2014.1 Baidu "DeepSpeech" 语音识别用 NVIDIA GPU 训练
2014.5 Microsoft + Amazon 跟进 · 全部用 NVIDIA GPU 做深度学习
2014 营收 $4.7B · 科学计算占 15% · 3 年内从 5% → 15%
Acquired 评价: "2012 AlexNet 革命后 18 个月,Google / Facebook / Microsoft / Amazon / Baidu 全部转向 NVIDIA GPU"

4④ 数据中心转型(2014-2018) · Tesla GPU 统治 · 2016 OpenAI 收到 DGX-1 故事

2014-2015 · Tesla K20/K40/K80 · 数据中心 GPU 统治

2014.1 Tesla K40 · 12GB 显存 · 1.43 TFLOPS 双精度
2014.11 Tesla K80 · 24GB 显存 + 2 颗 GK210 · 深度学习标杆
2014-2015 微软 Azure + Amazon AWS 选 Tesla K80 做 HPC 实例
2014 营收 $4.7B · 科学计算占 15% · 2015 $5.0B · 数据中心 GPU 70% 市场份额
关键讽刺: 微软 + Amazon + Google + Facebook 都用 NVIDIA GPU,但 NVIDIA 没给任何一家独家合同 · 客户共享

2016 · OpenAI 成立 + 收到第一台 DGX-1

2015.12 Elon Musk + Sam Altman + Greg Brockman 成立 OpenAI · 承诺 $1B
2016.1 Jensen 亲手给 OpenAI 送第一台 DGX-1(8 颗 P100 GPU · 170 TFLOPS)
2016.4 Tesla P100 发布 · Pascal 架构 + NVLink(GPU-GPU 高速互联)
2016.8 DGX-1 正式发布 · 售价 $129,000 · 8 颗 P100 · 深度学习完整服务器
2016 营收 $7.0B · 同比增长 38% · 科学计算占 20%

2017-2018 · Volta V100 + Tesla T4 · 25 年峰值产品

2017.5 V100 发布 · 32GB HBM2 显存 · 125 TFLOPS 双精度 · Volta 架构 + Tensor Cores
2017.9 Google TPU 2.0 公布 · 180 TFLOPS · 25 年最大对手
2017.11 GTC China · Jensen 称"AI 是 25 年最大机会"
2018.3 Volta GV100 量产 · Tesla V100 32GB 售价 $10,000+
2018 营收 $11.7B · 同比增长 21% · 科学计算占 25%
Acquired 评价: "2017-2018 V100 + OpenAI + Google TPU 战 = NVIDIA 数据中心 GPU 统治期"

5⑤ crypto 冲击 + 2018-2022 大年 · 2017 ETH 爆火 + 2020 Mellanox 收购 + 2022 H100

2017 crypto 爆火 + GPU 缺货

2017.5 Ethereum 价格从 $50 飙到 $400+ · crypto 矿工疯狂买 GPU
2017.6 NVIDIA 推出 Mining Specialized GPUs(CMP 系列)· 限制游戏玩家买 GPU 做矿卡
2017.12 营收 $2.9B(单季)· 同比增长 56% · 历史最高
2018.1 crypto 价格崩盘 · 矿工血亏 · 二手矿卡海啸
2018 Q2 NVIDIA 营收跌 8% · 第一次"crypto 周期"教训
关键讽刺: 2017 crypto 救活 NVIDIA 2017 营收 · 但 2018 Q2 二手卡冲击游戏 GPU 销售

2020.4 Mellanox $70 亿收购 · 数据中心互连

2020.4.27 NVIDIA 宣布收购 Mellanox · $70 亿
Mellanox 是什么: 以色列 · 数据中心高带宽低延迟互连(InfiniBand)
战略价值: ① GPU-GPU 互联 ② GPU-DPU 互联 ③ 数据中心端到端方案
关键讽刺: 2020.4 也正是 COVID 时期 · 远程办公 + 数据中心需求暴涨
2020 营收 $16.7B · 同比增长 50% · 25 年增长最快 1 年
Acquired 评价: "Mellanox 收购 = NVIDIA 25 年最聪明的收购 · 把'GPU 计算'扩展到'数据中心端到端'"

2022 GTC H100 发布 · 数据中心 AI 巅峰

2022.3 GTC Jensen 发布 Hopper H100 · 80GB HBM3 · 2000 TFLOPS AI 性能
DGX H100 8 颗 H100 · 售价 $400,000 · 16 PFLOPS AI
2022 营收 $26.9B · 同比增长 0% · 加密熊市影响
2022.11.30 ChatGPT 发布 · 5 天 1M 用户 · OpenAI 用 NVIDIA GPU
2023 Q1 营收 $7.2B(单季)· 同比增长 19% · 创历史新高 · ChatGPT 引爆
Acquired 评价: "Vol II 录于 2023.5 当时 NVIDIA 刚$500B · ChatGPT 后 5 个月 · 故事已经引爆 · 但 Vol II 内容只到 2022.10 H100 发布"