Invest Like The Best · 核心结论

Neil Movva (Sail Founder) — Token Factory、推理优先的算力范式转移、 scavenger 策略与全栈成本最优

日期 2026-09-30节目 Invest Like the Best with Patrick O'ShaughnessyInfrastructureAI ComputeOpen SourceInference

★ THESIS · 核心判断

Neil Movva 是 NVIDIA 老将、Sail Research 创始人。Sail 自称为"token factory"（token 工厂）——一家面向长时间运行 AI agent推理的最低成本提供商。核心论点：AI 使用正从"实时聊天机器人"向"后台长时间运行的 agent"范式转移，在这个新范式下延迟变得次要、成本成为决定性因素。围绕这一判断，Movva 构建了一套从软件 kernel 到芯片采购、从数据中心设计到电力获取的"scavenger 策略"——不与大厂抢最前沿的 Blackwell 算力，而是通过软件榨取每一颗芯片的峰值利用率，用小型分布式数据中心和可间歇性电力（风电、光伏）构建一个经济上无法被挑战的推理工厂。他同时对 NVIDIA 短期看好、认为 TSMC 制程差距被夸大、KV cache 压缩是未来最大效率缺口，并判断推理支出单调递增、不存在投机性。

🏭 Sail 的产品愿景——从 token 工厂到"推理公司"

Sail 不是又一个通用 API 提供商，而是为"长时间运行 agent"这一特定推理形态做极致成本优化的基础设施层。

Sail 是 token factory：提供 API，允许任何人使用大语言模型或开源模型发送推理请求，以市场最低价格返回 token。同时支持在其上构建 agent，托管名为 "Sail Boxes" 的长时间运行 agent 虚拟机——可连续运行数小时、数天甚至数周。
核心理念是"abundance"（丰裕）：Sail 的使命是将智能作为新商品，以几乎所有行业都能承受的成本交付。他们坚信"每使某物便宜 10 倍，就创造了一个新品类"，而他们的目标是对 token 做到这一点。
从 token 到 outcome 的度量演进：Movva 认为 token 不是智能的最终度量单位，未来的单位将是"outcome"（结果）。Agent 将自主管理自己的 token 预算——执行一项任务、能尝试多少次就尝试多少次，token 消耗成为任务的因变量，而非公司给工程师分配的月度预算。
用户愿景：每个人拥有自己的智能：Movda 希望每个人都 build 自己的 harness（编排层），通过 in-context learning 而非 weight fine-tuning 来定制智能。他设想一个每人的智能代理在后台持续运行，理解你每天收到的所有邮件和消息，拥有百科全书式的人生视图，在你打开手机的瞬间就知道你下一步要做什么。

⏱ 范式转移——从实时聊天到后台长时间运行 agent

"最好的延迟就是零延迟"——当你醒来时，工作已经 Overnight 完成了。

延迟 vs 吞吐量的根本权衡：GPU 本质上是吞吐量机器，最 happy 的状态是被大量工作填满、compute unit 达到峰值利用率。但当前 AI 主流用法是交互式聊天机器人，追求极低延迟——这实际上让 GPU 远离了其最佳工作状态。在 GPU 上，延迟优化和吞吐量优化是不可兼得的。
bus vs private car 类比：低延迟推理像私家车，走直达路线；高吞吐推理像公交车，需要聚集更多乘客、多停多等，但每人的成本极低。Sail 的策略是构建"最好的公交车"——基于 NVIDIA GPU 做极致吞吐优化。
NVLink 是低延迟的必需，不是高吞吐的：NVLink 通过 shard 矩阵乘法跨多 GPU 降低延迟，但存在次线性缩放和通信开销。Sail 选择专家并行（expert parallelism）或流水线并行（pipeline parallelism），将 NVLink 视为仅改善延迟的技术，而非自己关注的方向。
时间线判断：今年年底后台推理与实时推理可能达到 50-50，但长期将向 90-10（后台占优） 演进。Opus 4.5 是第一个适合长时间运行任务的 agent，而"test time compute scaling"（给 agent 更多时间得到更好答案）的理论两年前就被提出，直到去年末才成为可下注的现实。
关键用例：深度研究（一次性阅读 10,000+ 来源）、网络安全（用不同 agent 以 20 种方式攻击代码）、工业级信息索引（如 Parallel Web Systems 对全网实时监控）。安全领域甚至被戏称为"proof of work"——你的软件有多安全，取决于你在 Anthropic API 上花了多少钱去尝试攻破它。

🔧 AI 基础设施全栈——软件、硬件、电力的效率之链

Sail 的方法是"speed of light"方法论——不关心相对竞争对手的数字，只关心在芯片上能达到的绝对效率极限。

软件层：kernel 优化是当前的最大 Alpha：Sail 围绕 GPU 峰值效率构建整个 LLM 软件栈。现代 Transformer 建立在 flash attention 之上，但任何新模型稍有偏离"happy path"（如不同的 rope 位置编码），原有 kernel 就不再适用。当前 kernel 工程仍大量依赖人工（"在白板上设计，用自然语言描述给模型"），但 Movva 相信六个月内模型将大幅改善这一领域——Sail 最终会处于所有前沿模型的"下游"。
GPU 效率现状：大规模矩阵乘法在 GPU 上能达到 70-80% 峰值利用率，已不限于软件瓶颈而是功率/散热瓶颈。但 Transformer 的绝大多数时间并不处于这个"happy path"——Sail 的核心工程任务是始终向 GPU 喂入大规模 batch 工作。
从单 GPU 到 rack-scale 编程：过去一年 GPU 世界最深刻的转变之一是——你不再一次编程一个 GPU，而是思考整个 rack（如 NVIDIA NVL72）乃至整个集群。NVIDIA 开始以 rack 为单位出货，"谁最能高效地编程 rack-scale 计算机"成为新的竞争维度。
Scavenger 芯片策略：Sail 的核心差异化在于"购买世界上任何地方、任何时长、任何芯片"的灵活性和流动性——这是目前没有任何竞争对手具备的。不与大厂（Anthropic、OpenAI）竞购 Blackwell，而是寻找它们认为"不可读"的供应：AMD MI 系列、Acht、SambaNova、TenDMatrix 等新兴芯片。信条是"没有差的芯片，只有差的价格"——任何芯片在合适的价格下都能工作。
Seraphs 类芯片的定位：Seraphs、Groq 等采用超大 SRAM + 晶圆级引擎（wafer-scale engine）方案，追求 21 PB/s 的极致内存带宽，但 SRAM 密度比 DRAM/HBM 低三个数量级。Movva 预测未来会是混合方案：用 Seraphs 的 SRAM 承载 MLP（权重/世界知识，计算密集型），用 GPU 的 HBM 承载 attention/KV cache（内存密集型、上下文动态增长）。
电力——最后的 scavenging frontier：Sail 接受 95% 甚至 80% 的 uptime，因此可以拥抱风电和光伏等间歇性电源——这些电源因不可靠而被传统数据中心拒绝。Sail 可以预测天气、在风电不足时从其他地点调用容量。没有柴油发电机冗余、没有三路光纤冗余、没有传统 SLA——成本大幅下降。他设想在美国范围内构建数千个 1MW 小型数据中心的网络，而非少数几个百 MW 级超大型数据中心。
数据中心的规模经济反向：构建 10 万 GPU 的数据中心比 1 万 GPU 贵得多，比 1,000 GPU 更贵。美国几乎不可能轻松建造 GW 级数据中心，100MW 也越来越难，10MW 已接近极限，1MW 则充裕可得。推理不需要跨数据中心的训练级联网，这为分布式小数据中心创造了独特优势。

📊 数据与模型——自互联网补贴结束后的下一阶段

互联网的高质量文本数据是一次性补贴——模型已经看了整个互联网许多遍。

数据阶段的演进：互联网的高质量文本约 30 万亿 token（宽泛定义下 300 万亿），模型已多次看过。下一个阶段是通过 RL 环境进行模型自我改进——给模型可验证的任务（编码、数学、自主 pen test），在隔离"gym"中让其自我评估进步。前沿实验室在数据环境上的支出已超过纯数据收集。
人类反馈的价值衰减：当前服务的"中位数模型"已远超随机人类给出的偏好信号质量。通用人类偏好反馈已"不值钱了"，需要的是专家级人类偏好。这标志着 RLHF 时代正在向 RLVR（可验证结果强化学习）过渡。
AGI 的渐进路径：获得 AGI 的最好方式是不断堆叠专门智能，直到没有空白可填补。关键在于每个任务必须有可验证性（self-grading system）。只要有可验证性，就有任意任务的自我改进配方。
闭源 vs 开源的蒸馏动态：前沿实验室支付巨大溢价以获得 3-6 个月的领先优势。蒸馏（distillation）不是"盗窃"——互联网上越来越多的 artifacts 是 AI 生成的（GitHub 上大量由 Cursor/Codex 创建的 repo）。 latent distillation 在根本上不可阻止，问题只是速度。如果扩展定律长期成立，3-6 个月的领先就有价值；但考虑到企业部署的缓慢节奏（很多企业还在用 Llama 4.6），这个溢价窗口不会无限长。
开源永远不会消失：如果一个领导者退出，新的领导者会补上。激励和顺风趋势太强，训练前沿级模型的成本每天都在下降。

🎯 contrarian 观点与战略判断

Movva 的许多观点与行业共识存在显著分歧。

对 NVIDIA 短期看好、长期保持独立：NVIDIA 永远不要跟它为敌——它总能自我革新。但一个令人惊讶的事实是：从 Hopper 到 Blackwell 到 Rubin，BF16 乘法的每瓦性能提升"并没有那么多"。TSMC 5nm → 4nm → 3nm → 2nm 的每瓦提升也不如市场想象的那么大。
TSMC 断供恐慌被夸大：如果失去 TSMC 访问，供应链会受冲击，但西方最佳制程（如 Intel）最坏情况下每瓦性能差距仅约 2 倍——这远小于芯片辩论中呈现的差距。这个判断让许多同行"看起来像长了三个头"。
推理支出单调递增，不存在投机：与 2023-2024 年以训练为导向的投机性资本支出不同，当前推理支出（如 Cursor/Codex 的月度消费上限持续增长）是即时消耗的——人们买 token 是因为它们立即有价值，不会囤积。这使推理支出的预测远比训练支出可靠。
NVIDIA 不卖 token 的精明考量：Jensen Huang 擅长让合作伙伴致富（CoreWeave 等），因为他需要多元化、相互竞争的买方生态——任何一家 neo-cloud 如果转向 AMD 或垂直整合，立刻有人填补空缺。这是典型的平台战略：不与客户竞争，最大化生态需求。
FAB 的工艺余量：TSMC 等 FAB 极度压缩工艺角（process corner）的方差，但 Sail 愿意接受更差的芯片、更多的废品率，以换取更低成本。目标是全局优化——芯片成本 + 供应 + 电力成本 + 部署地点的整体最优，而非单一芯片的性能最优。

💡 投资启示——从全栈效率中识别结构性机会

Sail 的 scavenger 策略揭示了 AI 基础设施投资中一系列被市场忽视的效率缺口。

推理基础设施 > 训练基础设施：推理支出单调递增且非投机性，是 AI 资本开支中确定性最高的子集。面向推理优化的基础设施提供商将捕获结构性增长。
"差的芯片 + 好的软件"是 Alpha 来源：AMD、Acht、SambaNova 等"非一线"芯片在 Sail 的 software stack 下可释放远超市场认知的性价比。市场偏见本身创造了套利空间。
分布式小数据中心 = 被忽视的 supply 曲线：1MW 级数据中心网络不与传统超大型数据中心竞争同一客户群。接受 95% uptime、无冗余设计的设施在推理场景下经济上完全成立，却几乎没有开发商在为这个市场建造。
可间歇性电力 = 独特的成本优势：风电、光伏等被传统数据中心排斥的" annoying "电源，在 agent 可容忍中断的场景下成为巨大成本优势。电力获取的灵活性本身就是基础设施护城河。
KV cache 压缩是未来 3-5 年的最大效率杠杆：当前 KV cache 严重未压缩，熵值"没有赚取它的保留"。DeepSeek 等已证明每年可取得一个数量级的改进空间——这直接对应 token 成本的 1-2 个数量级下降。
rack-scale 编排是下一代软件护城河：从单 GPU 到 rack/cluster 编程范式的转变，正在创造一个全新的软件层竞争维度。能高效编排全球分散算力的平台将获取巨大价值。
NVIDIA 短期仍是核心配置：尽管每瓦提升边际递减，NVIDIA 的生态锁定和 rack-scale 能力（NVL72）使其在短期内无可替代。但长期应关注能绕过 HBM 瓶颈的替代架构。

综合判断 · 5 条结论

① 推理是 AI 支出中唯一的"非投机性"子集——token 即时消耗、不会囤积，推理支出单调递增，确定性远超训练支出。
② "Scavenger 策略"构建了无法被追赶的成本曲线——不买最前沿芯片、不抢最可靠电力、不追求最高 uptime，通过软件效率和分布式小数据中心组合出经济上不可挑战的推理工厂。
③ KV cache 压缩是未来 3-5 年最大的效率杠杆——当前 KV cache 熵值远高于必要水平，每年一个数量级的改进空间直接对应 token 成本 1-2 个数量级的下降。
④ 分布式 1MW 数据中心 + 间歇性电力 = 被市场系统性忽视的 supply 曲线——推理对 uptime 的宽容度打开了传统数据中心不涉足的廉价电力和场地资源。
⑤ NVIDIA 短期依然核心，但 HBM 瓶颈催生替代架构的窗口期——每瓦提升边际递减 + HBM 供应紧张 → 绕过 HBM 的架构（大 SRAM、flash offload、混合芯片）将获得结构性机会。

投研跟踪表

核心假设：AI 推理正从"实时低延迟"向"后台高吞吐、长时间运行"范式转移，且推理支出单调递增、不存在投机性泡沫。

若核心假设错误：实时交互仍是主流用法 + 推理支出出现周期性波动 + 前端模型架构突变使现有软件栈失效 → Sail 的成本优势被压缩 → 转向通用推理或训练市场。

关键验证信号：
1. 后台 agent 推理 token 消耗占比（当前估计年底 50-50，目标 90-10）
2. KV cache 压缩技术的实际工程进展（DeepSeek 等开源社区的年度改进速率）
3. AMD / 新兴芯片在主流推理平台的实际部署规模
4. 1MW 级分布式数据中心的建设速度和租金水平
5. NVIDIA Blackwell / Rubin 的每瓦性能实际提升幅度

投资映射：推理基础设施 / 分布式数据中心 / 可间歇性电力 / 开源芯片生态 / KV cache 优化软件

阶段判断：范式转移早期（推理从训练附属转向独立增长极）

市场定价偏差：市场过度聚焦训练支出和 NVIDIA 龙头地位，系统性低估推理支出的确定性和"差的芯片+好的软件"的套利空间。

催化事件：NVIDIA 下一代芯片每瓦提升低于预期 / 主流企业大规模部署长时间 agent / HBM 供应持续紧张加剧 / 开源模型蒸馏速度超预期

负责研究员：[填写]

日期：2026-09-30

下次复查：2026-12-30

最终结论

Neil Movva 的整个思想体系可以用一句话概括："最便宜的 token 不会来自最贵的芯片，而来自对每一层效率缺口的系统性 exploitation。"

从他"NVIDIA 老将 + Sail 创始人"的双重视角出发，Movva 构建了一个从 GPU kernel 到晶圆制造、从 rack-scale 编排到风电场的完整效率框架。他的"scavenger 策略"不是被动的捡漏，而是主动地——在大厂不屑或不擅长的每一个 supply chain 缝隙中寻找效率缺口：接受差的芯片、接受不稳定的电力、接受 95% 的 uptime、接受没有冗余的数据中心，然后用软件 engineering 将这些"次优"组合成经济上无法被挑战的推理工厂。从投资角度看，Movva 的分析指向一个清晰的结论：推理基础设施是 AI 资本开支中最确定、最非投机的子集，"差的芯片 + 极致软件"构建了真正的 Alpha 来源，而分布式小数据中心与可间歇性电力的组合则是当前市场系统性忽视的最大 supply curve 机会。同时，NVIDIA 短期依然不可替代，但 HBM 瓶颈和每瓦提升的边际递减正在为绕开 NVIDIA 架构的替代方案打开结构性窗口。