对谢赛宁的7小时马拉松访谈：世界模型、逃出硅谷、反OpenAI、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42
一些启示和体悟
虽然访谈是关于谢赛宁本人，但很有意思的一件事是，何恺明名字被提及的频率高到不可思议。听完六个半小时的博客我也非常理解为什么会这样，从这个非常间接的博客 我也获得了许多非常有启发想法和思考。
不断探索的范式
一个好的 idea 是经过不断探索、大量的阅读、大量地思考自然而然衍生出来的。一个光靠想的 idea 很大可能不是一个好的 idea：第一种可能性，这个 idea 世界上 没有人能够给想出来，你比世界上所有的人都聪明；第二种，与此同时这个世界上有成千上万个人有和你相同的 idea，你做的很可能没有别人快；第三种：这是一个不能 work 的 idea，很多人都尝试过了。
一个 research 的周期其实很短，大概是 6 个月：
- 需要有一个 general 的方向：通过讨论、阅读、接受教导得到一个 general 的方向
- 1~2 个月的探索期：动手做事情、写代码。重要的是这些工作的目的是进行探索、某些尝试和拓展，来获取某些信号。
- 失败的方向和成功的方向同样重要：失败和成功同样都是非常大的梯度，一个好的结果和坏的结果都是好的结果。
- 在实现和探索上没有遇到困难的 idea 是一个 boring 的 idea：没有成长、没有积累。
现在最大的潮流是 AI，是 Agentic AI、Agentic Agent。需要有时间去广泛的获取信息、讨论、思考、动手探索，不然做出的工作很可能是片面的，在被证明是错误的 或者说明显有更好方向的道路上走得太远以至于浪费了很多时间。最近一两年的变化实在是太快了，可能需要超前地做一些工作，在做出来的那一天才将将够到时代的班车。 作为消费者，错过 GPT 并不会错过 ai 时代。但是作为开发者，掉队的速度实在是太快了（也有可能正是因为太快了，所以其实什么都没错过……）
只需要成功一次
有限游戏取决于最差的一次成绩，无限游戏取决于最好的一次成绩。research 需要的是一个 top 的成绩，其他成绩的好坏影响因子其实非常小。
baseline 是非常重要的
一个好的 baseline 上的工作才是有意义的，infra 和脚手架是非常重要的。
决策是非常重要的
做实验，一种情况是实验非常少信号不明确，另一种是瞎跑非常多实验。
人的精力是有限的，要做足够多的工作来回去一个信号，同时又不能浪费宝贵的时间和精力。需要关注哪些 metric，这些 metric 需要和其他标志发生关系。
世界模型
关于“沟通工具”的误区
谢的论点始于一个看似显而易见的区分，但他认为，整个学术界都未能真正领会这一点：语言是一种沟通工具，它不是思考工具，也不是决策工具。它经过数千年的文化演 化，旨在传递人类之间的意图。这一目的需要权衡取舍。为了提高沟通效率，语言舍弃了大量关于物理世界的信息。
“一个杯子掉在地上摔碎了。”这句话在沟通上堪称完美。它传达了相关结果。但它忽略了动态过程：杯子是如何碎的，哪些物理定律决定了碎裂的形态，背后的力学原理是 什么。当我们彼此交谈时，并不关心这些细节。而世界模型必须恰恰关注这些细节。在谢的论述中，问题在于人工智能领域将一种专为人类沟通优化的工具，误认为是一种 能够建模现实世界的工具。基于文本训练的大型语言模型所吸收的，是对现实的一种压缩、有损且以沟通为优化的描述。它可以告诉你杯子很易碎，却无法告诉你需要多大 的力才能打破一个杯子。
“添加语言功能总能让人感到更开心，”谢指出。只要将语言处理框架接入任何系统，基准测试成绩就会提升。系统可以回答问题、执行指令、描述所见之物。当谢描述连续的视觉信号通过语言模型架构进行处理时，这一批判便从哲学层面转向了工程层面。
“试想一个人将头转动五到十度。这会以高频生成数百帧的视觉信息。人类视觉系统将这些信息处理为一个连续、连贯的流，并实时更新一个持久的空间模型。” 语言模型方法的处理方式则截然不同。每个帧都会被分词：分解为网格状的图像块，每个图像块被转换为一个离散的 token。所有帧的 token 会被拼接成一个长序列 一个包含256个 token 的帧，经过128帧处理后，将产生一个包含32,768个 token 的序列。该序列会被输入到一个不具备内置空间结构概念的Transformer模型中。 个 token 都可以关注其他任何 token，无论它们在空间上是否相邻，因此模型必须从头开始学习所有空间关系。
Bitter Lesson
谢认为，其背后的机制是经济层面的。存在一条从叙事到资本、再到人才，最终影响研究方向的价值链。
- 位于顶端的是若干相互交织的故事：通用人工智能（AGI）即将实现，规模定律将成立，《苦涩的教训》主张扩大规模。
- 这些叙事吸引了投资。投资为实验室提供资金。实验室则聘请研究人员。
- 研究人员在围绕语言模型构建的机构中工作，他们将研究成果通过语言架构进行输出，因为那里拥有基础设施、计算资源和基准测试。
- 结果是，视觉研究被迫依赖语言架构，并非因为这是视觉理解的正确架构，而是因为资源都流向了这里。
Richard Sutton 在2019年的指出，利用计算能力的通用方法最终总会战胜那些依赖人类知识的方法。人工智能领域将此奉为圭臬：规模才是关键，而这种规模化应应用于语言模型。
谢则认为，语言完全是人类知识的产物。它由人类文明历经数千年创造，经由文化演化不断精炼，并上传至互联网。训练数据虽可免费获取，但这并不意味着它们没有标签。互联网上的每一句话，都是由怀揣着意图、知识和交流目的的人类所写就的。知识上传（互联网、书籍）使得语言模型的训练成为可能，而这一过程本身就是一种监督构建过程。按照萨顿（Sutton）自己的标准，大型语言模型（LLM）的训练并非基于原始经验的自监督学习，而是基于人类精心筛选的产出进行的强监督学习。
真正的 Bitter Lesson 要求我们走得更远。超越语言，超越像素，走向那些完全不为人类消费而设计的学习表征。世界模型的核心不应是屏幕上可见的内容。它应该是系 统内部用于预测、规划和行动的工具。“我为什么要把它展示给人类看？”谢问道，“渲染只是界面，而非核心。”
表征
OpenAI、Google DeepMind 和 Runway 等视频生成公司正在构建世界模拟器，渲染出越来越逼真的场景。由李飞飞创立的 World Labs 则致力于构建空间 3D 表示。AMI 则押注于一种既非像素、亦非语言、更非3D资产，而是专为预测和行动而优化的抽象潜空间的“学习表征”。
在机器学习中，存在一个输入空间x和一个目标空间y。模型学习从x到y的映射关系。y-空间是监督发生的地方：它定义了模型应产出的结果。x-空间是数据所在之处：它代 表了模型所观察到的原始世界。谢认为，语言模型完全在 y 空间中运作。它们建模的是人类生成的 token 分布。token 是人类认知的输出：它们代表人类选择说出的内 容，而这只是现实世界中经过高度过滤的微小子集。语言模型学习的是这种经过筛选的输出的模式。它擅长根据人类之前的言语，预测人类接下来会说什么。这既强大又实 用，且具有商业价值。但它并非在建模世界本身，而是建模人类对世界的记录。
以 Yann LeCun 提出的 JEPA (Joint-Embedding Predictive Architecture) 不再追求还原每个像素，而是直接在表征空间中进行预测，表征学习向更高效、抽象的世界模型进化的趋势。
数量级的压缩
人类的行为输出速率大约为每秒10比特。言语作为最快的信息通道，在正常对话中每分钟约有40个单词，每个单词携带几比特的信息。
在输入与输出之间，大脑会进行五个到八个数量级的压缩。输入十亿比特，输出仅十比特。无论大脑在做什么，它都不会对每个像素进行建模，也不会完整保留感官输入的 全部分辨率。它会进行过滤、抽象、舍弃，并仅保留对下一次决策至关重要的信息。谢认为，这正是世界模型的实际作用。它是一个压缩引擎，将高带宽的感官输入转化为 低带宽的行动决策。
压缩的质量决定了智能的质量。一个能保留正确信息并剔除正确噪声的模型，将做出正确的决策；而一个保留噪声却剔除信号的模型，则会做出错误的决策。语言模型则完 全避开了这个问题。它们始于低带宽通道，终于低带宽通道。输入文本，输出文本。它们从未面临将每秒数十亿比特压缩为一个决策的挑战。视频模型则面临这一挑战的局 部版本：它们输入像素并输出像素，即高带宽到高带宽的转换。但它们并非为了决策而进行压缩。它们是以全分辨率重建输入，这与大脑的工作方式恰恰相反。
下载人类
如果这种表征假设是正确的，那么接下来的问题便不言而喻：训练数据从何而来？语言模型早已准备好了答案：互联网。数十年来，人类上传了数十亿页文本，任人取用。 数据就在那里。架构已就绪。规模随之而来。
世界模型面临着这一问题的更艰巨版本。谢将其描述为一场代际变革：“上一代是下载互联网。下一代则是下载人类。”他的意思是：一个四个月大的婴儿处理过的视觉数 据，已经超过了用于训练最大型语言模型的三十万亿个词元。这些信息就存在于世间，正以每秒十亿比特的速度通过每一双眼睛流淌而过。但收集这些信息与收集文本是截 然不同的问题。你无法从服务器上抓取视觉体验。