Paper Morning 2026-09-06

各位早上好，Paper Morning又和大家见面了。 今天想和大家聊一个我最近反复思考的问题：当我们把AI系统做得越来越强大的时候，怎么才能不让它们变成“吞金兽”？这个看似工程的问题，其实正在变成科学问题的核心。我们今天聊的几篇论文，表面上主题分散，但实际上都指向同一个趋势——怎么让昂贵的计算变得可以承受，甚至变得更聪明。 先看第一篇，RoboTok。它做的事情是解决机器人学习的数据瓶颈问题。大家知道训练一个灵巧的机器人策略需要大量人类演示，但真人演示数据既贵又难覆盖真实场景的长尾分布。RoboTok的思路很直接：互联网上有海量的 Manipulation视频，能不能从中检索出有用的演示？它的核心贡献是学习了一个latent motion space，把3D手部轨迹表示在以演员为中心的参考系里。这样一来，不管摄像头视角怎么变、场景外观怎么变，甚至操作者被遮挡了，都能找到行为相似的演示用于训练。这篇工作让我想到一个问题：我们以前总觉得机器人数据必须自己采集，但互联网本身就是一个巨大的数据引擎，只是我们以前不知道怎么有效地“蒸馏”出有用的部分。 接下来这篇Compile by Training，解决的问题很有意思。很多文本处理任务，用自然语言描述规则很容易，但要手写规则实现却很难。可每次都调用大模型的话，成本高、延迟大，还依赖外部服务。Compile by Training的思路是在编译时用teacher模型生成任务相关的例子，然后用这些例子去训练一个小的adapter。这个adapter训练好之后就能独立运行，像普通软件一样存储、版本化、组合。在FuzzyBench-Hard这个基准上，它达到了83.6%的语义准确率，远超之前的Program-as-Weights方法。当然天下没有免费的午餐，编译时间大约一分钟，比之前的方法慢，但推理时的成本和延迟都省下来了。这里有个很妙的类比：以前我们是把规则“编译”成代码，现在是把这个过程反过来，把自然语言描述“编译”成神经网络的权重。我觉得这个思路可能会对tool use和agent系统产生不小的影响，因为我们可以把一些高频小任务固化成轻量的神经函数，不用每次都调用昂贵的模型。 然后是第三篇Knowing When Not to Reuse，讲的是LLM后训练中的条件经验迁移问题。随着LLM不断适配新的领域、新的工具、新的需求，我们需要反复进行post-training。自动化系统可以帮我们生成更新候选，用评估反馈来选择下一步的方案。但这里有个关键问题：过去的更新经验，在父模型已经改变之后还有效吗？一篇论文告诉你某个技巧有效，但那个技巧是在旧版本的模型上验证的，用在新模型上还是否适用？这篇工作把它形式化为条件经验迁移问题，引入了一个叫做Boundary-Calibrated Intervention Transfer的方法。这个问题的深层含义是：我们不能把训练过程当成简单的经验累加，每一步都是有条件的、依赖于上下文的。这对于构建可持续进化的LLM系统非常重要。 第四篇Puffin-World提出了一个统一的多模态架构，整合物理理解、空间模拟和3D世界生成，而且不依赖外部离线模块。它同时建模三个原生世界状态：物理状态包括重力场和纬度，几何状态包括深度，外观状态包括图像，还有一个统一的Omni-Camera表示支持多样化的任务和灵活的运动。更特别的是，它引入了跨未来帧的物理动力学传播策略，通过将绝对相机属性锚定到真实世界，实现物理一致且视觉稳定的世界生成。这篇工作让我觉得有意思的是，它不是在图像生成之后另外加一个物理检查器，而是从架构层面就把物理约束“原生”地嵌进去了。物理一致性不再是一个后处理步骤，而是模型内在的能力。 最后这篇Random Attention非常有意思，它挑战了一个我们习以为常的假设。大家都知道LLM做长推理的时候，KV cache是严重的内存瓶颈。之前的做法都是设计各种复杂的评分机制，预测每个缓存的token将来多重要，然后保留得分最高的。但这篇工作做了一个非常“反直觉”的实验：他们发现，如果只保留prompt部分，而在每个attention head内部随机驱逐缓存的token，效果居然和最强的先验驱逐方法差不多，而吞吐量还高了32%到43%。控制实验揭示了一个重要洞察：prompt是cache中最脆弱的部分，大部分性能差距其实就来自prompt保留策略的不同，而对历史token的评分选择贡献几乎为零。这个发现提醒我们，有时候精心设计的复杂机制，可能只是在我们错误理解了问题本质时才显得必要。 聊完这五篇论文，我有一个整体感受：AI领域正在从“堆算力”的粗放模式，转向“抠效率”的精细模式。不管是数据检索、模型编译、经验迁移还是cache驱逐，大家都在思考同一个问题——怎么让有限的计算资源产生最大的价值。这个转变其实和我们在科学计算领域关心的foundation model、operator learning有异曲同工之处：我们训练一个强大的预训练模型，不就是为了在下游任务上少做计算、少用数据吗？当大模型的scaling law遇到科学问题的物理约束，怎么找到那个最优雅的平衡点，可能是接下来几年我们最需要回答的问题。 好了，今天的播报就到这里，我们明天见。