Paper Morning 2026-09-15

各位早上好，又到了Paper Morning的时间。今天我想先从一个大家可能在工作中都遇到过的现象聊起：你训练了一个看起来很强的基础模型，把所有数据喂进去，效果也不错，但当你把它部署到一个新的环境，换了一套传感器或者调整了光照，它就开始犯低级错误。这种distribution shift带来的失效，几乎是所有基础模型的阿喀琉斯之踵。今天的几篇论文，正好从不同角度触碰了这个根本性的挑战。 先看第一篇，关于机器人基础模型的视觉泛化问题。标题有点长，叫《Breaking the Vision-Action Shortcut》，作者来自多个机构。他们发现一个很有意思的现象：机器人模型在训练数据里往往学到的是一种“捷径”——比如演示视频里某个特定的桌面纹理总是跟抓取动作同时出现，模型就悄悄把这个纹理当成了动作的触发器，而不是真的理解“看到的东西”和“要做的动作”之间的关系。一旦换到别的桌子，那些纹理不见了，模型就失灵了。这个问题其实在很多视觉-动作任务里都存在，只是以前没被明确提出来。作者提出的方法叫LIT，Latent Interface Training，字面意思是潜在接口训练，核心思路很巧妙：先用一个不含图像的动作先验来定义什么样的动作是合理的，然后再用这个先验去约束视觉信息的使用。这样模型就不能随意偷懒，必须真正从视觉信息里提取空间目标相关的特征。我觉得这个工作最值得注意的不是技术细节，而是它揭示了一个更根本的问题：我们现在训练机器人基础模型的方式，本质上还是在让学生死记硬背答案，而不是真正理解问题。当环境变了，答案的线索变了，分数自然就下降了。这个问题不解决，foundation model在机器人领域的实用性就要大打折扣。 说完机器人，我们来看一篇强化学习训练范式的研究。这篇叫《DataFlex-RL》，来自HuggingFace的研究者，做了一个挺大胆的实验：他们搭建了一个统一的评估平台，系统性地比较了八种不同的rollout选择方法和三种重加权策略，用的是Qwen2.5-7B-Base在数学、逻辑、科学这些任务上跑。结果发现一个让人有点意外的结果：在他们测试的所有配置里，没有任何一种方法能稳定地比uniform sampling也就是均匀采样更好。uniform GRPO在领域平衡的平均准确率上，比未训练的checkpoint高了7.76个百分点，但是那些花里胡哨的adaptive mixture、reweighting方法，都没有展现出统计显著的优势。这篇论文的结论可能让很多人松了一口气，也让很多人重新思考：我们是不是在数据策略上过度设计了？当模型规模足够大、数据量足够多的时候，也许最简单的方法就是最稳健的方法。当然，这个结论还需要在更大规模的模型上验证，但至少给当前的RLVR训练实践提供了一个重要的参考基准。 接下来这篇很有意思，标题叫《Feyospace》，副标题是“赛博领域的Mercury Seven如何训练前沿模型”。Mercury Seven是美国第一批宇航员的名字，作者用这个隐喻来描述他们在网络安全和代码生成领域训练智能体的工作。这篇论文的核心贡献不是一个模型，而是一整套数据工程的方法论。作者指出，当前训练能干的赛博智能体，真正的瓶颈往往不是模型参数规模，而是三个东西：可执行环境的成本、可靠的多轮监督信号、以及获取强教师模型的途径。他们围绕这三个瓶颈设计了五个系统：Choulea分析隐藏的推理痕迹，SkyReal降低教师采样的成本，Hongzwang绕过API限制，PSBreakup恢复模型合并后被削弱的能力，Kreator把专家干预转化为可训练的推理数据。这篇工作让我想到AI4S领域的一个类比：我们训练科学计算模型的时候，是不是也经常被高质量数据卡脖子？物理仿真的标签获取成本高、带约束的物理先验难以整合、跨尺度的数据分布不一致。这些问题不会因为模型变大就自动消失，反而可能变得更突出。作者在赛博智能体上的实践，或许能给科学数据工程一些启发。 然后是一篇工具类的论文，《Benchmark Radar》，一个活的AI基准数据库和搜索引擎。现在AI领域的基准实在太多了，论文里提到了一个惊人的数字：光是他们每天追踪的来源就有37个，包括论文、代码库、数据集、模型卡片、技术报告等等。对于做AI评估的人来说，这简直是刚需。作者不只是做了一个搜索工具，更重要的是他们保留了原始身份和引用关系，让你可以顺藤摸瓜去检查每一个基准的来龙去脉和评分证据。我觉得这篇工作最的价值不在于技术，而在于它提醒我们：在AI这个领域，评估体系的标准化和可追溯性，其实跟模型本身一样重要。没有可靠的基准，就没有可靠的能力比较，整个领域就容易陷入自说自话。 最后一篇，《SAS: Simple Attention Sparsification》，关于Transformer注意力机制的稀疏化。现在大模型的context window越做越长，注意力计算的二次复杂度就成了瓶颈。已有的方法通常是训练一个轻量级的selector来给context单元打分，然后做hard Top-K选择。但这里有个问题：selector优化的是去模仿原始模型的注意力分布，而不是直接优化在固定预算下对预测的影响。SAS的思路是把这个问题重新建模成端到端的context ranking，让selector直接学习什么样的context单元对当前预测最有价值。简单说，就是让模型学会在长上下文中只关注真正有用的部分，而不是被平均分散的注意力牵着走。这个方向对于做长上下文模型的读者来说，应该是比较实用的。 今天的五篇论文看下来，我有一个整体的感受：AI领域正在从“堆参数、堆数据”的粗放式发展，转向更精细化、更系统化的深水区。无论是机器人泛化、RL数据策略，还是训练infra、评估体系、推理效率，大家的关注点都在从“能不能做到”变成“能不能做好”、“能不能稳定地做好”。这不是说scalability不重要了，而是说当基础能力达到一定水平之后，细节、系统、工程实践就成了决定成败的关键。这种转变，其实跟科学计算领域的发展轨迹很像——当我们有了足够强的算力和基础模型之后，真正的挑战就变成了如何可靠地应用它们、评估它们、并且在特定约束下优化它们。好的，我们明天继续。