这项由华中科技大学、中关村塾院、哈尔滨工业大学、香港科技大学（广州）、北京航空航天大学、郑州大学、华东师范大学、中国科学本事大学及DeepCybo等多家机构妥洽开展的贪图，以arXiv预印本样式发布于2026年5月14日，论文编号为arXiv:2605.14712。

你有莫得际遇过这么的情况：家里的扫地机器东说念主明明仍是清扫过左边边际，却又回归再扫一遍，堕入无穷轮回？又或者，一个帮你作念饭的机器东说念主助手，明明刚才把鸡蛋放进了锅里，却不才一个动作时蓦地"失忆"，不知说念我方接下来是要翻炒如故加盐？

这类问题，提及来可笑，却是目前机器东说念主本事边界最头疼的难题之一。贪图团队把这个问题起了个很形象的名字，叫作念"短视界意图污染"。这篇论文的中枢责任，即是试图给机器东说念主装上一段"短期牵挂"，让它在行动时能记取我方刚才作念了什么，从而判断接下来该作念什么。贪图服从被定名为IntentVLA，同期贪图团队还开发了一套特意用来测量这个问题严重进程的评测用具，叫作念AliasBench。

一、机器东说念主为什么会"忘事"？

先来会通一下机器东说念主是何如"看"天下的。目前起先进的机器东说念主截止系统，大多依赖一种叫作念"视觉-语言-动作模子"（Vision-Language-Action，简称VLA）的框架。顾名念念义，这类系统会领受一张现时的摄像头画面，同期读取你给它的辅导，然后径直输出一段动作序列，告诉机器东说念主接下来几步要何如动。

这个框架乍听起来很完好，但它有一个致命瑕玷：它只看现时这一帧画面。就像一个失忆的厨师，每次作念菜前齐只可看目下的灶台，却所有不难无私方五分钟前仍是加过盐了。

贪图团队举了一个相配直不雅的例子：假定要完成的任务是"把面包放进平底锅煎，然后取出来放回盘子里"。在这个任务流程中，有两个时刻的画面看起来极其相似——机器东说念主手里夹着面包，悬在责任台上方。第一次是刚提起面包准备放锅里的时候，第二次是煎好后取露面包准备放回盘子的时候。对东说念主类来说，只需要追思一下刚才作念了什么，就能知说念当今应该往哪个办法走。但关于只看现时画面的机器东说念主来说，这两个倏得险些一模一样，它无法判断我方到底是要"放进锅"如故"放回盘"。

更灾祸的是，当代机器东说念主系统经常不是集中实行动作的，而是每隔一小段时候就再行"想"一次下一步该何如走，产生新的动作辅导，再接确凿行。这叫作念"分段蓄意"。若是莫得牵挂，机器东说念主在两次相邻的"再行蓄意"中，所有有可能产生截然相悖的动作辅导——一次觉得要往左，下次又觉得要往右。这种反覆无常的举止，在施行实行中会发扬为机器东说念主来回恐慌、反复游移，致使所有失控。

二、这个问题有多严重？贪图团队造了一把"尺子"来量

光说问题存在是不够的，贪图团队还需要诠释这个问题真实、大批、值得被严肃对待。为此，他们特意打造了AliasBench这套评测体系。

AliasBench开采在RoboTwin2这个机器东说念主仿真平台之上，包含了12种悉心联想的操作任务，况兼为每种任务同期准备了历练数据和特意的评测环境。这12个任务的联想原则惟有一个：它们齐包含"现时画面相似、但下一步动作不同"的环节时刻。

贪图团队把这12个任务归入四大类别，分别对应四种不同的"劝诱源流"。第一类叫作念"来回污染"，描写的是某些任务里机器东说念主需要把物体从A搬到B、再从B搬回A这么的走动流程，半途会出现多个视觉上极其相似的"手持物体"情景，但每次的目的地所有不同。第二类叫作念"旅途交叉污染"，比如机器东说念主需要从不同起先开拔去往对应的目的地，在半路中画面可能看起来一模一样，但走向所有相悖。第三类叫作念"双臂污染"，特意针对双臂机器东说念主在把物体从一只手递给另一只手的流程中，两只手的中间情景险些对称，难以永诀是从左递到右如故从右递到左。第四类叫作念"多办法污染"，任务里有多个候选办法，正确的阿谁只在某个倏得常刻被标示出来，之后这个记号就淹没了，机器东说念主必须记取我方刚才看到了什么。

为了让这套评测更有劝服力，贪图团队还作念了一项量化考证据验。他们把每个任务中通盘"劝诱时刻"的画面索要出来，滚动为数字向量（不错会通为把每张图片的视觉特征压缩成一串数字），然后检讨这些数字有多相似。驱散相配领会：在通盘12个任务中，平均来说，有49.7%的"最相似邻居"来自意图所有不同的时刻。换句话说，快要一半的情况下，机器东说念主看到某个画面，齐会同期空猜测两种所有不同的下一步动作。而且即使是那些看起来各别稍大少许的情况，它们之间的相似度差距也极其轻细，最大差距不超过千分之三。这有劲地诠释了"短视界意图污染"不仅仅一个认识性担忧，而是真实存在于操作任务数据中的大批征象。

三、给机器东说念主装上"短期牵挂"——IntentVLA的联想

既然问题仍是说明晰了，处分决策也就呼之欲出了：给机器东说念主看现时画面的同期，也让它"回顾"一下刚才发生了什么。贪图团队把这个联想叫作念IntentVLA。

不错用一个通俗的比方来会通IntentVLA的责任花式。假定你是一个莫得任何牵挂的助理厨师，每次主厨问你"接下来作念什么"，你只可盯着目下的灶台看。IntentVLA的作用，就特地于在你身边放了一卷十秒钟前的摄像，让你在回话之前先快速回放一遍，然后再作念决定。

具体来说，IntentVLA的联想包含三个相互配合的部件，每个部件承担不同职责，共同变成完整的判断才能。

第一个部件庄重处理"现时情景"。系统使用了一个叫作念Qwen3-VL的语言-视觉大模子，它领受现时这一帧画面和你给出的笔墨辅导，把这些信息整合成一个"现时情景描写"。这一步和传统VLA系统是一样的，莫得施行区别。

第二个部件庄重处理"历史纪录"。这是IntentVLA最环节的翻新。系统使用了另一个独处的模子，叫作念VGGT-1B，特意用来处理最近一段时候（大致最近16帧，大致对应几秒钟）的画面序列。不外贪图团队作念了一个贤慧的简化：他们不让VGGT分析每帧画面的每一个细节，而只保留两种特殊的输出信息——一个叫作念"摄像头记号"的向量（纪录摄像头的朝向变化，雷同于纪录"最近几秒钟，你的视角何如移动了"）和四个叫作念"寄存器记号"的向量（纪录画面间的举座几何联系变化，雷同于纪录"场景的空间结构发生了什么变化"）。这五个向量极其紧凑，却包含了判断"最近在作念什么"所需要的中枢信息。

第三个部件庄重"会通讯息"。系统用一种叫作念"门控交叉戒备力"的机制，把历史信息和现时情景信息合并在沿路。不错把这个流程会通为：助理厨师先看了现时灶台的情景，然后快速扫了一眼摄像回放，临了把两部分信息详细起来，变成一个"详细判断"。这个详细判断就叫作念"短视界意图示意"，它是现时任务情景加上最近举止历史共同决定的一个中间变量。临了，这个详细判断会被输入到一个基于"流匹配扩散模子"（不错会通为一种特地擅永生成集中动作序列的神经网罗结构）的动作生成头，输出最终的动作辅导。

贪图团队特地强调：这套联想所有不需要东说念主工给每个时刻标注"意图标签"，不需要东说念主类大众告诉系统"这个时刻属于意图A、阿谁时刻属于意图B"。通盘系所有统通过效法东说念主类示教数据来自动学习，大大裁减了施行应用的门槛。

四、效果何如样？数字谈话

贪图团队在四个不同的测试平台上对IntentVLA进行了评估，金年会(JinNianHui)体育驱散在各个方面齐清楚出明确的转变。

在特意为测试意图污染联想的AliasBench上，IntentVLA的发扬尤为凸起。对比的基准系统是Qwen3VL-GR00T，这是目前起先进的VLA系统之一，在多个公开基准测试上齐有出色发扬。在不使用任何历史信息的情况下，这个基准系统的平均得胜率惟有9.0%——这充分说明了纯帧要求表率戒备图污染场景下的严重局限。贪图团队也尝试了一种更径直的历史补充决策：把夙昔的多帧画面径直拼接进模子的输入中。驱安静现，输入最近8帧或16帧历史画面会径直导致内存溢出，根蒂无法启动。输入最近4帧画面免强不错启动，但得胜率也惟有10.4%，进步极其有限。更贤慧的作念法是从最近16帧中均匀采样4帧输入，得胜率进步到了28.1%，但仍然远低于IntentVLA的45.8%。

这意味着IntentVLA的得胜率是基准系统的五倍以上，比最佳的可行历史补充决策进步了17.7个百分点。在四种污染类型中，"旅途交叉污染"任务的进步最为权贵，从15.7%跃升至74.7%；"来回污染"任务也从6.0%进步到了49.3%。这两类任务恰正是最依赖"物体从那处来"这一历史信息的场景，也进一步考证了IntentVLA的联想办法是正确的。

除了总体得胜率，贪图团队还开发了一个特意臆想"相邻动作辅导一致性"的方针，叫作念ICC-L2。这个方针的逻辑很直不雅：若是机器东说念主在某个时刻蓄意了接下来十步的动作，然后几步之后再行蓄意，两次蓄意对兼并个将来时刻的臆想应该大体一致。若是每次再行蓄意齐产生千差万别的臆想，说明系统在反复"变节"，莫得防守踏实的意图。测量驱散清楚，IntentVLA将这一方针从0.219裁减到了0.181，降幅达17.6%。而且在最难的那些时刻，也即是90百分位数的顶点情况，降幅更是高达21.7%，说明IntentVLA不仅让平均情况更好，还特地有用地阻截了最严重的"变节"征象。

在另一个粗犷使用的机器东说念主基准测试SimplerEnv上，IntentVLA在四项WidowX机器东说念主操作任务中取得了72.9%的平均得胜率，超越了基准系统Qwen3-VL-GR00T的65.3%，也超越了目前已论说的最高成绩68.2%。其中"将绿色积木叠放在黄色积木上"这个任务的得胜率从18.8%进步到了54.2%，进步最为权贵——这类任务需要精准判断抓捏和遗弃的过渡情景，正值成绩于历史信息对空间几何联系的补充。不外也有一项任务"将勺子放在毛巾上"的得胜率从83.0%下落到了70.8%，贪图团队分析觉得，这个任务自身的意图歧义性很低，历史信息的引入反而可能踱步了模子对致密外不雅特征的戒备力。这种"有得有失"的征象正值说明了贪图的客不雅性。

在LIBERO这个多任务机器东说念主学习基准上，IntentVLA在包含四个子任务套件的详细评测中取得了98.6%的平均得胜率，比基准系统的96.5%有所进步。最值得关怀的是"LIBERO-Long"子套件，这个套件包含需要完成多个集中子任务的复杂任务，对意图连贯性要求最高。IntentVLA在这里取得了97.4%的得胜率，而基准系统惟有92.0%，π0.5系统也惟有92.4%。

在RoboCasa这个包含24各样种化操作任务的大型基准上，IntentVLA以57.0%的平均得胜率位居通盘对比表率之首，超越了第二名TwinBrainVLA的54.6%。

五、哪些部件信得过起了作用？远离来看的消融实验

为了搞明晰IntentVLA的性能进步到底来自那处，贪图团队把这套系统远离，一一去掉不同的组件，不雅察效果若何变化。

最基础的对照是纯帧要求的基准系统，平均得胜率65.3%。若是只加入VGGT编码器但不给它任何历史信息、只让它处理现时这一帧，得胜率反而略有下落，变成64.8%。这说明VGGT自身不是魔法棒，它的价值所有来自于对多帧历史信息的处理，而不是动作单帧特征索要器使用。接下来，给VGGT输入历史帧并通过门控交叉戒备力会通进来，得胜率进步到69.5%。临了再加上阿谁"历史摘记令牌"，即把历史信息非常压缩成一个紧凑的单向量附加给动作模子，得胜率进一步进步到72.9%。这个迟缓递加的驱散标明，IntentVLA的每一个联想组件齐有实质孝敬，而且两种样式的历史信息示意（细粒度的多帧令牌序列和压缩的单向量摘记）是互补的，不可偏废。

六、敦朴濒临局限：这套表率处分不了什么问题

贪图团队在论文中坦诚地列举了IntentVLA目前的局限，这种客不雅魄力值得细则。

领先，IntentVLA的牵挂窗口惟有最近16帧，袒护时候相配有限。关于那些需要记取很久以前发生了什么的任务，比如半小时前的操作决策，这套表率窝囊为力。其次，现时的通盘评测齐在仿真环境中进行，还莫得在真什物理机器东说念主上考证效果。真实天下的光辉变化、噪声打扰、物体外不雅各别等身分，可能会给历史信息的应用带来非常挑战。第三，AliasBench上的平均得胜率惟有45.8%，远未处分问题，双臂劝诱和多办法任务依然相配贫瘠。贪图团队分析，这一方面是因为16帧的历史窗口不够长，另一方面是因为机器东说念主在实行流程中会犯错，导致施行的历史画面和历练时见过的示教历史画面出现偏差，系统对这种"偏差历史"的处理才能还有待加强。

贪图团队指出了将来的转变办法：把评测推广到真实机器东说念主平台，贪图更具可解释性的意图探针，以及开发自符合历史聘用机制，让系统大约自动判断现时画面是否仍是实足领会，如故需要更多历史信息扶直。

归根结底，这项贪图告诉咱们一件看似通俗却经常被疏远的事情：关于机器东说念主来说，"知说念我方刚才作念了什么"和"看明晰目下是什么"雷同进犯。一个只盯着当下的系统，就像一个莫得短期牵挂的厨师，每次回身齐可能健忘刚才仍是完成了哪一步。IntentVLA通过一种轻量且高效的花式，给机器东说念主补上了这段环节的"短期牵挂"，在多个基准测试上带来了实实在在的性能进步。固然，这还仅仅迈出了第一步——机器东说念主要信得过领有踏实可靠的操作才能，还有很长的路要走。感兴致的读者不错通过arXiv编号2605.14712查阅完整论文，取得更多本事细节和实验数据。

Q&A

Q1：AliasBench和平淡机器东说念主测试基准有什么区别？

A：平淡基准测试主要臆想机器东说念主能不成完成一个任务，而AliasBench特意测试机器东说念主在"现时画面相似但下一步动作不同"的污染时刻是否能作念出正确判断。它包含12个悉心联想的任务，袒护来回、旅途交叉、双臂劝诱和多办法四类污染场景，并配有特意的量化方针来诠释这种视觉污染如实真实存在。

Q2：IntentVLA的历史牵挂是何如存储和使用的？

A：IntentVLA不是把夙昔的完整画面全部存下来，而是用VGGT模子对最近约16帧历史画面索要相配紧凑的特征——每帧只保留5个向量，分别纪录摄像头朝向变化和场景几何结构变化。这些特征通过门控交叉戒备力机制与现时画面信息会通，再非常压缩成一个单向量摘记，共同组成动作决策的要求输入，通盘流程不需要东说念主工标戒备图标签。

Q3：ICC-L2方针是什么意念念，为什么进犯？

A：ICC-L2臆想的是机器东说念主在相邻两次"再行蓄意"时，对兼并个将来时刻臆想的动作是否一致。若是机器东说念主每次再行蓄意齐产生大幅不同的动作臆想，说明它在反复"变节"，反覆无常，施行实行时就会出现恐慌、游移等不踏实征象。IntentVLA将这一方针裁减了约17.6%金年会官网首页入口，说明它不仅提高卓越胜率，还从根蒂上减少了这种意图扭捏的举止。