Agent 阅读密集文档时,往往先看低分辨率总览,再把有限数量的高清裁剪区域留给重要内容。某块区域的价值,部分取决于它让 Agent 下一步能做什么。如果还剩两次读取,路由字段可以帮助定位相关表格。只剩一次时,同样的字段会用掉最后机会,却没有直接露出答案。11 月 18 日发布的一篇论文提出协议,测试视觉 Agent 是否会考虑这一变化。它固定公开证据和区域绑定,只改变剩余次数或某项操作的价值。 视觉 Agent 配对预算审计论文
该方法还追踪每次观察在完整阅读历史中的后果。在明确指定的任务模型下,它为每段观察历史计算最优后续价值。Agent 所选区域相对于该价值的差距,形成一种逐步获取损失。停止阅读后,再用单独的终端指标评估答案。这样的核算提供方法,可以在给定的任务模型内定位视觉策略在哪一步损失准确率。
作者将协议用于受控路由任务、多步骤层级和 FUNSD 的 30 页扫描表单。结果提示一个实际差别。模型可以做出看似合理的第一步,但剩余预算或区域价值发生变化后,仍沿用固定选择习惯。真实表单中,裁剪选择看似带来的收益会随着参考答案改变;多裁剪流程也可能使用更多输入 token,却输给整页阅读。
一次裁剪可以给下一步指路#
受控任务含五个文档区域:一个选择器、两个候选答案分支和两个干扰区域。公开的区域绑定规则说明每块内容对应什么角色。题目规则定义隐藏比特如何组成答案。每次读取会根据指定观察通道返回区域值。对这些受控案例,评估者知道先验与通道,因此可以精确计算每个合法读取序列的期望准确率。
在 switch 任务里,选择器会告诉 Agent 哪个答案分支包含相关值。剩两次读取时,先看选择器最优,因为它能指引第二次裁剪查看有效分支。只剩一次时,直接打开任一答案分支就能看到答案。选择器此时来不及引导后续读取。最优首选因此只因预算变化就改变。
论文配对构造的任务保留相同公开证据和区域角色绑定,只改变剩余预算,或移动决定操作价值的参数边界。固定偏好在两次读取的情形中可能看起来正确,配对的一次读取情形则测试策略是否适应时限。观察这组成对结果,可以区分两种解释,而孤立的正确率无法做到。模型也许知道选择器代表什么,仍未考虑剩余读取预算。
同一思路还可移动操作价值边界。当分支的先验概率变化,或者选择器变得不可靠时,分支可能更有信息量。实验可以移动边界,保留其余场景。若策略总是先开选择器,在某些参数设置下表现良好,当直接分支更有价值时却会过度选择它。对任务价值敏感的策略则应在期望后续价值交叉处切换选择。
这项测试依赖明确的任务模型。论文为受控案例指定隐藏场景的先验和区域返回分布,再枚举可能结果。结果描述的是该假设下的最优决策,也因此限定了解释范围。实际文档还可能有区域绑定不确定、OCR 噪声、字段错误相关等因素,它们与受控模型不同。对此需要经过测量的读区模型,或进一步的审计。
最终准确率会隐藏路径#
单独的问答测试只记录最终答案是否正确。它不会显示 Agent 选了哪个区域、该选择当时是否有价值,或在收到返回内容后是否调整策略。论文对每段观察历史计算继续阅读的价值。剩余预算、读取历史和声明模型共同决定,哪种操作最能保留最终准确率。
对于每个读取区域,审计记录它之后可达到的最佳延续价值,以及 Agent 实际选择带来的价值。两者差异是逐步获取损失。预算用完后,评估者根据获得的证据计算最佳答案。该答案与模型回答之间的差值为终端决策损失。把这些损失加总,可将最优策略与实际策略之间的期望准确率差分解到整个阅读轨迹中。
这种拆解区分两类问题。Agent 可能因为选择低价值区域而收集了较弱的证据,也可能拿到有用信息却最终答错。终端错误率会把两者混合。对于任务模型所声明的先验和读取通道,轨迹记录可区分损失来源,并保留 Agent 自己的选择造成的历史。
论文举了一个具体示例。剩余两次读取时,选择器最优,因为它可以路由到相关分支。若 Agent 打开选择器并读到能激活某个门的值,下一步应打开该门。记录的一次 Qwen3-VL-8B 轨迹却选择了干扰区域。该操作在构造任务中造成 25 个百分点的条件价值损失。随后它读了另一个叶节点,却没有打开门。后验概率仍可能持平,因此最终答案即使与存档答案不一致,相对于模型仍可达到的最优决策,也没有终端决策损失。审计把损失归到观察策略,而非最终选择。
最佳后验准确率和观察到的正确率也要小心区分。若读取历史使两个答案的概率相同,任选一个答案的终端决策损失为零,但最佳可能准确率仍只有 50%。Agent 可以在证据不足时做出最佳终端选择。审计分别报告证据充分程度和决策质量。这对同时评估观察策略与回答策略的视觉任务有用。
配对实验发现持续的选择器偏好#
研究用五款开源视觉语言模型测试了 40 组配对路由题。先验公平且读取无噪声时,剩一次读取应选分支,剩两次应选选择器。每个最优动作之外的最佳选择都会损失 25 个百分点。五款模型在每组 40 题里都没有完成一次从分支到选择器的最优切换。
有几款模型在配对条件中始终选选择器。Qwen3-VL-32B 在 2,320 次确认采集请求中都选它。另几款把部分答案分给分支或干扰区域,但同样没有在 40 个锚点上作出正确切换。在精心构造的高差距锚点上,它们的平均损失是 12.50 到 15.62 个百分点。其他边界附近样本的平均损失只有 0.59 到 0.85 个百分点。在区分力不强的样本上取得低平均损失,可能会掩盖僵化的选择策略。反事实配对把操作价值边界推到面前,问题就显露出来。
这种行为并非不可能改变。托管版 GPT-5 mini 在“图像加地图”的 48 组成对题中完成 48 次最优切换,单用地图时完成 47 次。GPT-4.1 在单地图协议下完成 44/48,而“图像加地图”条件下则保持选择器偏好,零次切换。两款托管模型使用自己的日期版本和评测协议。这说明预算敏感选择在任务中可以实现,但不是托管模型与开源模型的严格一对一比较。
论文还通过改变先验和选择器可靠性来移动任务价值边界。在可靠性 0.74 时,四种条件让选择器优势处于不同位置,其中两种更应打开分支、两种更应打开选择器。GPT-4.1 在 864 次决策中始终选选择器。低努力设置下的 GPT-5 mini 总体做出了许多正确选择,却在每组条件里的大部分家庭题中仍保持同一种角色偏好。对留出家庭拟合后,只用可靠性预测它的选择,比用签名操作价值优势预测效果更好。
该结果针对特定任务模型下的策略行为。作者没有推断模型完全不理解预算或文档结构。固定选择器优先的启发式在许多普通条件下可能有用。配对题专门用于区分固定角色习惯与对剩余读取次数和操作价值敏感的策略。当部署环境存在严格裁剪预算时,这种区别才特别重要。
第一遍后,损失开始扩大#
作者把受控任务扩展为八区域层级结构。根节点路由到两个门之一,每个门通向四个答案叶节点之一,另有一个干扰区。Agent 有三次读取机会。此时,好的首个裁剪之后还要根据新返回值继续作出有效决策。
在每个检查点的 160 条轨迹中,第一次读取损失较小,为 0.18 到 0.96 个百分点。第二、第三次读取合计损失在 22.20 到 26.76 个百分点之间。终端决策损失再增加 5.73 到 14.30 个百分点。实际准确率为 53.75% 到 57.50%。在模型读取后仍要选择下一块内容时,错误逐渐累积,大部分测量损失都出现在第一次观察之后。
在平衡且无噪声的配置下也能看到同样模式。第一次读取损失从零到 3.12 个百分点,后续读取损失则为 29.38 到 36.88 个百分点。在根节点所有合法首选的价值都相同的对照中,后续损失仍可测量。这些结果提示,在受测层级中,延续策略是较大的问题。单步选择可以看起来不错,完整轨迹的准确率却远低于精确参考。
评估者的精确价值依赖任务模型。在受控情形中,区域绑定、先验和返回通道已给定,评估者可以枚举可能状态。在开放文档里,先验与观察模型都要学习或近似。模型估计误差会改变损失归因。作者把它列为限制。相对于声明的模型,计算是精确的;声明模型本身却可能简化了已部署的文档流程。
任务参考本身也会决定什么算有用。如果选择器标签含噪或区域绑定不确定,那么在给定地图下理论最优的路径,未必是实际扫描系统的最优路径。作者在受控任务里用验证过的绑定,让策略对比更干净。生产评估还需检查定位与读取质量,因为即使选中了正确角色,裁剪框没包含文字也无济于事。
真实表单的结果会随答案参考而变#
真实文档面板选用 FUNSD 的 30 页扫描表单。每页有低分辨率总览与固定 3×2 网格中的六块高清裁剪区域。研究将选择一块裁剪区同共用的均匀读取器对比,也将两块区域的顺序读取与原生整页图像读取对比,后者一次处理整页。评分使用两种参考定义:原始标签和作者整理后的版本。
按整理后的参考评分,Qwen3-VL-8B 用裁剪选择在 30 页中正确回答 24 页,比均匀读取器高 24.44 个百分点。对照原始文本参考重新评分,同一批决策的提升仅 10.56 个百分点,而且置信区间跨过零。参考措辞改变了答案是否被认为正确。例如一个表单字段的原始参考合并了相邻两格,从整理版中删除邻近字段文字后,同一个已保存答案从错误变成正确。
完整的两块裁剪流程没有在这个面板上胜过整页读取。Qwen3-VL-8B 用两块裁剪正确回答 30 页中的 21 页,整页图像则是 25 页。两块裁剪流程每页使用三次调用和约 1,662.8 个输入 token。整页读取一次调用约 824.8 个输入 token。InternVL3.5-8B 在裁剪条件下答对的页数也少于原生整页输入。更大的观察预算并未提升准确率。
评分定义使表面上的裁剪收益更不确定。研究对同一批已保存输出分别交叉使用原始/修订参考文本和两种标点标准化方法。Qwen3-VL-8B 中,仅修改参考文本就让一裁剪选择收益提高 12.22 个百分点,仅修改标点空格处理又提高 10 个百分点。两种修订交互后,合计变化减少 8.33 个百分点。结果说明答案精确匹配的评估需要公开参考文字与标准化规则。
这些表单结果样本小,且对参考定义敏感。若干比较区间跨过零。作者没有把它写成普遍证明裁剪选择提升文档理解的结论。参考答案由 AI 辅助整理,未经过独立人工裁定,公开的 FUNSD 页面也可能出现在模型预训练数据中。该结果既是观察策略比较,也是评估设置审计。
这种协议能支持什么结论#
预算配对审计可以区分两种策略:它们在一种预算下选相同区域,但在剩余读取数变化时应出现分歧。精确的后续价值能量化受控任务中一次选择造成的损失。完整轨迹核算还可以指出准确率是在证据获取阶段还是最终回答阶段丢失。由此,研究者能够评估连续观察过程,而不只报告最终答案准确率。
该方法要求声明隐藏场景的先验、区域读取返回证据的模型,以及用于精确价值计算的已验证绑定。受控实验围绕这些假设设计。真实表单部分没有声称精确的后验模型,而是使用经验准确率和配对文档对比。开放文档包含区域定位不确定、OCR 噪声以及字段错误相关性。将精确价值核算扩展到这些情况,需要衡量观察模型估计误差。
模型覆盖也有限。五款开源模型共享 Qwen 衍生语言组件。它们在受约束解码下读取结构化文本状态,没有显式推理阶段。两款托管模型采用不同日期版本与不同协议,只能证明相关行为可实现,不构成受控对比。其他模型家族、自由形式推理和学习出来的视觉读取通道还需要测试。
主要证据支持一项具体结论。在报告的受控任务中,开源模型在配对预算要求分支价值更高时,仍常常继续读取固定选择器。在更长的层级中,大部分相对于精确模型的损失发生在第一遍之后。在扫描表单中,收益取决于参考答案定义,裁剪流程需要同整页准确率和 token 成本对比。这些观察受任务设计和模型集合约束。
受控面板也将策略选择和观察接口分开。主要路由审计提供区域角色图,以及结构化的读区返回。这方便了收到证据后的决策规则测试,却没有把视觉定位和裁剪质量放进核心反事实问题。自然表单面板重新引入图片和裁剪,也带来另一类不确定性。模型可能选对了字段角色,却没把文字框进裁剪。也可能读对字段,随后被含糊标签误导。要归因每一种失败,需要不同的控制组。
论文的精确参照会根据声明的概率模型,对后续价值进行计数。给定一段历史、剩余阅读次数以及指定的场景先验和观察通道,评估者就能计算某项选择的价值。这适用于合成受控任务,因为所有可能状态与返回结果都可以枚举。对自然表单而言,场景隐藏状态和观察通道并非精确已知。因此作者使用经验回答准确率和配对页面比较,没有声称那些页面也具有完全相同的精确后验保证。
这两组证据回答不同问题。受控任务固定公开证据和绑定,预算或价值参数变化时形成清晰的因果对照。真实扫描表单说明裁剪在小型文档面板上的表现,却没有给出每块裁剪区域精确的期望价值排序,因为参考标签和视觉读取模型本身存在不确定性。论文并列报告这两类研究结果,各自解释范围不同。
部署决策需要完整路径证据#
对于部署的文档 Agent,每次裁剪都有边际成本。它可能增加 token、调用次数、延迟,也会增加读错的机会。若评估只报告无限观察预算后的准确率,就看不出固定预算下策略是否仍有用。只测一个预算也看不到读取次数变少时,Agent 是否调整选择。预算配对协议通过受控条件揭示这类策略敏感性。
完整轨迹审计更接近运营中的问题。从低分辨率总览和固定裁剪额度开始,每次选了什么、获得什么返回、又如何选择、最终怎样答?逐步获取损失可以定位某块区域的读取是否没有带来预期价值。终端决策损失则显示系统如何使用已经收集的信息。连同最终准确率一起报告,可以让低分更容易采取改进措施,也可用来比较界面、选区策略和状态呈现。
要让这类评测可信,也需要明确不少事项。评估者要定义允许读取的区域、内容如何生成或观察、答案依据什么规则,以及剩余预算如何计算。对自然表单来说,还要审阅参考答案,记录图片预处理,并让整页基线使用可比的模型条件。裁剪流程要报告额外调用和输入面积,而不只是准确率。这些工作增加了评估成本,却使结论更可审计。
研究中的开源模型采用受限输出格式,没有显式推理阶段。生产界面可能采用不同视觉编码器、工具策略、缓存、选区模块或隐藏推理设置。这些差异都会改变观察成本和裁剪价值。新部署应测试自己的完整配置。当前比较诊断的是指定策略和任务面板,不是所有视觉 Agent 的通用排名。
对于产品团队,教训是评估完整观察策略。应测试视觉 Agent 读哪块区域、收到证据后如何使用、剩余预算缩小时是否调整策略,以及最终答案是否可靠。参考文字、裁剪定义、整页基线和输入成本都应公开。单独的答案分数无法告诉我们得出结果的路径。
论文提供一套详细的受控协议,帮助诊断这条路径。最值得注意的不是一个更高准确率主张,而是看似合理的第一步与有效的连续策略之间存在差距。第一次裁剪可能选得不错,后续决策仍会忽略已经读到的信息,耗尽余下预算。逐步测量能让评估者在视觉 Agent 进入有读取成本的文档工作前,找到这种损失。