港科广Visual Board:重查视觉证据
多模态 Agent 解几何题、读图表时,早期把角度、标签或柱高看错,后续推理可能把错误观察当成事实。再次调用视觉工具,也未必能纠正旧记录。
香港科技大学(广州)提出 Visual Board,把图像事实、未确认的视觉信息和推理步骤分别记录。VLM Solver 可裁剪局部或重新查询原图,文本 Critic 检查推导与记录的冲突,再要求针对疑点复查。系统以新快照替换旧状态,压缩对话历史时仍保留原图和结构化证据。
方法无需专项训练。Qwen3-VL-8B 在 Euclid30K、SolidGeo、ChartQA-Bar 的准确率分别从 51.40%、35.99%、57.99% 升至 58.75%、47.20%、81.60%。4B 模型在 ChartQA-Bar 从 57.75% 升至 77.97%。
控制模型、工具和交互次数后,4B 的结构化 Board 在 Euclid30K 达到 48.80%,自由笔记为 35.80%,无 Board 重试为 30.00%;相比无 Board,Token 消耗降低 7.9%。移除 Critic 后,4B 得分降至 36.80%,但 Flash 反而从 68.47% 升至 69.80%,说明额外监督并非始终有益。
另用 1,556 条正确轨迹对 4B Solver 做 SFT,训练 200 步后,无 Critic 的 Board 工具模式准确率由 36.80% 升至 55.80%,且能迁移至图表问答。
目前仅评估几何、空间和柱状图任务;多轮工具调用增加推理开销,文本 Critic 也可能漏掉逻辑自洽的视觉错误。Visual Board 为 Agent 提供可修订的证据状态,让早期误读得到重新核验的机会。
AI论文解读 Agent 多模态推理 视觉问答 视觉Agent



