多模态程序性知识：LLM Agent技能库的扩展与革新

摘要

本文探讨了将大语言模型智能体（LLM Agent）的技能库拓展至多模态程序性知识的必要性与突破性进展。MMSkills的核心贡献在于重新定义“Agent Skills”——不再局限于文本化操作流程，而是融合视觉信息，使智能体不仅能记忆步骤，更能识别关键状态的视觉特征，并据此执行视觉决策。这一范式转变显著提升了视觉Agent在真实复杂场景中的适应性与鲁棒性。

关键词

多模态, LLM Agent, 程序性知识, 视觉决策, MMSkills

一、多模态程序性知识的基本概念

1.1 多模态程序性知识的概念界定

多模态程序性知识，不是对文本指令的机械复述，而是一种扎根于感知、生长于交互、成形于判断的认知能力。它超越了传统“步骤—动作”式的线性描述，将视觉线索——如物体姿态的微妙偏移、界面按钮的高亮闪烁、环境光照下的材质反光变化——内化为决策依据的一部分。在MMSkills框架下，程序性知识不再仅以文字序列存在，而是以“文本+关键帧+状态标注”的耦合结构被建模：一段装配操作不仅包含“拧紧螺丝”“校准传感器”等语义描述，更嵌入了“螺丝头纹路清晰可见”“LED指示灯由红转绿”等可识别、可比对、可触发响应的视觉锚点。这种知识形态让智能体第一次真正拥有了“看见即理解、理解即行动”的闭环能力——它不再问“下一步该做什么”，而是能自主判断“此刻是否已到达执行下一步的视觉临界点”。这不是功能的叠加，而是认知范式的跃迁：从“按说明书做事”走向“看情境做判断”。

1.2 LLM Agent技能库的发展历程

LLM Agent技能库的演进，是一条从“语言驱动”走向“感知驱动”的清晰轨迹。早期技能库本质是文本API的集合：调用搜索、生成摘要、发送邮件……所有行为均依赖符号化输入与输出，其边界由提示词的精度与模型的语义泛化力共同划定。随着工具调用（Tool Use）机制成熟，技能开始具备外部交互能力，但仍受限于文本接口的抽象层级——它能“请求天气”，却无法“辨认窗外是否正在下雨”。MMSkills的出现，标志着这一局限被系统性突破：技能首次被赋予视觉解析维度，使Agent得以在真实物理或具身仿真环境中，将摄像头所见直接映射为状态评估与动作选择。这一转变并非简单增加一个视觉编码器，而是重构了技能的本体论定义——技能不再是“能调用什么”，而是“能在何种视觉条件下可靠地完成什么”。当技能库开始容纳多模态程序性知识，LLM Agent才真正迈出从“语言助手”到“视觉协作者”的决定性一步。

二、MMSkills的核心技术与实现

2.1 MMSkills的技术架构与实现

MMSkills并非对现有LLM Agent框架的局部修补，而是一次面向具身智能本质的结构性重铸。其技术架构以“文本—视觉—状态”三元耦合为内核，将传统技能（Skill）解构为可验证、可泛化、可演化的多模态单元：每个技能实例均绑定一组语义描述、若干关键视觉帧（Keyframes）及对应的状态标注（State Labels）。这种设计拒绝将视觉信息降维为提示词中的形容词堆砌，也规避了端到端黑箱映射的不可解释性；它要求模型在推理时同步激活语言理解通路与视觉特征比对通路，并在二者交叠的语义-像素共识区触发动作策略。换言之，MMSkills让技能第一次拥有了“记忆的眼睛”——不是记住“如何说”，而是记住“如何认”。当一个装配任务被加载，Agent不仅读取“插入卡扣”，更实时比对当前画面中卡扣边缘是否出现微米级咬合反光、塑料形变是否达到预设纹理阈值；这些视觉锚点不是辅助注释，而是技能生效的刚性前提。技术实现上，它不依赖单一模态编码器的强行拼接，而通过跨模态对齐损失与状态感知蒸馏机制，在训练阶段即强制文本指令、关键帧表征与状态转移逻辑达成联合优化。这使MMSkills成为首个真正将“程序性知识”从抽象脚本，锻造成可感知、可校验、可迭代的具身认知模块的系统性方案。

2.2 视觉决策的关键特征识别方法

视觉决策的生命力，不在像素的堆叠，而在对“关键特征”的敬畏式凝视。MMSkills所定义的关键特征识别，并非通用目标检测或分割任务的迁移应用，而是一种任务闭环驱动的、强语义约束下的视觉焦点建模：它只关注那些直接决定“能否执行下一步”或“是否需要中止并重试”的视觉信号——螺丝头纹路是否清晰、LED指示灯是否由红转绿、界面按钮是否处于高亮闪烁态。这些特征被显式建模为“状态锚点”（State Anchors），每一个都附带可计算的视觉判据（如边缘梯度一致性、色相偏移量、光斑空间分布熵），而非模糊的注意力热图。识别过程亦非单帧快照判断，而是依托短时序视觉记忆，在连续帧间追踪特征演化轨迹：例如，仅当“卡扣形变纹理”在连续3帧中呈现渐进式压缩且无回弹，系统才确认“已到位”。这种识别方法剥离了冗余感知，直指决策要害——它不追求“看见一切”，而执着于“认准要害”。正因如此，MMSkills赋予视觉Agent的，不是更锐利的眼睛，而是一颗懂得何时该屏息、何时该出手的心。

三、总结

MMSkills的核心贡献在于将Agent Skills的定义从仅限于文本化的操作流程，扩展到了包含视觉信息的多模态程序性知识。这一扩展使视觉Agent不仅能够记忆操作步骤，还能够识别关键状态的视觉特征，并根据这些视觉信息做出决策。它标志着LLM Agent技能范式的根本性转变：从依赖符号化输入的“语言驱动”，迈向融合感知与判断的“感知驱动”。通过构建“文本+关键帧+状态标注”的耦合结构，MMSkills实现了程序性知识的可识别、可比对、可触发，赋予智能体“看见即理解、理解即行动”的闭环能力。在真实复杂场景中，这种多模态程序性知识显著提升了视觉Agent的适应性与鲁棒性，为其从“语言助手”演进为“视觉协作者”提供了系统性支撑。