1flowbase重磅升级：将文本模型升级为多模态，Deepseek V4与GML 5.2均跑通

背景

在大型语言模型（LLM）的应用编排中，传统的组合模型方式通常依赖于节点编排与路由机制。这种方式虽然可行，但架构显得过于僵硬，缺乏灵活性。为了解决这一问题，1flowbase 团队对其进行了重磅升级，旨在通过更智能的集成方式，将文本模型与多模态能力无缝结合。

此次升级的核心背景在于解决文本模型在处理图像等非结构化数据时的局限性。通过引入内置工具调用机制，1flowbase 试图将多模态 LLM 封装为一个内置工具，挂载到如 Deepseek V4 或 GML 5.2 等主流文本模型中。这种设计允许主力模型在需要识别图片时，自动调用多模态工具进行识别，并将识别结果作为工具返回值直接反馈给主力模型，从而实现更流畅的多模态交互体验。

核心内容

1flowbase 的此次升级主要围绕“多模态 LLM 封装为内置工具”这一核心逻辑展开，具体实现流程与技术细节如下：

1. 架构设计：主力模型与多模态工具分离 系统不再采用僵硬的节点路由，而是将多模态 LLM 封装为一个标准工具。该工具可以挂载到任意文本模型（如 GML 5.2 或 Deepseek V4）上。当主力模型接收到包含图片的请求时，它不会直接处理图片，而是触发工具调用，由挂载的多模态 LLM 负责图片识别，并将描述性结果返回给主力模型进行后续处理。

2. 关键技术：图片拦截与参数配置 由于上游供应商的文本模型节点通常不支持直接接收图片输入，直接传输会导致报错。因此，1flowbase 引入了“图片拦截”机制：

• 图片拦截 JSON：在 LLM 节点中开启工具注册前，通过自定义 JSON 配置拦截图片数据。目前仅支持拦截图片，未来计划升级为动态配置拦截工具，以便对工具执行结果进行强制拦截和改造。
• 工具传参 JSON：配置好 JSON Schema 后，系统可直接解析并保存参数。这些参数定义了工具的名称、标识（仅支持大小写字母、数字和下划线）以及传参格式，确保文本模型能够正确调用多模态工具。

3. 实测效果与兼容性

• Claude Code 集成：项目已在 Claude Code 中跑通。测试显示，无论是接入 GML 5.2 还是 Deepseek V4，系统均能正确处理图片输入。对于 Deepseek V4，若未满足前置条件（如未正确传递图块），系统会拦截请求并提示模型重新查找，确保数据完整性。
• 日志修复：针对 Claude Code 的源码，1flowbase 进行了专门的日志修复和调整，以优化调试体验。
• Gemini 与 GPT 支持：在版本 0.2.2 中，修复了 Gemini 和 GPT 的 response 协议模型无法看图的问题。作者认为 Gemini 在图像理解方面表现强劲，建议用户可尝试挂载 Gemini 作为多模态后端。

4. 未来规划：智能路由 目前仍在开发中的“智能路由”功能旨在进一步提升用户体验。其目标是实现主力模型与工具模型之间的无缝切换：

• 当主力模型（如 Deepseek）遇到特定任务（如测试生成）时，自动切换到工具模型（如 GPT）。
• 工具模型完成任务后，控制权交还主力模型，由主力模型进行总结。
• 对于 Claude Code 等客户端工具而言，这一过程是无感的，它们始终认为自己在与一个统一的大模型上游交互。

关键要点

• 核心创新：将多模态 LLM 封装为内置工具，挂载于文本模型（如 Deepseek V4、GML 5.2），实现“文本模型为主，多模态为辅”的灵活架构。
• 技术难点突破：通过“图片拦截 JSON”解决上游供应商文本节点不支持图片输入导致的报错问题，确保数据流顺畅。
• 配置简化：提供预配置的 JSON Schema 参数，用户只需填入即可解析，降低了使用门槛。
• 兼容性验证：已在 Claude Code 中验证成功，支持 GML 5.2 和 Deepseek V4 作为主力模型，并修复了 Gemini 和 GPT 的看图协议问题。
• 未来方向：正在开发“智能路由”功能，实现主力模型与工具模型间的无缝切换与协作，对客户端保持透明。
• 开源承诺：项目完全开源，无未开源部分，并已获得 LINUX DO 社区认可，遵循社区推广规范。

意义与影响

1flowbase 的此次升级标志着 LLM 应用编排从“硬路由”向“软集成”的重要转变。通过将多模态能力封装为标准工具，开发者可以更灵活地组合不同模型的特长，无需重构整个工作流即可为文本模型赋予视觉理解能力。

这一架构不仅降低了多模态应用的开发复杂度，还提高了系统的可维护性和扩展性。例如，用户可以根据需求随时更换底层的视觉模型（如从 GML 5.2 切换到 Gemini），而无需修改主力模型的逻辑。此外，即将推出的智能路由功能将进一步模糊模型间的边界，实现真正的“模型即服务”（Model as a Service），为 AI 应用的智能化和自动化提供了新的技术路径。对于社区而言，这一开源项目不仅提供了实用的工具链，还展示了如何通过工程化手段优化现有模型的能力边界，具有重要的参考价值。