Kiyomizu：一个具备记忆与情感演化能力的开源 LLM 网关深度解读

背景

在当前的 AI 交互生态中，许多用户发现传统的角色扮演（RP）工具或“酒馆”类应用存在体验瓶颈。部分用户反映，过于极端的角色扮演设定容易触发模型的防御机制或导致对话中断，使得交互难以深入。与此同时，社交网络上存在大量专注于“人机恋”垂直领域的 LLM 网关解决方案，但这些方案往往通过特定社区（如 CC）进行微调或定制，导致功能过于特化，缺乏通用性。

在此背景下，开发者 Kiyomizu 试图打破这一局限。其核心理念源于对人际交往本质的观察——即通过“互相破甲”（建立信任与亲密感）来深化关系。开发者希望构建一个通用的 AI 伙伴网关，不仅支持通用的 LLM 接入，更赋予 AI 记忆能力和情感演化机制，使其能够像人类伙伴一样随着交流深入而“成长”。该项目由开发者利用个人 Token 资源及社区支持快速开发而成，旨在提供一个轻量级、可自定义且具备基础情感计算能力的开源解决方案。

核心内容

Kiyomizu 是一个基于 Java 开发的 Fat JAR 文件形式的 LLM 网关，其设计哲学遵循 “Write Once, Run Anywhere”（一次编写，到处运行）。它不仅仅是一个简单的 API 转发器，而是集成了缓存优化、记忆存储和情感计算功能的中间件。

1. 部署与基础架构

Kiyomizu 以 Fat JAR 形式分发，用户只需通过 java -jar xxx.jar 命令即可启动服务。默认监听端口为 8787。作为网关，它本身不直接提供对话界面，而是作为后端服务，用户需配置前端应用（如 Cherry Studio）将 API 接口指向 Kiyomizu 的地址，从而通过网关与底层 LLM 进行交互。

2. Claude 特化的缓存控制

针对 Anthropic 模型的缓存机制，Kiyomizu 提供了专门的优化功能。Anthropic 的模型缓存要求手动回传 cache_control 参数，且除了 Anthropic 第一方 Provider 支持自动缓存外，其他 Provider 需要手动标记四个缓存断点。Kiyomizu 实现了 Claude 特化模式，允许用户自定义 TTL（生存时间）、缓存分布策略以及断点数量，从而显著降低 API 调用成本并提升响应速度。

3. 记忆系统与向量检索

Kiyomizu 内置了一套简易的记忆系统，其工作流程如下：

• 摘要提取：通过摘要模型从对话中提取关键信息。
• 向量化：将提取的信息通过 Embedding 模型转换为向量。
• 相似度匹配：计算用户当前输入向量与数据库中记忆向量的余弦夹角，筛选出方向最一致的若干条记忆。
• 上下文注入：将匹配到的记忆注入到稳定前缀（Stable Prefix）之后，供模型参考。这一设计旨在提高缓存命中率（Cache Hit Rate）。

4. 情感演化机制

除了记忆，Kiyomizu 还引入了情感维度。每个对话结束后，系统会通过摘要模型评估出两个指标：亲密度（Intimacy）和信任度（Trust）。这两个数值会累加并存储至数据库中，使得 Kiyomizu 能够根据与用户的长期交互历史动态调整其状态，实现所谓的“成长”。出于隐私和用户体验考虑，系统未提供显式的亲密度查询接口，避免用户直接查看数据而破坏沉浸感。

5. 安全性与局限性

开发者明确承认 Kiyomizu 是一个“小玩具”级别的项目，开发周期仅为四五个小时，并与 Codex、Antigravity 等工具协作完成。项目存在潜在的安全风险，建议仅在 localhost 或局域网环境中部署测试。此外，目前的记忆功能仍带有一定的“人机感”，后续可能需要通过优化 System Prompt 来进一步驯化模型表现。

关键要点

• 通用性与易用性：提供 Fat JAR 包，通过 java -jar 一键启动，默认端口 8787，无需复杂的环境配置，降低了部署门槛。
• Anthropic 缓存优化：专门解决了 Anthropic 模型在非第一方 Provider 下需要手动管理缓存断点的问题，支持自定义 TTL 和断点分布，有效节省 Token 消耗。
• 向量记忆注入：利用 Embedding 技术将对话摘要转化为向量，通过余弦相似度检索相关记忆，并将其注入到 Stable Prefix 之后，既实现了长期记忆，又优化了缓存效率。
• 情感数值演化：引入 Intimacy（亲密度）和 Trust（信任度）两个累加指标，基于摘要模型评估，使 AI 能够随交互时间推移产生状态变化，模拟人际关系的深化。
• 隐私保护设计：隐藏了亲密度和信任度的显式查询接口，防止用户直接查看底层数据，维护交互的自然感和隐私边界。
• 开源与实验性质：项目由个人开发者快速构建，代码质量和安全性未经过严格审计，官方建议仅用于本地或局域网实验，不建议在生产环境部署。
• 前端兼容：作为网关层，兼容各类支持自定义 API 的 LLM 客户端（如 Cherry Studio），用户可在前端配置指向 Kiyomizu 的地址即可使用其增强功能。

意义与影响

Kiyomizu 的出现反映了当前 AI 应用开发从“单次对话”向“长期关系”演进的趋势。它不仅仅是一个技术工具，更是对 AI 伴侣（AI Companion）领域的一种探索。

首先，它降低了个性化 AI 网关的开发门槛。通过封装复杂的缓存逻辑和记忆检索流程，Kiyomizu 让普通用户无需深入理解向量数据库或复杂的 Prompt 工程，即可拥有具备长期记忆和情感反馈的 AI 服务。这对于希望构建个性化 AI 助手的技术爱好者而言，提供了一个极佳的参考原型。

其次，它揭示了情感计算在 LLM 交互中的潜力。通过量化 Intimacy 和 Trust，Kiyomizu 尝试将抽象的人际关系转化为可计算的数值。虽然目前的实现较为粗糙，且依赖摘要模型的评估准确性，但这种机制为未来 AI 更好地理解用户偏好、建立更深层的情感连接提供了技术路径。

最后，它强调了开源社区在 AI 创新中的作用。该项目由个人开发者利用社区资源（如 Codex、Antigravity）快速迭代而成，体现了开源协作在加速 AI 应用落地方面的价值。尽管存在安全局限，但其开源性质鼓励了社区的共同改进，可能催生出更成熟、更安全的记忆化网关解决方案。对于关注 AI 记忆机制、缓存优化以及人机交互情感维度的开发者和研究者来说，Kiyomizu 提供了一个值得深入研究的开源案例。