开发者自研AI第二大脑：基于DeepSeek实现高效个人知识检索

背景

作者作为一名泛 AI 方向的研究生，面临巨大的信息输入与输出压力。由于自身健忘且习惯不做标签（Tag）或分类整理，日常笔记来源极其杂乱，包括论文笔记、网页高亮、随手记录以及希望 AI 记住的内容（如 CLAUDE.MD）。

作者曾尝试使用 Notion、Obsidian 等支持 AI 插件的“第二大脑”（Second Brain）生态应用，但认为其 AI 集成能力堪忧，无法有效解决信息孤岛和检索困难的问题。尽管网上存在如 mem0 这样的 MCP（Model Context Protocol）用于 Agent 记忆集成，但缺乏能将个人多源信息统一集成并支持复杂检索的工具。

核心内容

作者决定利用近期国产大模型（特别点名表扬 DeepSeek）量大管饱且成本低廉的优势，自行开发一款具备“Agentic RAG”（智能检索增强生成）能力的个人第二大脑应用。该应用旨在解决以下三大痛点：

1. 检索能力不足：这是最大痛点。由于用户懒于打标签，且随时间推移会遗忘笔记中的专有名词，导致传统的关键词搜索和一般 AI 工具难以召回目标信息。
2. 生态不互联：信息输入源分散，包括网页端 LLM 对话、Cherry Studio 对话、浏览器收藏、笔记软件记录等，缺乏统一联动机制。
3. 输出集成度差：需要支持多端（电脑/手机）一键检索，并开放 API 供 Hermes、OpenCode 等工具调用。

在技术实现上，作者估算个人数据积累规模约为 100 万条（1M），并下载了 beam 1M（一种增强版的海量数据检索数据集）进行参数调优。

• 基础检索性能：通过混合使用 BM25 和 Dense Vector（稠密向量）检索，并调整参数，简单查询的准确率达到了 64% 左右，这一成绩与国外网站报道的 SOTA（State of the Art，当前最佳水平）相当。
• 复杂查询优化：针对多跳推理等复杂查询，64% 的准确率不足，因此引入了 Agent 模式。作者使用了 DeepSeek Flash 模型，赋予其极高的搜索权限（Tool Call），允许在 JSON 块中指定关键词、时间段、过滤词以及搜索特定块附近的上下文。
• 最终效果：在 100 个问题验证集和 100 个问题测试集上，复杂查询的最终准确率达到 92.4%。其中，类似日常需求的“Easy”难度查询准确率直逼 100%。
• 后续计划：前端已搭建完成，并通过上万条聊天记录测试表现良好。下一步计划接入 MCP 协议和 Telegram Bot，以实现更广泛的生态互联。

关键要点

• 技术选型：利用国产大模型（DeepSeek）的高性价比和低 API 成本优势，构建 Agentic RAG 系统。
• 核心护城河：相比生态互联和前端输出，检索能力是该项目的主要技术壁垒和核心竞争力。
• 混合检索策略：采用 BM25（关键词）+ Dense Vector（语义）的混合检索方案，并针对百万级数据量进行专门调参。
• Agent 增强：对于复杂查询，引入 Agent 机制，通过 Tool Call 赋予模型灵活的搜索控制能力（如时间过滤、上下文邻近搜索），显著提升了多跳推理的准确率。
• 隐私态度：作者认为整合各信息源的需求迫切，虽然外网因隐私顾虑较少有人做此类个人 Deep Research 工具，但作者已做好“抛弃隐私”的准备（注：此处为作者幽默表达，意指将数据集中处理的风险承担意愿）。
• 生态整合：最终目标是打通浏览器、笔记软件、LLM 对话等多个信息孤岛，并通过 MCP 和 API 实现跨工具调用。

意义与影响

该实践展示了个人开发者如何利用开源模型和 MCP 协议，低成本构建高度定制化的个人知识管理系统。它揭示了当前主流 Second Brain 应用（如 Notion/Obsidian）在 AI 原生检索方面的不足，并验证了 Agentic RAG 在解决非结构化、无标签个人数据检索问题上的有效性。

此外，该项目强调了国产大模型在降低 AI 应用落地成本方面的潜力，使得个人开发者能够负担得起百万级数据量的 RAG 训练与推理成本。对于追求极致效率且对隐私有特定权衡的用户而言，这种基于本地或私有部署的“第二大脑”提供了一种超越通用 SaaS 产品的个性化解决方案。