微调本地小模型 Qwen 3:0.6B 实现高质量问题分类

背景

作者正在开发一个旨在回答家庭日常问题的个人聊天机器人项目。该机器人的知识库通过检索增强生成（RAG）技术从向量数据库中获取，涵盖从房屋维护到医生预约等广泛话题。

为了提升回答的准确性，作者引入了“元数据感知”的向量搜索策略。其核心逻辑是：在查询向量数据库之前，先对问题进行预处理，将其分类到预定义的元数据类别中（例如：泳池 pool、汽车 car、暖通空调 hvac、烹饪 cooking）。这样做的主要目的是缩小向量排序的搜索空间，确保只检索与问题类别匹配的索引条目。例如，问题“我们什么时候更换了泳池泵？”会被映射到“pool”类别，然后再去查询索引数据库。

本实验的核心假设是：一个参数量极小的本地大语言模型（LLM），在经过特定数据集的微调后，能否成为可靠的家庭问题分类器。

核心内容

模型选择与实验设计

在该项目中，作者使用了两个不同规模的本地 LLM：

• Qwen 3:4B：用于一般的问答任务。
• Qwen 3:0.6B：这是一个超小型模型，仅用于问题分类。

实验旨在验证仅拥有 600M 参数的 Qwen 3:0.6B 是否可以通过微调，胜任家庭问题的分类工作。

微调工具与数据集

• 框架：使用开源框架 Unsloth，该框架在微调 Qwen 和 Llama 等本地模型方面表现良好。
• 数据集：初始数据集包含约 850 条家庭相关问题的数据条目。
• 数据划分：采用 70/15/15 的比例将数据划分为训练集、评估集和测试集。测试集在训练过程中被保留，用于训练后的最终测试。

基线测试（Baseline）

在微调之前，作者首先测试了原始 Qwen 3:0.6B 模型仅通过提示词（Prompting）的效果，以建立性能基线。

• 测试方法：创建了一组包含约 130 个集成测试用例的电池测试，使用来自第二个数据集的场景进行测试。
• 结果：表现不佳。在 131 次测试中，模型仅正确分类了 13 个问题，准确率约为 10%。
• 失败模式分析：
  1. 标签过宽：模型倾向于使用“electric”（电器）或“appliances”（家电）等宽泛标签，而忽略了其他具体类别（如 pool, cooking, hvac）。
  2. 幻觉类别：模型会发明不在允许列表中的新类别（例如“apartments”），而不是严格遵循预定义的分类列表。

第一次微调尝试

鉴于基线测试结果，作者决定对模型进行微调，以提高分类准确性。

• 策略：使用 Unsloth 结合 QLoRA 进行微调。
• 经验之谈：Unsloth 提供的默认微调参数是一个很好的起点。作者认为，比起过度调整 Unsloth 的参数，构建一个高质量的数据集更为重要。
• 防过拟合：为了避免在训练数据上过拟合，作者使用了未见过的测试数据进行验证，并设计了一种机制，允许通过用户反馈来修正训练数据，以便未来重新训练时使用。

结果： 准确率从 10% 提升至 79%，但仍存在明显问题：

1. 输出碎片化：模型经常只输出允许类别列表中的部分片段，例如输出“ac/air”而不是完整的“hvac”。
2. 语义混淆：模型在处理语义重叠的类别时容易混淆，特别是涉及“水”相关的类别（如喷泉、热水器、泳池）时。

第二次微调尝试：引入非语义重叠 ID

为了解决第一次微调中的问题，作者没有选择增加后处理步骤（如将“ac”映射为“hvac”）或增加提示词中的示例（这会增加维护成本），而是尝试改变模型学习类别映射的方式。

• 关键改动：在提示词中，将类别映射为两位数的不透明 ID（opaque IDs），这些 ID 之间没有语义重叠。
• 逻辑：要求模型输出固定的格式代码，而不是具有潜在语义重叠的可变类别字符串。

结果： 这一简单的改动带来了显著的性能提升，预测准确率飙升至约 92%。这表明，对于小型 Qwen 模型而言，要求输出固定且无重叠的代码有助于生成更准确的响应。

剩余问题： 尽管准确率很高，但仍有个别错误。最突出的问题是“热水器（water heater）”被错误分类为“泳池（pool）”。这很可能是由于这两个类别在语义上都与“水”有关，导致模型混淆。作者计划通过进一步细化训练数据来解决这一问题。

关键要点

• 小模型潜力：仅 600M 参数的 Qwen 3:0.6B 模型，经过适当微调，可以成为可靠的问题分类器，准确率可从基线的 10% 提升至 92%。
• Unsloth + QLoRA：使用 Unsloth 框架结合 QLoRA 策略微调本地模型是高效且可行的方案，默认参数通常足以作为良好起点。
• 数据质量优于参数调优：构建高质量、多样化的训练数据集比微调框架参数更重要。
• 输出格式优化：将分类任务从“输出语义类别名称”改为“输出固定格式的非语义 ID”，能显著减少语义混淆和碎片化输出，提升小模型的分类精度。
• 语义重叠挑战：对于语义相近或重叠的类别（如不同水相关设施），小模型容易混淆，需要通过更精细的训练数据或领域特定的后处理来解决。
• RAG 优化：通过预分类缩小向量搜索空间，可以有效提升 RAG 系统的检索精度和响应相关性。

意义与影响

1. 降低边缘计算成本：证明超小型本地模型（如 0.6B 参数）可以胜任特定的分类任务，这意味着在资源受限的设备或本地环境中，无需依赖大型云端模型即可实现高效的预处理和分类，从而降低延迟和 API 调用成本。
2. 提升 RAG 系统效率：在检索增强生成系统中，引入轻量级的分类器作为前置步骤，可以显著减少向量数据库的搜索范围，提高检索速度和结果相关性，特别是在知识库庞大且类别多样的场景下。
3. 本地化 AI 应用的可行性：该项目展示了利用本地开源模型（如 Qwen）和开源工具（如 Unsloth）构建私有、定制化 AI 应用的完整流程，为个人开发者和中小企业提供了低成本、高隐私保护的 AI 解决方案参考。
4. 提示工程与微调的结合：实验表明，简单的提示词结构优化（如使用非语义 ID）与微调相结合，可以极大提升小模型的性能，这为优化其他小模型任务提供了新的思路。