制造业本地部署AI大模型求教：35万预算配置与架构选型

背景

在制造业数字化转型的浪潮中，一家制造型企业已推行智能化建设一年多，近期决定进一步引入本地化部署的大语言模型（LLM）以增强内部智能应用。该项目预算约为 35 万人民币，经过三四个月的硬件选型与筹备，主要硬件配置已确定，预计端午后到货。

该企业的核心需求是构建一个面向内部员工的本地聊天 AI 平台，要求具备类似阿里百炼（Aliyun Bailian）的工作流、智能体（Agent）及知识库管理能力，技术栈倾向于使用 Dify 平台，并需做好严格的权限管理。此外，团队对 OpenClaw 和 Hermes 等开源项目也表现出浓厚兴趣。考虑到预计并发用户数仅为几人至十几人，系统性能允许一定的弹性限制。目前，项目卡在基础设施架构选型、模型选择、知识库构建方案以及权限管理工具选型等关键技术决策点上，亟需专业建议。

核心内容

1. 硬件基础设施配置

项目已确定了一套高性能的本地服务器配置，旨在平衡计算能力与存储性能：

• 计算单元：双路 Intel Xeon Platinum 8368 处理器（38 核心，2.4GHz），配合 8 条 64GB DDR4 3200 RDIMM 内存，总内存容量达 512GB，为大规模模型推理及多任务处理提供充足资源。
• 存储架构：
  • 系统盘采用两块 480GB SATA SSD 组建 RAID1，保障系统稳定性。
  • 热数据盘使用一块 3.84TB U.2 NVMe SSD 进行直通，以提供低延迟的高频数据读写。
  • 冷数据盘采用三块 8TB SATA HDD 组建 RAID5，用于低成本存储大量历史数据。
  • 配备 LSI 9560-8i RAID 卡（带 4GB 缓存及超级电容），确保数据写入的安全性与完整性。
• 图形加速：部署 8 张 RTX 4090 24GB 双宽涡轮版显卡。涡轮版设计更适合机架式服务器的高密度散热需求，8 卡配置提供了强大的并行推理能力。
• 网络与供电：配备双口 1G RJ45 和双口 25G 网卡，满足内部高速数据传输需求；电源系统采用 4 个 2000W 电源，保障多 GPU 高负载下的电力稳定。

2. 软件架构与虚拟化争议

用户面临的核心技术抉择之一是宿主机架构的选择：

• 裸机部署：直接安装 Ubuntu 或 Rocky Linux，性能损耗最小，但缺乏虚拟化带来的快照回滚和隔离能力，故障恢复成本较高。
• 虚拟化部署：使用 Proxmox VE (PVE) 等虚拟化平台，优势在于系统故障时可快速回滚，便于维护。主要顾虑在于 GPU 直通（PCIe Passthrough）和 NVMe 直通的技术复杂性及潜在的性能损耗或兼容性“坑”。

3. 大模型选型策略

在模型选择上，用户关注近期热门的 Qwen3.6 系列（包括 35B-A3B MoE 架构和 27B 版本），但不确定具体版本命名及是否需要量化。同时也在考虑 DeepSeek、Kimi、GLM 等系列的稳定性。鉴于硬件配置强大（8 张 4090），用户需在模型精度、推理速度及量化带来的精度损失之间寻找平衡。

4. 知识库与 RAG 方案

针对 Dify 平台的知识库构建，用户听闻其格式兼容性较差，使用体验繁琐。有建议提出引入知识图谱技术，特别是微软开源的 GraphRAG，以提升检索的准确性和逻辑关联能力。用户询问 GraphRAG 是否能与 Dify 良好集成，以及这是否是解决知识库痛点的有效途径。

5. 权限管理与 API 网关

在权限管理和 API 路由方面，用户对比了 One API 和 New API 两款开源网关工具，寻求更优的权限管控方案，以确保不同员工对 AI 资源的安全访问和使用审计。

关键要点

• 硬件冗余度高：8 张 RTX 4090 和 512GB 内存的配置对于仅 10 人左右的并发需求属于严重过剩，具备运行 70B+ 参数级模型甚至多模型并发推理的能力。
• 虚拟化与直通风险：PVE 等虚拟化平台支持 GPU 直通（通过 VFIO/IOMMU 技术），但配置复杂，且 NVMe 直通在虚拟化环境下可能面临驱动兼容性问题，需仔细测试。裸机部署更稳定但运维风险高。
• 模型选型建议：
  • Qwen3.6 系列（若指代通义千问最新迭代）及 MoE 架构适合高并发场景，推理效率高。
  • 对于本地部署，量化版本（如 GGUF 格式的 Q4_K_M 或 Q5_K_M）是平衡显存占用与精度的主流选择，但 8 卡 4090 显存总和达 192GB，足以无损运行 30B-70B 级别的 FP16 模型。
  • DeepSeek、GLM 等国产模型在中文语境下表现优异，可作为基准对比。
• GraphRAG 集成可行性：GraphRAG 是微软开源的基于图谱的检索增强生成技术，通常作为独立服务或模块存在。Dify 目前原生支持向量数据库检索，集成 GraphRAG 可能需要通过自定义节点或 API 调用实现，并非开箱即用，开发成本较高。
• 权限管理工具对比：
  • One API：功能全面，支持多模型聚合，权限管理相对基础。
  • New API：通常指代某些特定的开源 API 管理项目，需确认具体指代对象（如 New API 可能是指某些社区维护的 Fork 版本）。
  • 替代方案：对于企业级权限管理，可考虑结合 Keycloak 进行统一身份认证（SSO），或使用 Nginx 反向代理配合 API 网关插件实现更细粒度的访问控制。

意义与影响

该案例反映了传统制造业在智能化深水区面临的典型挑战：从概念验证（PoC）转向生产级部署时，技术栈的复杂性急剧上升。

1. 技术决策的复杂性：硬件堆料容易，但软件栈的整合（虚拟化、GPU 直通、RAG 增强、权限控制）才是难点。这提醒企业，本地 AI 部署不仅是买显卡，更是系统工程。
2. 开源生态的融合趋势：用户同时关注 Dify、GraphRAG、OpenClaw 等多个开源项目，表明企业正在尝试构建基于开源组件的定制化 AI 中台，而非依赖单一商业 SaaS。这种模式灵活但维护成本高。
3. 资源与需求的错配警示：35 万预算和 8 卡 4090 的配置对于 10 人并发团队而言过于奢侈。这提示企业在初期规划时应更精准地评估算力需求，避免资源浪费，或将多余算力用于更复杂的本地模型微调（Fine-tuning）任务。
4. 数据安全与合规：选择本地部署和严格的权限管理，体现了企业对数据隐私和工业机密保护的重视，符合制造业对合规性的严格要求。