把大模型装进自己的机柜：一次私有化部署的账、活和坑

上个月帮一家做外贸的小公司把模型搬进了他们自己的服务器。不是为了炫技，是因为他们的合同、报价单、客户名单，一条都不允许出内网。

这活儿在圈子里有个不太好听的名字——私有化「装修」。模型只是毛坯房，真正要干的是水电、家具和后期物业。听起来简单，做起来你会发现，坑基本都不在模型上。

先判断：这事到底该不该做

别急着看显卡，先看数据。

• 只是想让 AI 帮忙写文案、起标题、做翻译——用云端 API，便宜、省事，效果通常还更好
• 数据里有客户名单、合同、报价、身份信息——有理由考虑私有化
• 全公司用的人不超过五个，又没有硬性合规要求——这笔账摊不平

判断标准就一条：数据能不能出内网。能出，买 API；不能出，才谈私有化。很多团队是反过来的，先买了机器，再回头找理由说自己需要。

硬件：显存是硬门槛，参数不是

第一次装机最容易犯的错，是盯着参数选模型。

70B 的模型跑起来体面，但你得先算显存。半精度下权重本身就要一百多 G，加上上下文缓存，单卡根本放不下，得两张以上的专业卡。而一张卡的价格，够小公司买三年 API。

我的建议是按显存倒推：

• 单卡 24G：能跑量化后的 30B 级别，中文能力够做客服和文档问答
• 双卡 24G：可以上量化 70B，质量明显好一档
• 非要跑满血大模型：先问问自己是不是真的需要

量化确实会掉效果，但掉得没有想象中多。4-bit 量化的 30B，在很多中文业务问答上比满血的 7B 好用得多。宁可要一个跑得动的大模型，也不要一个跑不动的小模型。

装完模型，活才刚开始

很多人以为 ollama pull 一下就完事了。真到交付那天你会发现，客户要的是「能问公司文档」，而不是「能聊天」。

一次完整的私有化交付大致是这么几步：

这里面最容易翻车的不是模型，是第二步。客户给过来的文档，一半是扫描件，一半是十年前的 Word，还有一堆表格里塞着图片。清洗不干净，后面检索全是噪音，模型再强也只能一本正经地胡说。

知识库那一步，决定成败

几个具体的做法，都是踩过坑总结的：

• 按语义切，不要按固定字数切。一个条款被切成两半，再好的模型也拼不回来
• 表格单独处理。把表格塞进普通文本流，行列关系会全部丢失
• 保留出处。回答里带上「来自第几页第几条」，否则没人敢信
• 版本要管起来。合同更新了，旧切片必须能删掉，不然会同时检索到两个版本

还有一点：中文的向量模型和英文的不通用。选错了，检索出来的东西看着相关，实际全错。

三个印象最深的坑

坑一：以为部署完就结束了。 交付后的第二周，客户改了文档格式，检索全废。私有化项目里，维护的工作量大概等于首次部署的一半，这笔账要提前算进报价。

坑二：把权限当小事。 模型接的是公司的内网文件。检索范围必须按人划分，销售不该通过问答查到财务的合同。

坑三：忽略并发。 五个人的公司看着轻量，但十个人同时提问，一张卡会直接卡死。并发限制和排队策略要在上线第一天就配好，不然第一个星期就会出事故。

说点实在的

私有化部署不是技术活里最难的那类，但它是最容易被低估工期的那类。模型和硬件都是可以买的东西，真正花时间的是数据清洗、检索调优，以及交付之后的维护。

如果你的公司正在考虑这件事，先做一件事：拿三十份真实文档，用云端 API 加检索跑一遍。效果不行，私有化也救不了；效果行，再谈机器。

本文不构成任何采购或经营建议，具体方案请结合实际数据量与合规要求评估。