开源权重 AI 技术栈盘点:每一层到底值不值得用
每隔几个月,同样的说法就会重新流行:开源权重带来更低成本、更强控制力、没有供应商锁定。这三句话在方向上都没错,但几乎总被夸大。Hugging Face 的政策负责人最近也表达了类似观点——真正值得讨论的问题,已经不是开源模型能不能用,而是当模型可以免费下载之后,价值究竟被谁拿走;以及当来自中国团队的高能力模型持续出现时,欧美阵营能否守住阵地。
这个问题既是商业问题,也是工程问题。下面是我们实际会用的技术栈,逐层拆解:哪些地方要花钱,哪些地方会悄悄花更多钱。
为什么开源权重的成本算式变了

图示:来源页预览图(仅作编辑上下文;版权归属原发布方) · 来源引用:techcrunch.com
有两个变化。第一,最好的闭源模型与最好的可下载模型之间的差距,从"明显不在一个档次"缩小到"取决于你的任务"。第二,服务层成熟了——分页注意力、连续批处理、量化算子,把一个研究产物变成了可以放在 SLA 后面的东西。
实际后果是:模型选择现在是按工作负载决定的,而不是按理念决定的。一个摘要流水线和一个面向客户的智能体,不该跑同一套权重,大概率也不该采用同一种许可证姿态。
逐层拆解技术栈
1. Hugging Face Hub——默认的模型注册中心
什么时候用: 永远,作为查询层。模型卡、许可证文本、社区量化版本、数据集来源都在这里,跳过它等于重新推导别人已经写清楚的信息。
什么时候不用: 不要把 Hub 当成生产环境的制品仓库。把你依赖的内容镜像到自己的仓库,并固定校验和——模型仓库会更新、改名,偶尔会被下架。
定价陷阱: Hub 本身免费,付费层级卖的是托管和推理端点。真正的成本是治理——团队每拉一个模型,就有一份许可证义务需要有人去读。
2. Llama 系列——内部稳妥的默认选择
什么时候用: 通用对话、RAG 综合、内部助手,也就是工具生态和微调版本比榜单排名更重要的场景。在所有开源家族里,工具支持最深厚。
什么时候不用: 如果你的规模会让社区许可证里的可接受使用条款或用户数条款产生法律不确定性,就别用。读许可证,不要读博客。
定价陷阱: 权重免费,服务不免费。租用 GPU 跑一个 70B 级别的模型,每月账单会超过大多数按席位计费的 SaaS——承诺之前先算一遍。
3. Qwen——非西方阵营的强力选项
什么时候用: 亚洲语言覆盖要求高的多语种负载,以及代码、数学密集的任务。多个尺寸以宽松条款发布,方便嵌入商业产品而无需额外法律讨论。
什么时候不用: 如果采购或合规对模型来源有"一刀切"限制,先去解决那个问题再跑基准测试,否则你会做出一份自己没法上线的迁移方案。
定价陷阱: 许可证宽松,但指令微调版本可能非常耗 token。单 token 便宜不等于单任务便宜。
4. DeepSeek——改变预算结构的推理模型
什么时候用: 多步推理、结构化抽取,以及任何"小推理模型替代大通用模型"的场景。真正的故事往往是每个已解决问题的成本,而不是原始准确率。
什么时候不用: 对延迟敏感的交互界面。推理轨迹意味着生成更多 token,更多 token 意味着用户在盯着转圈的加载图标。
定价陷阱: 权重可能免费,推理不免费。同一请求下,推理模型生成的输出 token 可能是对话模型的数倍,所以即使单 token 价格下降,单请求成本仍可能上升。
5. Mistral——欧洲的中间路线
什么时候用: 中型部署,且欧洲供应商的司法辖区与许可姿态能简化采购讨论;或者你需要能在普通硬件上运行的小模型。
什么时候不用: 当你需要前沿能力时。小而精是特性,不是需要绕开的缺陷。
定价陷阱: 不同代次的许可证差别很大——有的宽松,有的仅限研究,有的需要商业层级。要按检查点核对,而不是按品牌。
6. 服务层——vLLM、SGLang、TGI
什么时候用: 一旦并发用户超过一个。vLLM 是务实的默认选择;SGLang 在结构化输出和前缀重复度高的负载上有优势;TGI 仍是友好的托管方案。
什么时候不用: 单人使用的内部工具。你在部署上花的时间会超过工具节省的时间。
定价陷阱: 服务层免费,闲置的 GPU 不免费。大模型的自动扩缩冷启动很慢,团队因此会超配,并为用不到的余量付费。要看利用率,而不只是看支出。
7. 本地开发——Ollama 与 llama.cpp
什么时候用: 原型验证、离线评测,以及给工程师一个能在笔记本上跑的模型,这样他们就不会把 API 额度浪费在样板代码上。
什么时候不用: 任何你打算公开的基准测试。量化会改变模型行为,有时很微妙,有时一点也不微妙。
定价陷阱: "零边际成本"是陷阱。一个通过了冒烟测试的量化本地模型,可能在长上下文或结构化输出上崩掉,而你会在生产环境里才发现。
8. 微调——PEFT/LoRA、Axolotl、Unsloth
什么时候用: 场景窄、量大、标注好的任务:分类、抽取、语气固定的生成、行业术语。适配器存储便宜、切换便宜。
什么时候不用: 任何你还没用提示词加检索尝试过的任务。在糟糕的检索流水线上做微调,只会得到一个自信十足、格式漂亮的错误答案。
定价陷阱: 训练是看得见的成本,看不见的是再训练——每次基座模型升级都会让你的适配器失效,这项周期性成本很少出现在最初的商业论证里。
9. 评测与可观测性——lm-eval-harness、promptfoo、Langfuse
什么时候用: 选模型之前,以及之后持续使用。开源权重意味着回归风险由你承担,没有供应商悄悄帮你改进(或搞坏)端点。
什么时候不用: 别为一个周末原型搭完整评测平台。用能抓住回归的最轻方案。

图示:HEXOPS 原创配图(受选题启发,非复制原文图片) · 来源引用:techcrunch.com
定价陷阱: 评测工具免费,评测推理不免费。用你自己的任务集认真跑五个候选模型,是一笔真实的 GPU 账单——要当成预算项,而不是事后补记。
没人写进幻灯片里的定价陷阱
GPU 空转时间比 GPU 小时单价更致命。 利用率低于约 30%,开源模型的成本优势基本被抹平。宣布胜利之前先测。
工程人力是最大的一笔。 闭源 API 用美元结算;开源权重用值班轮转、升级迁移和安全评审结算。两个人可以跑一个小型开源部署;两个人很难跑一整套。
许可证审查也不是免费的。 你采纳的每个检查点都需要有人读条款,并在每次版本升级时重读。今天宽松,不代表下个版本还宽松。
token 经济学会反转。 推理模型、长上下文、结构化解码都会成倍放大输出 token。单 token 便宜 5 倍的模型,完成单个任务可能贵 2 倍。
什么时候开源权重是错误选择
- 你需要在通用任务上达到前沿能力,而调用量很低。
- 合规团队在本迭代内无法完成许可证评审。
- 没有人能在生产环境负责 GPU 部署。
- 负载突发性强,且主要受冷启动支配。
- 你需要供应商托管的安全过滤,而你自己没准备去建。
这些都不是永久淘汰理由,只是排期决策。
关键要点
- 按负载选模型,而不是按理念;开源与闭源的差距现在取决于具体任务。
- 三大成本驱动是 GPU 利用率、工程人力和再训练周期,而不是单 token 价格。
- Hugging Face 是注册中心,不是部署目标;把你依赖的东西镜像并固定版本。
- 有并发之后就用 vLLM 或 SGLang,并在声称省钱之前先测利用率。
- 微调是周期性义务,不是一次性项目。
- 每次换模型前后都要跑自己的评测集。
下一步
- 盘点当前所有生产环境模型,记录许可证与版本固定信息。
- 用真实流量构建 100–200 条任务评测集,对两个开源候选模型各跑一遍。
- 在任何开源迁移商业论证之前,先测量一个月的真实 GPU 利用率。
- 把 Hub 依赖迁入内部仓库并保留校验和。
- 以书面形式确定:每次版本升级时,谁负责许可证评审。



