先看结论
- 跑 BF16 原版的 Qwen3.8-27B，权重约 55.6GB，这是"满血"的硬门槛：64GB 级统一内存，或单卡 80GB 以上显存。
- Mac Studio M5 Ultra 256GB（$10,999）：安静、省电、装个 LM Studio 就能用，单人速度甚至更好；短板是并发和批量吞吐。
- RTX PRO 6000 单卡服务器（约 $22,000）：1,792 GB/s 带宽 + vLLM/SGLang 连续批处理，适合多人同时在线；代价是噪音、电费和运维。
- 如果目标只是"要一个 27B 级别的智能"，同等需求下直接买 API token 几乎永远比自建便宜。自建买的是数据不出门、可控和可定制，不是单 token 成本。
这篇文章整理自一份自用的硬件对比笔记：在"开源最强小模型"这个前提下，跑一个 27B 模型到底要什么配置，以及两套典型方案各自的钱花在哪里。
先明确对比对象。一边是苹果的统一内存工作站 Mac Studio M5 Ultra 256GB，另一边是 RTX PRO 6000 Blackwell Workstation Edition 96GB 的单卡服务器。前者是"买一台机器放办公室"，后者是"买一张卡塞进机房"。它们的定位并不重叠，所以下面逐项拆开看，比只看跑分有用。
说明：价格均为公开渠道购置价参考，不含税、运费与关税；速度数据来自厂商与社区的实测贴，测试条件并不完全一致，只作量级参考。
一、先算门槛：27B 要多大的显存才叫"能跑"
模型参数量只是故事的一半，真正决定硬件门槛的是精度。27B 参数在 BF16 下每个参数占 2 字节，权重体积约 55.6GB；如果换成量化版本，体积会成比例缩小，但能力也会打折。
| 精度 | 权重体积（估算） | 能跑起来的最低配置 |
|---|---|---|
| 4-bit 量化 | 约 14–16GB | 单卡 24GB（如 RTX 4090 / 5090） |
| 8-bit 量化 | 约 28GB | 单卡 32–48GB |
| BF16 原版 | 约 55.6GB | 64GB 级统一内存，或单卡 80GB 以上 |
体积按权重折算，还没有算 KV cache。上下文越长，KV cache 越吃显存：这也是为什么 RTX PRO 6000 的 96GB 在 BF16 下正好能开满 262K 原生上下文，而 Mac 的 256GB 统一内存在这个场合显得非常宽裕。
所以"最低硬件配置"其实有两个答案：24GB 显卡就能让 27B 跑起来，但那已经是量化后的 27B；要跑文档里对比的那个满血版本，门槛就跳到 64GB 级。很多人在这一步就把预算算错了。
二、两套方案对照
| 项目 | Mac Studio M5 Ultra 256GB | RTX PRO 6000 单卡服务器 |
|---|---|---|
| 购置价 | $10,999 | 约 $22,000 |
| 可用内存 / 显存 | 256GB 统一内存 | 96GB ECC GDDR7，带宽 1,792 GB/s |
| 能否跑 BF16 原版（55.6GB） | 能，空间很充裕 | 能，单卡可以开满 262K 原生上下文 |
| 单人生成速度 | 约 78–170 tok/s（LM Studio / MLX） | 约 78 tok/s（BF16 + SGLang） |
| 同时服务多人 | 弱。MLX 和 Ollama 的批处理能力有限，人一多每个人都明显变慢 | 强。vLLM 支持连续批处理，已有单卡 32 客户端并发测试；也有方案按每卡约 8 个用户规划 |
| 批量处理总吞吐 | 每秒几十到一百多 token | 30B 级量化模型约 8,400 tok/s |
| 长文档开始出结果前的等待 | 输入几万字的合同可能要等几秒 | 快，通常是几秒钟 |
| 功耗与噪音 | 满载约 200–300W，几乎没有声音，可以放办公室 | 满载约 800–1,000W，风扇声大，最好放机房 |
| 部署与运维难度 | 低，装好 LM Studio 就能用 | 中，需要会 Linux、CUDA 和 vLLM / SGLang |
| 以后扩展 | 不能加卡；256GB 可以跑更大的 MoE 模型，比如 Qwen3.8-Flash-Next | 可以再加一张卡，两张卡各跑一个独立服务，并发能力翻倍 |
| 企业级可靠性 | 消费级产品，没有 ECC | 有 ECC 显存，可以配服务器级保修 |
三、逐项拆开看
1. 价格：差一倍，但差的不只是钱
$10,999 对约 $22,000，价格差了大约一倍。但这两笔钱买的东西不一样：Mac 买的是"一台安静、开箱即用的整机"，RTX 服务器买的是"一张能挂多个模型、能扩卡、带 ECC 的企业级加速卡"。如果按"每 GB 可用显存"算单价，Mac 便宜得离谱；如果按"能同时服务多少人"算，差距会反转。
2. 显存带宽：1,792 GB/s 是 RTX PRO 6000 的底牌
大模型推理的 decode 阶段基本是访存瓶颈，带宽直接决定 token 生成速度。RTX PRO 6000 的 96GB ECC GDDR7 有 1,792 GB/s，这是它能在一张卡上把 BF16 的 55.6GB 权重和长上下文 KV cache 同时装下的原因。
Mac 走的是另一条路：统一内存容量极大（256GB），带宽不如独显，但胜在"整块内存都能给模型用"，而且可以让 27B 之外再塞进一个更大的 MoE 模型。
3. 单人速度：Mac 不一定更慢
这里有个反直觉的点。单人单请求时，Mac 的 MLX / LM Studio 路线能做到约 78–170 tok/s，而 RTX PRO 6000 在 BF16 + SGLang 下大约是 78 tok/s。也就是说，一个人用的时候，Mac 的体验完全不输，甚至更顺滑。
真正的分水岭在第二个人出现之后。
4. 多人并发：这是两套方案的本质区别
vLLM、SGLang 这类推理框架支持连续批处理（continuous batching），多个请求会被动态拼进同一个 batch，GPU 的算力被压榨到接近饱和。社区里有单卡跑 32 个客户端同时请求的测试，也有部署方案按每卡约 8 个用户来规划容量。
MLX 和 Ollama 的批处理能力要弱得多。人一多，不是排队就是每个人都明显变慢——它从设计上就是给单人本地推理用的。
5. 批量吞吐：差了两个数量级
如果是跑批任务（翻译、摘要、标注、数据清洗），看的是总吞吐而不是单请求延迟。RTX PRO 6000 上 30B 级量化模型能跑到约 8,400 tok/s，而 Mac 是每秒几十到一百多 token。这个差距不是调参能补的，是硬件路线决定的。
6. 功耗与噪音：能不能放进办公室
Mac 满载 200–300W，几乎没声音，插在工位旁边也没人投诉。RTX 服务器满载 800–1,000W，风扇声明显，通常得进机房或者单独的储藏间。对家庭办公室来说，这一条往往比跑分更重要。
7. 运维、扩展与可靠性
Mac 的运维成本接近于零：装 LM Studio，选模型，开聊。RTX 服务器要会 Linux、CUDA、驱动版本、vLLM / SGLang 的参数调优，出问题要能看日志、查显存泄漏。
扩展性上，Mac 是"一次性买断"，加不了卡，只能靠更大的统一内存去装更大的模型；RTX 服务器可以再加一张卡，两张卡各跑一个独立服务，并发直接翻倍。可靠性上，ECC 显存和服务器保修对长期在线的业务是实打实的差别。
四、成本：为什么自建几乎永远比 API 贵
在"相同智能"的需求下，自建的成本永远远高于购买厂家的 API token。
这句话不是情绪，是可以算的。以 RTX PRO 6000 那套约 $22,000 的配置为例，按三年折旧粗算：
| 成本项 | 三年估算 | 口径 |
|---|---|---|
| 硬件 | $22,000 | 一次性购置 |
| 电费 | 约 $1,500 | 900W 满载、按 30% 时间负载、$0.15/kWh |
| 运维人力 | 约 $3,600 | 每月 2 小时，$50/小时 |
| 合计 | 约 $27,000（≈ $9,000/年） | 不含备件、机房与网络 |
把这 $9,000/年 换算成 token：假设 API 的混合成本是 $1–2 / 百万 token，这笔钱相当于每年 45–90 亿 tokens，也就是每天 1,200 万到 2,500 万 tokens 持续跑满。绝大多数个人和小团队，一年的真实用量连这个数字的十分之一都到不了。
还有三个容易被忽略的隐藏成本：
- 闲置：自建机器大部分时间在待机，而 API 只在调用时计费，闲置成本是零。
- 模型迭代：硬件三年一换，模型三到六个月一换代。今天的"开源最强小模型"，半年后就是上一代。
- 人的时间：调 vLLM 参数、处理 OOM、盯显存，这些时间本可以用在产品上。
更关键的是，"相同智能"这个前提本身很难成立。27B 的开源模型大致相当于中端闭源模型的水平；如果要追平前沿模型，就不是多花一倍硬件钱的问题，而是预算要进到另一个量级，还得接受延迟和运维。
那什么时候自建才划算？数据不能出内网（医疗、法务、政企）、必须离线可用、要做微调或私有化定制、教学与研究需要能随便折腾、或者真有长期满负荷的推理量。这几条里只要有一条是硬约束，自建就从"不划算"变成"没得选"。
五、怎么选：三种典型场景
| 你的情况 | 建议 | 理由 |
|---|---|---|
| 个人 / 小团队想先试试本地模型 | Mac Studio M5 Ultra（或更低配 Mac） | 安静、省电、装好就能用；先用 4-bit 量化跑通，再决定要不要上满血 |
| 要给自己团队做内网 AI 服务，10 人以上同时在用 | RTX PRO 6000 + vLLM / SGLang，直接按两卡规划 | 连续批处理是并发的唯一解；单卡按 8 用户规划，两卡留出余量 |
| 只是要用 AI，没有数据合规要求 | 直接买 API | 三年 TCO 折算下来通常是几十亿 tokens 的预算，绝大多数团队用不完 |
硬件是入场券，不是答案。先把"要不要自建"想清楚，再谈配置；顺序反了，钱大概率花在了不需要的地方。
六、数据来源
- LM Studio 关于 Apple Silicon 推理引擎的实测：单人 78–170 tok/s（lmstudio.ai/blog/splash-engine）。
- Qwen3.8-27B BF16 在 RTX PRO 6000 上用 SGLang 部署、开满 262K 上下文的实测贴。
- NVIDIA RTX PRO 6000 Blackwell 本地 LLM 性能测试（含单卡 32 客户端并发）。
- Qwen3.6 27B / 35B 在 RTX PRO 6000 Blackwell 上的部署方案（按每卡约 8 用户规划）。
- RTX PRO 6000 基准测试：30B AWQ、70B FP8 与 30B 级量化模型约 8,400 tok/s 的吞吐数据。
价格为 2026 年 10 月公开渠道参考价，实际以购买时为准；吞吐与延迟数据来自不同测试环境，横向比较只看量级。本文不构成采购建议。