https://cnutshell.net/hardware/ Recent content in Hardwares on 楠楠自瑜 Hugo -- 0.157.0 zh-cn Thu, 28 May 2026 00:05:37 +0800 https://cnutshell.net/hardware/m5-vs-dgx-spark-vs-rtx-pro-6000/ Thu, 28 May 2026 00:05:37 +0800 https://cnutshell.net/hardware/m5-vs-dgx-spark-vs-rtx-pro-6000/ <blockquote> <p>翻译：Transwan</p> <p>校对：Carl Cui</p> </blockquote> <blockquote> <p>引言：对于想构建本地 AI 环境的人来说，如何选择硬件一直是个难题。毕竟现在跟 AI 有关的硬件，价格一路水涨船高，即便是玩硬件的富哥，“我都懂”也肯定比“我都有”来得地道。这篇文章从应用场景出发，讨论该如何选择本地 AI 硬件。作者压根没有考虑那些入门级或者中等程度的选项，直接在 M5 MBP、DGX Spark 和 RTX PRO 6000 之间比较，主打一个退烧。不知道你看完会不会有收获，反正我决定老老实实先用 API 套餐吧。以下是翻译正文：</p> </blockquote> <p>在决定购买 M5 MBP、DGX Spark 还是 RTX PRO 6000 之前，让我们先思考这个问题：</p> <blockquote> <p><em><strong>你的硬件究竟应该加速代理循环（agent loop）的哪个部分？</strong></em></p> </blockquote> <p>聊天会话和本地 AI 代理系统对硬件的要求不同。AI 编程代理任务侧重于<strong>长上下文的重复读取、工具调用、缓存频繁失效（churn）、后台并行工作的子代理、检索、子进程、执行测试、容器</strong>这些方面，并且经常会出现多个代理同时使用同一个 LLM 服务的情况。</p> <p>相比在 Mac 和 NVIDIA 或者统一内存 和 VRAM 之间权衡，我们更应该关注<strong>工作负载拆解问题</strong>。</p> <p>在开始讨论硬件之前，我想纠正一种常见的误区：通过比较 token/sec 指标来决定要购买的硬件。我们应该试着将本地代理工作流映射到以下四个<strong>瓶颈</strong>上：</p> <ol> <li><strong>模型匹配度</strong></li> <li><strong>预填充延迟</strong></li> <li><strong>解码吞吐量</strong></li> <li><strong>并发服务表现</strong></li> </ol> <p>这样尝试以后，你就不太容易做出&quot;冲动&quot;的购买决定，也更能把好钢用在刀刃上。</p> <h2 id="基准测试引发的争议">基准测试引发的争议</h2> <p>最近 <strong>M5 对比 DGX Spark 对比 Strix Halo 对比 RTX PRO 6000</strong> 讨论中最有用的部分是如何设计基准测试。<a href="https://github.com/Light-Heart-Labs/MMBT-Messy-Model-Bench-Tests">MMBT fleet study</a> 考虑了其他许多硬件对比测试经常会忽略的事情：它尽量保持模型大小和运行时引擎不变。</p>