https://cnutshell.net/tags/mac/ Recent content in Mac on 楠楠自瑜 Hugo -- 0.157.0 zh-cn Tue, 26 May 2026 22:54:34 +0800 https://cnutshell.net/llm/per-expert-disk-steaming-on-mac/ Tue, 26 May 2026 22:54:34 +0800 https://cnutshell.net/llm/per-expert-disk-steaming-on-mac/ <blockquote> <p>翻译：Transwan</p> <p>校对：Carl Cui</p> </blockquote> <blockquote> <p>引言：看上去确实有点不可思议，但作者 <code>Manjunath Janardhan</code> 跑通了：通过 <code>per-expert disk streaming</code> 技术和 <code>turboquant-mlx-full</code> 在 16GB 的 Mac Mini 上成功运行起 122B LLM 量化版本。尽管 token 生成速度有限，但<code>可以运行</code>这件事本身就足够梦幻。这篇文章是作者 <code>TurboQuant</code> 系列文章的第 5 部分，展现出当前 AI 工程领域热点技术 —— <code>expert Streaming</code> 和 <code>turboquant</code> —— 的巨大潜力。以下是翻译全文：</p> </blockquote> <p><em>Per-expert disk streaming 专家流式技术在 Mac 上运行了一个 122B 参数的混合专家模型 —— 这个模型的体积是 Mac RAM 的 3 倍。相同条件下输出结果能保持一致，不会触发操作系统内存交换机制，不需要 sysctl 调优。</em></p> <p><img alt="img" loading="lazy" src="https://cdn.jsdelivr.net/gh/cuiguoke/blogger-assets/images/20260526225444726.jpeg"></p> <blockquote> <p>图片由 Manjunath Janardhan 提供，通过 TurboQuant-MLX 专家流技术在 16 GB Mac mini 上运行的 122B 参数 LLM</p> </blockquote> <p>我在一台拥有 <strong>16 GB RAM</strong>、价值 <strong>$599 的 Mac mini</strong> 上运行了一个 <strong>122B 参数</strong>的 LLM，并且可以生成连贯的内容。请注意，这不是我的笔误，这个模型是 <strong>Qwen3.5–122B-A10B</strong>，一个拥有 256 个专家的混合专家模型：在 BF16 格式下它的权重大约有 240 GB，使用 <strong>TurboQuant-MLX</strong> 量化到 3-bit 后，它在磁盘上仍然占用大约 54 GB 的空间，这个数字超过了<strong>这台机器所有 RAM 的 3 倍</strong>，按照以往的方式，它根本不可能在这台 16 GB 的 Mac 上运行。</p>