https://cnutshell.net/tags/ai/ Recent content in AI on 楠楠自瑜 Hugo -- 0.157.0 zh-cn Sun, 26 Apr 2026 21:52:17 +0800 https://cnutshell.net/tutorial/2026-local-ai/ Sun, 26 Apr 2026 21:52:17 +0800 https://cnutshell.net/tutorial/2026-local-ai/ <blockquote> <p>译者：Carl Cui</p> </blockquote> <p><img alt="1*YfBexOw Hu9DSUnQFBUVgA" loading="lazy" src="https://cdn.jsdelivr.net/gh/cuiguoke/blogger-assets/images/20260426215255710.png"></p> <p>听着，我懂。在 2024 年，每个人都在购买云端 API token，好像它们即将过时一样。“哦，直接调用 API 就行！”他们说。“太方便了！”他们说。好吧，如果你在 2026 年还在按 token 付费，恭喜你，你很可能在为不拥有自己的 AI 技术栈而支付溢价。</p> <p>让我告诉你一件事：本地 AI 不再是奢侈品，而是生存策略。读完这篇文章，你会确切知道该构建什么样的机器，既不会超出预算，也不会让你发疯。</p> <h2 id="第一部分为什么选择本地-ai">第一部分：为什么选择本地 AI？</h2> <h3 id="在谈论-token-之前先谈谈隐私">在谈论 token 之前……先谈谈隐私</h3> <p>这里很少有人问的问题：你真的愿意把你的密码和信用卡信息交给某个第三方 API 吗？</p> <p>想想看。每次你通过云端调用 LLM 时，你都在信任：</p> <ul> <li>你的数据会发送给陌生人（AI 公司）</li> <li>你的提示词可能被保存为“机密”</li> <li>你的 agent 记忆存储在你不控制的服务器上</li> </ul> <p>最要命的是：<strong>你自己的 agent 记忆是关键。</strong> 当你运行本地 AI 时，你的 agent 会随着时间的推移构建上下文——它会记住你在意什么、你之前问过什么、什么对你重要。使用云端 API 时，除非你明确告诉它们要记住，否则这些历史记录通常分散在不同的服务中。</p> <p><strong>使用本地 AI：</strong></p> <ul> <li>你的记忆保持属于你（不是租来的）</li> <li>不需要每个月“重置”你的 agent 上下文</li> <li>敏感数据不会泄露，因为……嗯，它根本不会泄露到任何地方！它就在那里，在你的机器里</li> </ul> <p>现在让我们谈谈实际成本。因为是的，隐私很重要——但钱也很重要。</p> <p>这是 2024–2025 年没人告诉你的：<strong>按 token 定价是个陷阱。</strong> 而且从那以后情况变得更糟。</p> <p>问题不仅仅是模型说得更多（它们确实如此——现代 agent 喜欢滔滔不绝）。而是 <strong>你既要为输入 token 付费，又要为输出 token 单独付费。</strong> 这意味着：</p>