我正在踏上一段我一直犹豫要不要走的旅程：真正地经常使用AI。把最私密的数据交给云服务一直是我的一大顾虑，但现在越来越可以在本地运行强大的模型，看看它们到底有多大本事。这项技术是否有用到值得花大把钞票买一台配备大量溢价内存的电脑或笔记本电脑？我会尽力帮你找到答案。我不是AI专家，这对我来说也将是一段旅程，但或许我能帮你判断这段旅程是否值得走——而且我会一路记录并发布我的经历。
苹果对其新Mac台式机的宣传重点之一就是它们非常适合本地AI，而且目前还有一整条新的 RTX Spark Windows 机器 即将 上市 配备 高达128GB的内存 旨在使用智能体AI。本地AI和智能体现在就是，怎么说呢， 非常 火爆。不过，说正经的，想到有一个小跑腿助手完全住在我桌上那台机器里，只听命于我，而不听命于OpenAI、谷歌、微软或Anthropic的大佬们，这和信任云服务或订阅聊天机器人是完全不同的感受。别误会，我还是绝不会让它替我写作、替我编辑或生成 难看的传单。但现在，有了一些隐私保障，也许我终于可以想出一些有用的杂活来“托付”给它了。
因此，作为我对 M5 Ultra Mac Studio持续测试的一部分，同时也在其他Mac和Windows系统上进行试验，我安装了一些本地LLM，并开始折腾。以下是目前的情况。
我首先在Mac Studio上安装了开源的 Hermes Agent 。Hermes是一款自托管的AI智能体桌面应用，可在macOS、Windows和Linux上运行。如果你只用本地LLM，它完全免费。由于这台M5 Ultra Mac Studio拥有256GB统一内存，我几乎可以运行任何我想用的模型。这就是事情很快变得令人不知所措的地方。现有的 模型多得数不过来，而且有些有专门的用途。一般来说，参数量达数十亿的模型比只有几十亿参数的小模型能做更多的事。既然在本地运行模型不用担心为token付费，我决定一开始就用大的。
通过Hermes简单直观的引导界面和模型选择器，我选择了 Qwen 3.8 Flash Next 模型——一个125十亿参数、大小约105GB的模型。我还计划花些时间体验小得多的Qwen模型，用在诸如M6 Mac Mini、M5 MacBook Air、搭载AMD Strix Halo处理器的华硕TUF Gaming A14，以及最终的RTX Spark等设备上。（愿意分享你使用的本地模型和硬件吗？你知道该在哪里留言。🫡）
没过多久我就让Hermes和Qwen跑起来了，甚至还通过一个 Telegram 机器人让它们可以通过我的手机进行控制。但随后，我就遇到了我使用AI时的老对头：文本框。
“这个东西我该拿它做什么？”
首先，为了热身，我参考了一些有用的 YouTube 建议 ，让 Hermes 为我生成一份每日晨间简报——先从小的做起，用一个 cron 任务确保一切正常运转。它会扫描我的邮件和日历，告诉我任何需要我立即关注的事项，并给我一份简短的天气报告。它并不是那么有用，而且显然你不需要一台 12,000美元的电脑来构建它，但这是我可以随着时间逐步完善的东西。起初简报老是生成失败，后来我终于想明白了：任务在早上7:30启动时 macOS 不能处于睡眠状态。真是的！现在它像钟表一样准点运行，但我还得想出更多让它抓取的信息，让结果更有帮助。
一个更有用的任务是重新整理我的 Steam 游戏库。我在 Steam 上有超过 400 款游戏,最近我开始对它们进行分类,以便在突发奇想想玩点新东西时使用。Steam 不会自动帮你分类游戏,所以你只能手动逐个操作。而这正是智能代理助手可以大显身手的地方。我问道:“你能重新整理我的 Steam 游戏库吗?”Hermes 只需查看已安装的 Steam 客户端,就能看到我大部分的游戏。它很快为我提供了一些整理方案。我决定让它按类型整理游戏,但保留一些我自己的特殊分类(最爱、合作游戏、派对游戏、和妻子一起玩的游戏等)。
你必须授予本地 AI 对你机器的一些权限,它才能替你执行操作。就我的游戏库而言,我需要注册一个 Steam web API 密钥 并把它交给 Hermes。一旦它获得了该访问权限,只花了几分钟就把所有游戏分类完毕。之后撤销 API 密钥也很容易,因为我不再需要它了。这个想法是让它一次性替我完成这些繁重的工作,之后我买的每款新游戏再自己归入相应类别。总体上它干得不错,现在我的 Steam 游戏库已经可以轻松浏览了。
我做的另一件简单事情是数据分析。我让 Hermes 查看财务记录,为我计算一些数字,还让它为我想买的新笔记本制作了一个规格对比表格。这些都是小事,但都是我不能或不愿交给任何云服务的任务——我不想把那些敏感数据上传到云端,而且在选购新笔记本时,那些信息还处于保密期。把这些内容保留在我的电脑上,正是我是否使用这个工具的关键。
我目前正在开发的更大规模的自动化工作,是一个运行一系列笔记本基准测试的脚本。我们所有的基准测试都是手动运行的,照看一台笔记本运行十几个测试——每个跑三遍以取平均值——极其耗时。我很想至少把其中一部分自动化。即使带着 Hermes 走完所有必要的流程,让它生成 vibe coded 风格的 Python 脚本,也是一番折腾,这项工作仍在进行中。但我希望能取得一些积极进展。
我与 Hermes 的合作还处于早期阶段,我希望这只是我能让它为我完成的有用事情的冰山一角。但也很明显,即便是这些强大的本地模型,也无法造就一个无所不能的神奇助手。事情仍不总是按预期运行——我的每日简报已经出过好几次故障了。
我把 Hermes 和本地 AI 仅仅视为一种工具,一个在我的电脑上运行的计算机程序。我不想要一个数字朋友。我不会说“谢谢”或“请”,也不会在改变主意时打上“抱歉”。我指挥它时,会像在操作系统中点击鼠标一样保持冷若冰霜和漠不关心。
在我继续测试和学习本地 AI 的过程中,我希望能保持警惕和谨慎。让我们看看它会把我带向何方。
关注本报道的话题和作者 以便在您的个性化主页信息流中看到更多类似内容,并接收邮件更新。