これまでためらっていた旅に乗り出します。つまり、AIを実際に日常的に利用することです。自分の最も個人的なデータをクラウドサービスに提供するのは私にとって大きな障害でしたが、強力なモデルをローカルで動かして、その能力を見てみることはますます可能になっています。この技術は、高価なRAMを搭載したコンピュータやラップトップに多額のお金を投じる価値があるほど有用なのでしょうか？私があなたを助けて答えを見つけ出すことにしましょう。 私はAIの専門家ではありません。これは私にとって旅のようなものですが、その旅が価値があるかどうかをあなたのために見極める手助けができるかもしれません。そして、私はその過程を投稿していきます。
Appleの新しいMacデスクトップのパッケージの重要な部分は、ローカルAIにとってどれほど優れているかです。そして、新しい製品ラインが存在します。 RTX Spark Windowsマシン 着陸 すぐに with 128GBまでのRAM エージェント型AIの利用を目指しています。ローカルAIとエージェントは、まあ、 だから 今はとても快適だ。しかし、真面目に言えば、オープナイア、グーグル、マイクロソフト、アントロピックのような巨大企業ではなく、私だけに応答し、私の命令に従う、机の上の箱の中に小さなAIを置くという考えは、クラウドサービスを利用したりチャットボットに登録したりすることとは少し違う。誤解しないでほしいが、それでも私のために文章を書いたり、編集したり、生成したりすることは絶対にない。 醜いフライヤーしかし今、少しプライバシーが保たれるかもしれないので、ついにそれを「信頼する」のに役立つ忙しい仕事を考えることができる。
M5 Ultra Mac Studioの継続的なテストの一環として、他のMacやWindowsシステムでも実験を行っているが、いくつかのローカルLLMをインストールし、いじり始めている。現状はこのようなものだ。
Mac StudioにオープンソースのHermes Agentをインストールすることから始めました。Hermesは自宅でホストするAIエージェントデスクトップアプリで、macOS、Windows、Linuxで動作します。ローカルLLMを使用する場合、完全に無料で利用できます。このM5 Ultra Mac Studioには256GBの統一されたメモリがあるため、欲しいモデルをほぼすべて実行できます。こうして物事がすぐに圧倒的になります。数えることのできないほど多くのモデルがあるし、その中には特殊な用途を持つものもあります。一般的に、数十億個のパラメータを持つモデルは、数十億個のパラメータしか持たない小さなモデルよりも多くのことを行うことができます。そして、ローカルでモデルを実行する際にトークン料金の心配がないので、最初から大規模なものを使うことにしました。
Hermesのシンプルなオンボーディングインターフェースとモデル選択器を利用して、Qwen 3.8 Flash Nextモデルを選びました。これは125十億パラメータのモデルで、サイズは約105GBです。また、M6 Mac MiniやM5 MacBook Air、AMD Strix Haloプロセッサを搭載したAsus TUF Gaming A14、そして最終的にはRTX Sparkといったデバイス上で、より小さなQwenモデルを使用する予定です。（どのローカルモデルやハードウェアを使っているか共有してもらえますか？コメントを残す場所がわかりますよ。🫡）
HermesとQwenを使って動作させるのにそれほど時間はかからず、Telegram botを使ってスマホで制御することもできました。しかしその後、AIを使う際のいつもの障害物が目に付かりました。それはテキストボックスです。
「このものをどうすればいいですか？」
まず、何かを始めるために、YouTubeのアドバイスを参考にして、Hermesが毎朝のブリーフィングを行うようにしました。まずは小さなクローンジョブで始めて、動作が正しくなるか確認するだけです。このアプリは私のメールとカレンダーをスキャンし、すぐに注意すべきことを教えてくれ、短い天気報告も提供します。それほど便利ではありませんが、12,000ドルもするコンピュータが必要というわけではなく、時間をかけて開発できるものです。最初はブリーフィングがうまく作動しなかったのですが、やがてmacOSが7:30に起動すると眠っていないことに気づきました。今では順調に機能していますが、より役立つ結果を得るためには、もっと多くの情報を考慮する必要があります。
より有用な作業として、Steamライブラリを再整理した。Steamには400以上のゲームがあるが、新しいゲームを気軽にプレイしたいときに分類するために、最近それらをカテゴリー分けし始めた。Steamは自動でゲームをカテゴリー分けすることはなく、手動で一つ一つ行う必要がある。しかし、エージェント型の部下ならぴったりだ。私は「Steamライブラリを再整理してくれますか？」と尋ねた。Hermesは既にインストールされたSteamクライアントを見るだけで、ほとんどのゲームを把握できる。 すぐに、いくつかの整理方法を提案してくれました。ゲームをジャンル別に整理することにしましたが、自分用の特化したカテゴリー（お気に入り、協力型タイトル、パーティーゲーム、妻と一緒に遊ぶゲームなど）はそのままにしておきました。
マシンに対して、ローカルAIに権限を与えなければならず、それによってAIがあなたのために操作を行うことができます。私のゲームライブラリの場合、Steam Web APIキーを登録し、それをHermesに渡さなければなりませんでした。一度そのアクセス権が得られると、すべてのゲームをカテゴリーに分類するのに数分しかかかりませんでした。また、APIキーはすぐに解除できました。もう必要ないので。この仕組みでは、AIが一度だけ大変な作業をしてくれ、その後私が新しいゲームを購入するときにカテゴリーに分類します。全体的にうまく機能し、今ではSteamライブラリが簡単に閲覧できます。
もう一つの簡単なこととして、データ分析を行いました。Hermesに財務記録を任せて数値を計算させ、新しいラップトップ用のスプレッドシートを作成させました。これらは小さなことですが、どちらもクラウドサービスには任せることができない、または任せたくない作業です。その機密データをクラウドにアップロードしたくないし、新しいラップトップの場合はその情報が秘密保持されていました。このツールを使うかどうかの違いは、それらのデータを自分のコンピュータに保持しているかどうかにあります。
現在私が取り組んでいるより大きな自動化プロジェクトは、一連のラップトップベンチマークテストを実行するスクリプトです。私たちのすべてのベンチマークを手動で実行しており、1ダースほどのテストをラップトップで実行するのには、3回に分けて平均を取る必要があり、非常に時間がかかります。少なくとも一部は自動化したいと思っています。ヘルメスに必要なすべての手順を実行させ、Pythonスクリプトを出力させることもかなりの努力が必要で、まだ進行中のプロジェクトです。 しかし、何かしらの前向きな進展が得られることを期待しています。
Hermesと一緒に働くのはまだ初期段階です。これが私に役立つ機能のほんの一部に過ぎないことを願っています。しかし、これらの強力なローカルモデルでさえ、何でもできる魔法のアシスタントにはなれないことも明らかです。物事は必ずしも期待通りには機能しません――私の日常のブリーフィングはすでに何度も途切れています。
ヘルメスや地域のAIは、単なるツール、私のコンピュータ上で実行されるコンピュータプログラムに過ぎない。私はデジタルな友達を望んでいない。何かを変更した時に「ありがとう」や「お願いします」と言ったり、「ごめん」と入力したりするわけではない。オペレーティングシステム上でマウスを操作する時と同じように、冷たく無関心なままである。
地元のAIを使ってテストし、学び続ける間、警戒心を持ち慎重に行動したいと思います。これからどこへ導かれるか見てみましょう。
このストーリーのトピックや著者をフォローして、パーソナライズされたホームページのフィードで同様の内容をさらに見たり、電子メールの更新情報を受け取ったりできます。