Lernen, wie man lokale KI verwendet, ist aufregend, überwältigend und frustrierend

Ich beginne eine Reise, auf die ich bisher zögerlich gehandelt habe: das regelmäßige Einsetzen von KI. Die Übertragung meiner persönlichsten Daten an Cloud-Dienste war für mich ein großes Hindernis, aber es ist immer leichter möglich, leistungsstarke Modelle lokal zu betreiben, um zu sehen, was sie leisten können. Ist diese Technologie so nützlich, dass es sich lohnt, viel Geld in einen Computer oder einen Laptop mit überteuertem RAM zu investieren? Ich werde versuchen, Ihnen dabei zu helfen herauszufinden. Ich bin kein AI-Experte, es wird eine Reise für mich sein, aber vielleicht kann ich Ihnen helfen zu sehen, ob diese Reise lohnenswert ist – und ich werde meine Erfahrungen veröffentlichen.

Ein wichtiger Teil von Apples Argument für ihre neuen Mac-Desktops ist, wie gut sie für lokale KI geeignet sind. Es gibt eine ganze Linie neuer RTX Spark Windows-Computer Einführung sofort mit bis zu 128 GB RAM, die auf die Nutzung agentischer KI ausgerichtet sind. Lokale KI und Agenten sind im Moment einfach so interessant. Aber ernsthaft gesagt: Der Gedanke, dass ein kleiner Roboter nur in meinem Schreibtisch steht und nur mir antwortet – und nicht den „Overlords“ von OpenAI, Google, Microsoft oder Anthropic – ist etwas anderes als das Vertrauen in Cloud-Dienste oder die Nutzung eines Chatbots. Verstehen Sie mich nicht falsch: Es gibt immer noch keine Möglichkeit, dass der Roboter für mich schreibt, bearbeitet oder hässliche Flieger erstellt. Aber jetzt, mit etwas Privatsphäre auf meiner Seite, könnte ich vielleicht endlich etwas Nützliches tun, worauf ich ihn verlassen kann.

Als Teil meiner laufenden Tests des M5 Ultra Mac Studio sowie während der Experimente mit anderen Mac- und Windows-Systemen habe ich einige lokale LLMs installiert und beginne nun, an ihnen zu experimentieren. Hier ist, wie die Dinge stehen.

Ich begann damit, das open-source Hermes Agent auf dem Mac Studio zu installieren. Hermes ist eine selbsthostete AI-Agent-Desktopanwendung, die auf macOS, Windows und Linux funktioniert. Es ist völlig kostenlos nutzbar, wenn man lokale LLMs verwendet. Da dieses M5 Ultra Mac Studio 256 GB an zusammengefasster Speicher hat, kann ich fast jedes Modell laufen lassen, das ich möchte. So werden die Dinge schnell überwältigend. Es gibt mehr Modelle als ich zählen kann, und einige haben spezielle Anwendungen. Im Allgemeinen können Modelle mit vielen Milliarden Parametern mehr tun als kleinere Modelle mit nur wenigen Milliarden. Und da wir uns nicht um die Kosten für Tokens beim lokalen Betrieb eines Modells kümmern müssen, beschloss ich, mit großem Aufwand zu starten.

Mit der einfachen Onboard-Interface und dem Modellwähler von Hermes wählte ich das Qwen 3.8 Flash Next-Modell – ein 125-milliarden Parameter-basiertes Modell mit einer Größe von etwa 105GB. Ich plane außerdem, etwas Zeit mit viel kleineren Qwen-Modellen auf Geräten wie dem M6 Mac Mini, dem M5 MacBook Air, dem Asus TUF Gaming A14 mit AMD Strix Halo-Prozessor und schließlich dem RTX Spark zu verbringen. (Möchten Sie teilen, welche lokalen Modelle und Hardware Sie verwenden? Sie wissen, wo Ihre Kommentare abgelegt werden können. 🫡)

Es dauerte nicht lange, Hermes und Qwen einzusetzen und sie über mein Handy mit einem Telegram-Bot kontrollierbar zu machen. Doch dann stieß ich auf meinen üblichen Problem bei der Verwendung von KI: den Textfeld.

„Was mache ich mit dieser Sache?“

Zuerst folgte ich einigen hilfreichen YouTube-Tipps und ließ Hermes mir tägliche Morgenberichte erstellen – um zunächst mit einem Cron-Job zu beginnen und sicherzustellen, dass alles funktioniert. Es scannet meine E-Mail und Kalender, informiert mich über alles, was meine sofortige Aufmerksamkeit erfordert, und gibt mir einen kurzen Wetterbericht. Es ist nicht besonders nützlich, und man braucht natürlich keinen Computer für 12.000 Dollar, um es zu bauen – aber es ist etwas, das ich im Laufe der Zeit weiterentwickeln kann. Anfangs funktionierten die Berichte nicht richtig, aber dann stellte ich fest, dass macOS nicht einschlafen konnte, wenn die Arbeit um 7:30 Uhr startete. Jetzt funktioniert alles wie gewohnt, aber ich muss mehr Informationen bereitstellen, damit die Ergebnisse nützlicher sind.

Eine nützlichere Aufgabe war die Neuorganisation meiner Steam-Bibliothek. Ich habe über 400 Spiele auf Steam – und ich habe sie kürzlich in Kategorien eingeteilt, damit ich spontan ein neues Spiel spielen kann. Steam ordnet die Spiele nicht automatisch ein, daher muss man das manuell, eine nach der anderen, tun. Doch hier könnte ein Agentenagent perfekt passen. Ich fragte: „Könntest du meine Steam-Bibliothek neu organisieren?“ Hermes könnte die meisten meiner Spiele sehen, indem er nur den bereits installierten Steam-Client betrachtet. Es kam schnell mit einigen Organisationsoptionen für mich. Ich beschloss, dass es meine Spiele nach Genre sortiert hat, aber einige eigene Spezialkategorien beibehält (Favoriten, Koop-Titel, Partyspiele, Spiele für meine Frau usw.).

Sie müssen der lokalen AI Zugriff auf Ihr Gerät geben, damit sie für Sie Handlungen ausführen kann. Im Fall meiner Spielbibliothek musste ich eine Steam-Webanwendungs-Key registrieren und sie Hermes geben. Sobald diese Zugriffmöglichkeit bestand, dauerte es nur wenige Minuten, bis die Spiele in Kategorien sortiert wurden. Der API-Key konnte anschließend leicht wieder entfernt werden, da ich ihn nicht mehr benötigte. Die Idee ist, dass die AI einmal diese Arbeit für mich erledigt und danach ich die neuen Spielen nach und nach in die Kategorien einsortiere. Insgesamt hat sie ihre Aufgabe gut erledigt, und jetzt ist meine Steam-Bibliothek leicht zugänglich.

Ein weiteres einfaches Unterfangen war die Datenanalyse. Ich ließ Hermes die Finanzunterlagen prüfen, damit er mir einige Zahlen bereitstellt, und ich bat ihn auch, eine Tabellenkalkulation für einen neuen Laptop zu erstellen. Das sind kleine Aufgaben, aber es handelt sich dabei um Aufgaben, denen ich keine oder keinen Vertrauensvorschlag in einem Cloud-Dienst gebe – ich möchte diese sensiblen Daten nicht ins Cloud-System hochladen, und im Fall eines neuen Laptops waren diese Informationen unter Embargo. Ob ich dieses Tool verwende oder nicht, hing davon ab, ob die Daten auf meinem Computer bleiben.

Der größere Teil der Automatisierung, an dem ich derzeit arbeite, ist ein Skript, das eine Reihe von Laptop-Benchmarktests ausführt. Wir führen alle Benchmarks manuell durch, und es ist unglaublich zeitaufwendig, ein Laptop für etwa ein Dutzend Tests zu verwenden – dreimal, um den Durchschnitt zu erhalten. Ich würde gerne zumindest einen Teil davon automatisieren. Selbst das Überreden von Hermes zu allen erforderlichen Prozeduren und das Erreichen, dass es Python-Skripte in Vibe Code ausgibt, war eine gewisse Herausforderung, und es ist immer noch in Bearbeitung. Aber ich hoffe, dass ich etwas positive Fortschritte machen kann.

Es sind noch die Anfangsphasen meiner Arbeit mit Hermes, und ich hoffe, dass dies nur der Anfang ist von den nützlichen Funktionen, die es für mich bietet. Doch es ist auch klar, dass selbst diese leistungsstarken lokalen Modelle keine magische Assistentin sind, die alles tun kann. Die Dinge funktionieren nicht immer so, wie es geplant ist – meine tägliche Berichterstattung ist bereits mehrfach ausgefallen.

Ich betrachte Hermes und lokale KI-Systeme nur als Werkzeuge, als Computerprogramme, die auf meinem Computer ausgeführt werden. Ich will kein digitales Freund. Ich sage nicht „Danke“ oder „Bitte“, und ich tippen auch nicht „Entschuldigung“ wenn ich meine Meinung ändere. Ich bleibe genauso kalt und gleichgültig wie beim Bestellen, genauso wie beim Mausklicken in einem Betriebssystem.

Ich hoffe, wachsam und vorsichtig zu bleiben, während ich weiterhin Tests durchführe und mit der lokalen KI lerne. Lassen wir mal sehen, wohin sie mich führt.