Am Donnerstag (Ortszeit) hat Meta offiziell sein bisher leistungsfähigstes Open-Weight-Modell – Muse Spark Open – veröffentlicht und eine Kooperation mit Apple angekündigt, um die lokale Ausführung des Modells auf Mac-Computern voranzutreiben.
Als ein von Grund auf multimodales großes Modell mit Mixture-of-Experts-Architektur erreicht Muse Spark Open insgesamt 816 Milliarden Parameter (davon 42 Milliarden aktive Parameter) und unterstützt ein Kontextfenster von bis zu 1 Million Token. Laut Meta wurde das Modell speziell für Coding- und intelligente Agenten-Aufgaben entworfen und zeigt herausragende Leistungen bei der Verarbeitung langlebiger Aufgaben, komplexer Software-Engineering-Probleme sowie mehrstufigemReasoning. In den von Meta veröffentlichten Benchmarks belegte das Modell bei allen sechs Tests – Arbeitsabläufe, Tool-Aufrufe, Wissens-Reasoning, Wissenszuverlässigkeit, komplexe visuelle Reasoning sowie faktenbasierte Bild-Fragen – den ersten Platz und wird offiziell als das bisher leistungsfähigste amerikanische Open-Weight-Modell bezeichnet. Die Testdaten zeigen allerdings auch, dass chinesische Open-Source-Modelle wie Kimi, Qwen und Zhipu bei der Softwareentwicklung und einigen anderen Aufgaben weiterhin die Nase vorn haben.
Einer der am meisten beachteten Höhepunkte dieser Veröffentlichung ist die unerwartete Zusammenarbeit zwischen Meta und Apple. Unter Tim Cooks Führung von Apple kam es zwischen den beiden Unternehmen mehrfach zu Reibungen: Cook warf Meta Verstöße gegen die Privatsphäre der Nutzer vor, und Zuckerberg spottete einst über Apples mangelnde Innovationskraft. Doch angetrieben vom gemeinsamen Interesse an Open-Source-KI entschieden sich beide Seiten, ihre Differenzen beizulegen. Daniel Gross, Co-Leiter der Compute-Abteilung von Meta und früherer Director bei Apple, wurde zu einer der Schlüsselfiguren, die diese Zusammenarbeit ermöglichten.
Bei der Anpassung von Software und Hardware nutzte Meta das Open-Source-Machine-Learning-Framework MLX in der neuesten Version, das für Apple-Chips optimiert ist, um Muse Spark Open tiefgreifend zu optimieren, sodass es perfekt an den Mac Studio mit M5Ultra-Prozessor angepasst ist. Laut Meta ist die Kombination beider die beste Lösung, um leistungsstarke Modelle auf einem Personal Computer auszuführen. Den offiziellen Angaben zufolge unterstützt Apples neuester Mac Studio (M5Ultra) bis zu 512 GB Unified Memory; durch die Verbindung zweier Maschinen kann das Modell vollständig ausgeführt werden.
Allerdings bringt die hochwertige Hardwareausstattung auch eine erhebliche Kostenschwelle mit sich. Zwar hat Zuckerberg bereits in den sozialen Medien Fotos von zwei Mac Studio in der Top-Konfiguration gezeigt, die das Modell ausführen, doch die von Apple offiziell geplante 512-GB-Version soll erst Ende des 10. Monats in den Verkauf gehen. Rechnet man mit dem derzeit im Verkauf befindlichen Mac Studio mit 256 GB (Preis über 10.000 US-Dollar), liegen die Anschaffungskosten für einen Cluster mit etwa 1 TB Arbeitsspeicher bei über 40.000 US-Dollar. Trotz des hohen Preises können Entwickler, die langfristig Cloud-Compute-Ressourcen mieten müssen, die Anschaffung lokaler Hardware durch eingesparte Mietkosten amortisieren und profitieren zugleich von Rechenreserven und Datenschutz.
Meta-AI-Chef Wang Tao stellte fest, dass die beiden Unternehmen in bestimmten Bereichen zwar weiterhin Konkurrenten seien, dies aber einer Zusammenarbeit in passenden Bereichen nicht im Wege stehe. Neben Apple-Chips wurde Muse Spark Open umfassend auch für die Chips von Nvidia, AMD und Intel optimiert und ist mit mehreren gängigen Inferenz-Engines kompatibel. Entwickler können das Modell sowohl über mehrere Plattformen per API aufrufen als auch die Modellgewichte herunterladen und selbst deployen.