Im vergangenen Frühjahr eingeführt, der Granite Switch das Projekt ermöglicht einen modularen Ansatz für die Modellentwicklung. Jetzt Granite Switch 4.1 models, ausgestattet mit einem Decision-Adapter und dem schnellsten ASR-Modell auf der OpenASR-Leaderboard, können effizient zwischen Antworten in natürlicher Sprache, allgemeinen und spezialisierten Entscheidungen sowie Speech-to-Text-Aufgaben wechseln – alles über einen einzigen gehosteten Endpunkt.
Konkret sind die Granite-Switch-4.1-8B und -30B Modelle wie folgt konfiguriert:
- Ein neues Decision aLoRA für allgemeine Entscheidungsfindung (z. B. v1/systemone),
- Ein spezialisiertes Guardian aLoRA , das im Durchschnitt Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions und Clef-Flash bei sicherheitsrelevanten Entscheidungsaufgaben übertrifft, und
- Granite-Speech-5.0-Turbo-CTC, das schnellste ASR-Modell auf dem OpenASR Leaderboard, eingebettet für die Verwendung in Transkriptionsaufgaben.
Alle drei dieser Technologien (zusammen mit dem zugrunde liegenden Basismodell) sind in einem Modell zusammengefasst, das ungefähr denselben VRAM auf einer GPU beansprucht wie das Basismodell allein. Das bedeutet mehr Fähigkeiten mit weniger GPUs.
Und weil die Switch-Adapter als cache-effiziente Activated LoRAsgebaut wurden, kann der KV-Cache, der aus einer Basismodell-Generierung entsteht, für alle nachfolgenden adapterbasierten Entscheidungen wiederverwendet werden. In Kombination mit den recent vLLM contributions unseres Teams zur Beschleunigung von Inferencing mit niedrigrangigen Adaptern sowie einem ko-lozierten ASR-Encoder können Granite Switch 4.1 Modelle zwischen einer Chat-Anfrage, einer Entscheidungsanfrage und einer Sprachanfrage wechseln – mit blitzschneller Geschwindigkeit.
Sehen Sie sich unseren Speech-to-Decisions HF space wo granite-switch-4.1-8b Audio transkribiert, Zusammenfassungen erstellt, auf schädliche Inhalte prüft und 15 weitere benutzerdefinierte Flags testet – alles läuft in Echtzeit auf einem einzigen Endpunkt.
Granite Libraries: Die ursprünglichen Entscheidungsmodelle
Entscheidungsmodelle sind nichts Neues. Unsere vorherige Veröffentlichung von Granite Libraries enthält ein Repository spezialisierter „Decision Model“-Adapter und anderer spezialisierter Task-Adapter, die zu eigenen Granite Switch Modellen kombiniert werden können. Und während Jev und andere geschlossene Entscheidungsmodelle auf Generalität fokussiert sind, haben wir festgestellt, dass viele unserer spezialisierten granitelib-Adapter bei spezialisierten Klassifikationsaufgaben Generalisten übertreffen können.
Vergleichen Sie granitelib-Adapter mit generalistischen Entscheidungsmodellen, wenn sie auf spezialisierten Klassifikationsaufgaben evaluiert werden.
Da Adapter den KV-Cache des Basismodells teilen, kostet es fast nichts, Spezialisten neben einen generalistischen Decision-Adapter zu stellen. Sie erhalten breite Abdeckung durch den Generalisten und höhere Genauigkeit durch Spezialisten bei den Aufgaben, die Ihnen wichtig sind.
In einem „Race“ zwischen Granite-Switch-4.1-30B (eingefrorenes Granite-Basismodell + 4 spezialisierte aLoRAs) und Jev-27B (eingefrorenes Qwen-Basismodell + 1 generischer Decision-LoRA) konnte Granite-Switch-4.1-30B einen realen, 5-stufigen RAG-Workflow deutlich schneller abschließen als sein Konkurrent.
Stellen und erweitern Sie Ihr eigenes Granite Switch Modell
Granite-Switch-4.1-8B und -30B werden „mit Batterien“ ausgeliefert. Es sind Granite Switch Modelle, die wir mit einem vordefinierten Satz hilfreicher Adapter kompiliert haben. Aber Sie müssen nicht unsere Version verwenden. Jeder kann sein eigenes Granite Switch Modell zusammenstellen, indem er Adapter aus Granite Libraries beliebig kombiniert, um seinen Anforderungen optimal gerecht zu werden.
Künftig sehen wir enorme Möglichkeiten für die Community, Granite Switch Modelle mit eigenen Adaptern und Adaptern von Drittanbietern zu erweitern und zusammenzustellen. Wir planen, ein Adapter SDK zum Trainieren von Adaptern in Melleazusammen mit weiteren Tutorials und Granite Switch Support zu veröffentlichen. Diese Adapter könnten spezialisierte Klassifikationsadapter sein, die entscheidungsbasierte Workflows erweitern, oder Adapter für spezialisierte Sprachaufgaben. Mit benutzerdefinierten Adaptern könnten Sie sogar einer 3B-Parameter-Version von Granite beibringen, das klassische Spiel Doom zu spielen.
Ähnlich wie Jev traf unser benutzerdefiniertes Granite Switch Modell mit 3 Parametern im 3B-Bereich Sekundenentscheidungen, um durch das Doom-Spiel zu navigieren, konnte dies jedoch mit 60 - 100 Entscheidungen / Sekunde tun, im Vergleich zu den berichteten 10 Entscheidungen / Sekunde von Jev.1 Anders als Jev kann dieses Granite Switch Modell auch erzählen und auf Ihre Fragen antworten, während es spielt.
Wir freuen uns darauf, in den kommenden Wochen weitere Details und Daten zu Granite Switch zu veröffentlichen, aber bis dahin empfehlen wir Ihnen, unsere neuesten Switch Modelle und diese weiteren hilfreichen Ressourcen für den Einstieg auszuprobieren.Von überall zugänglich
In den Größen 8b und 30b verfügbar, passt Granite Switch 4.1 dorthin, wo Ihre Workload läuft. Das Modell läuft in vllm mit einem Plug-in (siehe Granite Switch Repo unten) und hat native Inferenzunterstützung in llama.cpp und nachgelagerten Plattformen, was es dem Modell ermöglicht, sich nahtlos für /v1/systemone API-Aufrufe einzusetzen, wo immer sie verwendet werden, und gleichzeitig traditionelle Chat-Aufrufe zu bedienen, alles mit einem gemeinsamen Präfix-Cache.
Ressourcen für den Einstieg
- Granite Switch 4.1 Model Cards
- Speech-to-Decisions Demo
- Granite Switch GitHub Repo
- Original Granite Switch and Granite Libraries Release Blog
- Erstellen Sie Ihr eigenes aLoRA vs. LoRA-Rennen auf Colab.
Fußnoten
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev