Présenté le printemps dernier, le projet Granite Switch permet une approche modulaire du développement de modèles. Désormais, les modèles Granite Switch 4.1 , dotés d'un adaptateur Decision et du modèle ASR le plus rapide du classement OpenASR, peuvent passer efficacement des réponses en langage naturel aux décisions générales et spécialisées, et aux tâches de conversion de la parole en texte, le tout depuis un seul point de terminaison hébergé.
Plus précisément, les modèles Granite-Switch-4.1-8B et -30B sont configurés pour inclure :
- Un nouveau Decision aLoRA pour la prise de décision à usage général (par ex. v1/systemone),
- Un Guardian aLoRA spécialisé qui, en moyenne, surpasse Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions et Clef-Flash sur les tâches de décision liées à la sécurité, et
- Granite-Speech-5.0-Turbo-CTC, le modèle ASR le plus rapide du OpenASR Leaderboard, intégré pour être utilisé dans les tâches de transcription.
Ces trois technologies (ainsi que le modèle de base sous-jacent) sont assemblées en un seul modèle, occupant à peu près la même quantité de VRAM sur un GPU que le modèle de base seul. Cela signifie plus de capacités avec moins de GPU.
Et comme les adaptateurs Switch ont été conçus comme des Activated LoRAséconomes en cache, le cache KV créé lors d'une génération du modèle de base peut être réutilisé pour toute décision ultérieure basée sur un adaptateur. Combiné aux contributions récentes de notre équipe à vLLM pour accélérer l'inférence des adaptateurs de faible rang, ainsi qu'à un encodeur ASR co-localisé, les modèles Granite Switch 4.1 peuvent basculer entre une requête de conversation, une requête de décision et une requête vocale, à des vitesses fulgurantes.
Découvrez notre espace HF Speech-to-Decisions où granite-switch-4.1-8b transcrit l'audio, génère des résumés, détecte les contenus nuisibles et teste 15 autres indicateurs définis par l'utilisateur — le tout exécuté sur un seul point de terminaison en temps réel.
Granite Libraries : les modèles de décision originaux
Les modèles de décision ne sont pas nouveaux. Notre version précédente de Granite Libraries propose un référentiel d'adaptateurs de « modèles de décision » spécialisés et d'autres adaptateurs de tâches spécialisés qui peuvent être composés en modèles Granite Switch personnalisés. Et tandis que Jev et les autres modèles de décision fermés se concentrent sur la généralité, nous avons constaté que bon nombre de nos adaptateurs granitelib spécialisés peuvent surpasser les généralistes sur des tâches de classification spécialisées.
Comparez les adaptateurs granitelib avec les modèles de décision généralistes lorsqu'ils sont évalués sur des tâches de classification spécialisées.
Comme les adaptateurs partagent le cache KV du modèle de base, ajouter des spécialistes aux côtés d'un adaptateur de décision généraliste ne coûte presque rien. Vous bénéficiez d'une large couverture grâce au généraliste et d'une meilleure précision grâce aux spécialistes sur les tâches qui vous importent.
Dans une « course » entre Granite-Switch-4.1-30B (base Granite figée + 4 aLoRAs spécialisés) et Jev-27B (modèle Qwen de base figé + 1 LoRA de décision générique), Granite-Switch-4.1-30B a pu compléter un flux de travail RAG réel en 5 étapes bien plus rapidement que son concurrent.
Composer et étendre votre propre modèle Granite Switch
Granite-Switch-4.1-8B et -30B sont publiés avec « batteries incluses ». Ce sont des modèles Granite Switch que nous avons compilés avec un ensemble prédéfini d'adaptateurs utiles. Mais vous n'êtes pas obligé d'utiliser notre version. N'importe qui peut composer son propre modèle Granite Switch, en mélangeant et associant les adaptateurs de Granite Libraries pour mieux répondre à ses besoins.
À l'avenir, nous voyons une opportunité énorme pour la communauté de composer et d'étendre les modèles Granite Switch avec des adaptateurs personnalisés et tiers. Nous prévoyons de publier un Adapter SDK pour l'entraînement d'adaptateurs dans Mellea, ainsi que d'autres tutoriels et la prise en charge de Granite Switch. Ces adaptateurs pourraient être des adaptateurs de classification spécialisés pour enrichir les flux de travail basés sur des décisions ou des adaptateurs pour des tâches linguistiques spécialisées. Vous pourriez même utiliser des adaptateurs personnalisés pour apprendre à une version 3B paramètres de Granite à jouer au jeu classique Doom.
De manière similaire à Jev, notre modèle Granite Switch personnalisé de 3B paramètres a pris des décisions en une fraction de seconde pour naviguer dans le jeu Doom, mais a pu le faire à 60 - 100 décisions / seconde, contre 10 décisions / seconde rapportées pour Jev.1 Contrairement à Jev, ce modèle Granite Switch peut également narrer et répondre à vos questions pendant qu'il joue.
Nous attendons avec impatience la publication de plus de détails et de données sur Granite Switch dans les semaines à venir, mais d'ici là, nous vous encourageons à essayer nos derniers modèles Switch et ces autres ressources utiles pour bien démarrer.Accessible de n'importe où
Disponible en tailles 8b et 30b, Granite Switch 4.1 peut s'adapter partout où votre charge de travail s'exécute. Le modèle fonctionne dans vllm avec un plug-in (voir le dépôt Granite Switch ci-dessous) et dispose d'une prise en charge d'inférence native dans llama.cpp et les plateformes en aval, ce qui permet au modèle de se substituer de manière transparente aux appels /v1/systemone API où qu'ils soient utilisés, tout en prenant également en charge les appels de chat traditionnels, le tout avec un cache de préfixe partagé.
Ressources pour bien démarrer
- Fiches de modèle Granite Switch 4.1
- Démo Speech-to-Decisions
- Dépôt GitHub Granite Switch
- Billet de blog original sur la sortie de Granite Switch et des bibliothèques Granite
- Créez votre propre course aLoRA v LoRA sur Colab.
Notes de bas de page
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev