Presentado la primavera pasada, el proyecto Granite Switch permite un enfoque modular para el desarrollo de modelos. Ahora, los modelos Granite Switch 4.1 , equipados con un adaptador Decision y el modelo ASR más rápido en la clasificación de OpenASR, pueden alternar eficientemente entre respuestas en lenguaje natural, decisiones generales y especializadas, y tareas de voz a texto, todo desde un solo endpoint alojado.
Específicamente, los modelos Granite-Switch-4.1-8B y -30B están configurados para incluir:
- Un nuevo Decision aLoRA para la toma de decisiones de propósito general (por ejemplo, v1/systemone),
- Un Guardian aLoRA especializado que, en promedio, supera a Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions y Clef-Flash en tareas de decisiones relacionadas con la seguridad, y
- Granite-Speech-5.0-Turbo-CTC, el modelo ASR más rápido del OpenASR Leaderboard, integrado para su uso en tareas de transcripción.
Estas tres tecnologías (junto con el modelo base subyacente) se componen en un solo modelo, ocupando aproximadamente la misma cantidad de VRAM en una GPU que ocuparía el modelo base por sí solo. Eso significa más capacidades con menos GPUs.
Y como los adaptadores Switch se crearon como Activated LoRAseficientes en caché, la caché KV generada a partir de una generación del modelo base puede reutilizarse para cualquier decisión posterior basada en adaptadores. Combinado con las contribuciones recientes de vLLM de nuestro equipo para acelerar la inferencia de adaptadores de bajo rango, así como un codificador ASR colocalizado, los modelos Granite Switch 4.1 pueden alternar switch entre una solicitud de chat, una solicitud de decisión y una solicitud hablada, con velocidades vertiginosas.
Consulta nuestro espacio Speech-to-Decisions en HF donde granite-switch-4.1-8b transcribe audio, genera resúmenes, filtra contenido dañino y evalúa 15 otras banderas definidas por el usuario, todo funcionando en un único endpoint en tiempo real.
Granite Libraries: Los modelos de decisión originales
Los modelos de decisión no son nuevos. Nuestra versión anterior de Granite Libraries incluye un repositorio de adaptadores especializados de «modelo de decisión» y otros adaptadores de tareas especializadas que pueden componerse en modelos Granite Switch personalizados. Y mientras que Jev y otros modelos de decisión cerrados se centran en la generalidad, hemos comprobado que muchos de nuestros adaptadores especializados de granitelib pueden superar a los modelos generalistas en tareas de clasificación especializadas.
Compara los adaptadores de granitelib con modelos de decisión generalistas cuando se evalúan en tareas de clasificación especializadas.
Dado que los adaptadores comparten la caché KV del modelo base, añadir especialistas junto a un adaptador de decisión generalista cuesta casi nada. Obtienes una amplia cobertura del generalista y mayor precisión de los especialistas en las tareas que te importan.
En una «Carrera» entre Granite-Switch-4.1-30B (base Granite congelada + 4 aLoRAs especializadas) y Jev-27B (modelo base Qwen congelado + 1 LoRA de decisión genérica), Granite-Switch-4.1-30B pudo completar un flujo de trabajo RAG del mundo real de 5 pasos mucho más rápido que su competidor.
Compón y extiende tu propio modelo Granite Switch
Granite-Switch-4.1-8B y -30B se publican con «batteries included» (todo incluido). Son modelos Granite Switch que compilamos con un conjunto predefinido de adaptadores útiles. Pero no necesitas usar nuestra versión. Cualquiera puede componer su propio modelo Granite Switch, mezclando y combinando adaptadores de Granite Libraries para satisfacer mejor sus necesidades.
De cara al futuro, vemos una enorme oportunidad para que la comunidad componga y extienda los modelos Granite Switch con adaptadores personalizados y de terceros. Planeamos publicar un Adapter SDK para entrenar adaptadores en Mellea, junto con otros tutoriales y soporte para Granite Switch. Estos adaptadores podrían ser adaptadores de clasificación especializados para aumentar los flujos de trabajo basados en decisiones o adaptadores para tareas lingüísticas especializadas. Incluso podrías usar adaptadores personalizados para enseñar a una versión de Granite de 3B parámetros a jugar al clásico juego Doom.
De manera similar a Jev, nuestro modelo Granite Switch personalizado de 3 parámetros (3B) tomó decisiones en fracciones de segundo para navegar el juego Doom, pero pudo hacerlo a 60 - 100 decisiones / segundo, en comparación con las 10 decisiones / segundo reportadas de Jev.1 A diferencia de Jev, este modelo Granite Switch también puede narrar y responder a sus preguntas mientras juega.
Esperamos poder publicar más detalles y datos sobre Granite Switch en las próximas semanas, pero hasta entonces, le animamos a probar nuestros últimos modelos Switch y estos otros recursos útiles para comenzar.Accesible desde cualquier lugar
Disponible en tamaños de 8b y 30b, Granite Switch 4.1 puede encajar dondequiera que se ejecute su carga de trabajo. El modelo se ejecuta en vllm con un complemento (vea el repositorio de Granite Switch a continuación) y tiene soporte de inferencia nativo en llama.cpp y plataformas descendentes, lo que permite al modelo sustituirse sin problemas por /v1/systemone las llamadas API dondequiera que se utilicen, al tiempo que también atiende llamadas de chat tradicionales, todo con una caché de prefijos compartida.
Recursos para comenzar
- Fichas de modelo de Granite Switch 4.1
- Demostración de Speech-to-Decisions
- Repositorio de GitHub de Granite Switch
- Blog original de lanzamiento de Granite Switch y Granite Libraries
- Cree su propia carrera de aLoRA contra LoRA en Colab.
Notas al pie
1 https://typesafe.ai/blog/introducing-system-one-models-and-jev