Liquid AI acaba de anunciar Liquid RIPL, abreviatura de Real-time Inference Pipeline (canalización de inferencia en tiempo real). RIPL es un motor de baja latencia que sirve a los Liquid Foundation Models (LFM) dentro de una ruta de solicitudes en vivo. Devuelve respuestas generadas completas de extremo a extremo en menos de 50 ms. También afirma que la latencia se mantiene mientras el tráfico llega continuamente a carga máxima. Para los desarrolladores, el mensaje es simple. Sustituye los árboles potenciados por gradiente por un modelo generativo, y mantén el presupuesto de latencia.
TL;DR
- Motor: Sirve a los modelos LFM2.5 desde 230M hasta 2.6B de parámetros
- Se ejecuta en: Despliegues empresariales en GPU NVIDIA H100, H200, B200 y RTX PRO 6000. Los benchmarks usaron un único B200.
- Rendimiento: Entre 5.6 y 28.4 veces menor latencia p95 que Qwen3.5 en vLLM, según las propias pruebas de Liquid.
- Mejor caso: LFM2.5-1.2B alcanzó 155.8 ms p95 frente a 4,431 ms para Qwen3.5-0.8B, una brecha de 28.4x (256 de entrada, 128 de salida).
- Peor caso: LFM2.5-2.6B logró solo 5.6x (449.1 ms frente a 2,499 ms). Menos de 50 ms falla en solicitudes más largas.
¿Qué problema resuelve Liquid RIPL?
La mayoría de las pilas de servicio apuntan a lotes grandes y trabajos agentes largos. Allí, unos segundos por solicitud son aceptables. La clasificación de búsquedas, las comprobaciones de fraude y la autorización de pagos necesitan respuestas en milisegundos. Liquid AI sostiene que los equipos recurren por defecto a modelos clásicos en estas rutas porque el servicio de LLM es demasiado lento. RIPL está diseñado para eliminar ese compromiso.
¿Cómo funciona RIPL?
Liquid AI describe RIPL como una optimización de toda la ruta, desde la llegada de la solicitud hasta la respuesta completada. En varias cargas de trabajo, Liquid AI grafica el mismo modelo, LFM2.5-350M, en vLLM y en RIPL. La línea p95 de RIPL se sitúa muy por debajo de la línea de vLLM en cada caso. Eso aísla parte de la ganancia en el motor, no solo en la arquitectura del modelo.
Los modelos LFM2.5 en sí mismos son híbridos. LFM2.5-1.2B-Instruct tiene 16 capas: 10 bloques convolucionales de doble compuerta y 6 bloques GQA. LFM2.5-2.6B tiene 30 capas: 22 bloques convolucionales y 8 bloques GQA.
Benchmarks de RIPL: ¿qué tan rápido es frente a vLLM?
Liquid midió la latencia p95 de extremo a extremo bajo llegadas de Poisson en bucle abierto en un B200. Los LFM se ejecutaron en RIPL. Los puntos de referencia, incluidos MiniCPM5 y Granite 4.2, se ejecutaron en vLLM.
| Carga de trabajo | Carga | LFM2.5 en RIPL (p95) | Qwen3.5 en vLLM (p95) | Brecha |
|---|---|---|---|---|
| clase 1B, 32 de entrada → 32 de salida | 1,000 solicitudes/s | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4x |
| clase 1B, 256 de entrada → 128 de salida | 400 solicitudes/s | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4x |
| Clase 2B, 32 de entrada → 32 de salida | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7x |
| Clase 2B, 256 de entrada → 128 de salida | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6x |
Fuente: blog de Liquid AI, Figura 2. Autoinformado.
Liquid AI también comparó 6 cargas de trabajo en tiempo real con presupuestos fijos:
- Reescritura de consultas de adtech: 32 de entrada, 32 de salida, presupuesto de 50 ms, LFM2.5-350M.
- Clasificación de intención de búsqueda: 128 de entrada, 1 de salida, presupuesto de 20 ms.
- Reordenamiento de búsqueda: 1k de entrada, 1 de salida, presupuesto de 30 ms.
- Puntuación de riesgo de pagos: 512 de entrada, 16 de salida, presupuesto de 50 ms, LFM2.5-1.2B.
- Decisiones de crédito: 8k de entrada, 64 de salida, presupuesto de 150 ms.
- Texto alternativo de imágenes: imagen de 512×512 y 64 tokens de entrada, 16 de salida, presupuesto de 100 ms, LFM2.5-VL-450M.
Comparación con competidores
| Característica | LFM2.5-1.2B en RIPL | Qwen3.5-0.8B en vLLM | LFM2.5-2.6B en RIPL | Qwen3.5-2B en vLLM |
|---|---|---|---|---|
| Parámetros | 1.17B | 0.8B | 2.69B | 2B |
| Contexto | 32,768 | 262,144 | 131,072 | 262,144 |
| Licencia (pesos) | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| Modalidad | Texto | Texto, imagen, video | Texto | Texto, imagen, video |
| Modo predeterminado | Instruct | Non-thinking | Siempre razona | Non-thinking |
| Motor de servicio | RIPL (empresa) | vLLM (código abierto) | RIPL (empresa) | vLLM (código abierto) |
| p95, 32→32 | 34.6 ms | 498 ms | 76.4 ms | 586.8 ms |
| p95, 256→128 | 155.8 ms | 4,431 ms | 449.1 ms | 2,499 ms |
¿Se usa RIPL en producción?
Sí, según Liquid AI. Shopify está desplegando LFMs en cargas de trabajo comerciales sensibles a la latencia. En la mejora de búsqueda, los LFMs se ejecutan con una inferencia de menos de 20 ms en tráfico de producción. Según el blog de Liquid AI, usan aproximadamente un 50% menos de parámetros que las alternativas y ofrecen una inferencia entre 2 y 10 veces más rápida.
Puntos clave
- RIPL es el motor de Liquid AI para LLMs dentro de rutas de solicitudes en vivo.
- Liquid afirma una latencia p95 entre 5.6 y 28.4 veces menor que Qwen3.5 en vLLM.
- Las pruebas con el mismo modelo (LFM2.5-350M) muestran que RIPL en sí supera a vLLM.
- Shopify ejecuta LFMs con menos de 20 ms en búsqueda de producción.
- Solo para empresas, cerrado, y todas las cifras son autodeclaradas.
Echa un vistazo al anuncio de RIPL, prueba la calculadora de latencia, y consulta las fichas del modelo LFM2.5.. Todo el mérito es del investigador de este proyecto. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro SubReddit de ML con más de 150k y suscribirte a nuestro boletín. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesitas asociarte con nosotros para promocionar tu repositorio de GitHub, tu página de Hugging Face, el lanzamiento de un producto, un webinar, etc.? Conéctate con nosotros
La entrada Liquid AI Lanza RIPL, un Motor de Inferencia en Tiempo Real para LFMs de Menos de 50 ms apareció primero en MarkTechPost.