Liquid AI vient de annoncer Liquid RIPL, abréviation de Real-time Inference Pipeline. RIPL est un moteur à faible latence qui sert les Liquid Foundation Models (LFM) dans un chemin de requêtes en direct. Il renvoie des réponses générées complètes de bout en bout en moins de 50 ms. Il affirme également que la latence se maintient lorsque le trafic arrive en continu à charge maximale. Pour les développeurs, le message est simple. Remplacez les arbres à gradient boosting par un modèle génératif, et conservez le budget de latence.
TL;DR
- Moteur: Sert les modèles LFM2.5 de 230M à 2.6B de paramètres
- Fonctionne sur : Déploiements d'entreprise sur GPU NVIDIA H100, H200, B200 et RTX PRO 6000. Les benchmarks ont utilisé un seul B200.
- Performances : Latence p95 inférieure de 5,6 à 28,4x à celle de Qwen3.5 sur vLLM, selon les propres tests de Liquid.
- Meilleur cas : LFM2.5-1.2B a atteint 155.8 ms p95 contre 4,431 ms pour Qwen3.5-0.8B, soit un écart de 28.4x (256 entrées, 128 sorties).
- Pire cas : LFM2.5-2.6B n'a gagné que 5.6x (449.1 ms contre 2,499 ms). Sous 50 ms, l'objectif n'est pas atteint pour les requêtes plus longues.
Quel problème Liquid RIPL résout-il ?
La plupart des piles de service visent de gros lots et de longues tâches agentiques. Quelques secondes par requête y sont acceptables. Le classement des recherches, la détection de fraude et l'autorisation de paiement nécessitent des réponses en millisecondes. Liquid AI soutient que les équipes se tournent par défaut vers des modèles classiques pour ces chemins, car le service des LLM est trop lent. RIPL est conçu pour supprimer ce compromis.
Comment fonctionne RIPL ?
Liquid AI décrit RIPL comme optimisant l'ensemble du chemin, de l'arrivée de la requête à la réponse achevée. Dans plusieurs charges de travail, Liquid AI trace le même modèle, LFM2.5-350M, sur vLLM et sur RIPL. La ligne p95 de RIPL se situe nettement en dessous de celle de vLLM dans chaque cas. Cela isole une partie du gain au niveau du moteur, et pas seulement de l'architecture du modèle.
Les modèles LFM2.5 eux-mêmes sont des hybrides. LFM2.5-1.2B-Instruct possède 16 couches : 10 blocs convolution à double porte et 6 blocs GQA. LFM2.5-2.6B possède 30 couches : 22 blocs de convolution et 8 blocs GQA.
Benchmarks de RIPL : quelle rapidité face à vLLM ?
Liquid a mesuré la latence p95 de bout en bout sous arrivées de Poisson en boucle ouverte sur un seul B200. Les LFM tournaient sur RIPL. Les références, dont MiniCPM5 et Granite 4.2, tournaient sur vLLM.
| Charge de travail | Charge | LFM2.5 sur RIPL (p95) | Qwen3.5 sur vLLM (p95) | Écart |
|---|---|---|---|---|
| Classe 1B, 32 en entrée → 32 en sortie | 1,000 req/s | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4x |
| Classe 1B, 256 en entrée → 128 en sortie | 400 req/s | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4x |
| Classe 2B, 32 en entrée → 32 en sortie | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7x |
| Classe 2B, 256 en entrée → 128 en sortie | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6x |
Source : blog de Liquid AI, Figure 2. Auto-déclaré.
Liquid AI a également comparé 6 charges de travail en temps réel à des budgets fixes :
- Réécriture de requêtes adtech : 32 en entrée, 32 en sortie, budget de 50 ms, LFM2.5-350M.
- Classification d'intention de recherche : 128 en entrée, 1 en sortie, budget de 20 ms.
- Reclassement de résultats de recherche : 1k en entrée, 1 en sortie, budget de 30 ms.
- Scoring de risque des paiements : 512 en entrée, 16 en sortie, budget de 50 ms, LFM2.5-1.2B.
- Décision de crédit : 8k en entrée, 64 en sortie, budget de 150 ms.
- Texte alternatif d'image : image 512×512 et 64 tokens en entrée, 16 en sortie, budget de 100 ms, LFM2.5-VL-450M.
Comparaison avec les concurrents
| Fonctionnalité | LFM2.5-1.2B sur RIPL | Qwen3.5-0.8B sur vLLM | LFM2.5-2.6B sur RIPL | Qwen3.5-2B sur vLLM |
|---|---|---|---|---|
| Paramètres | 1.17B | 0.8B | 2.69B | 2B |
| Contexte | 32,768 | 262,144 | 131,072 | 262,144 |
| Licence (poids) | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| Modalité | Texte | Texte, image, vidéo | Texte | Texte, image, vidéo |
| Mode par défaut | Instruct | Non-thinking | Raisonne toujours | Non-thinking |
| Moteur de service | RIPL (entreprise) | vLLM (open source) | RIPL (entreprise) | vLLM (open source) |
| p95, 32→32 | 34,6 ms | 498 ms | 76,4 ms | 586,8 ms |
| p95, 256→128 | 155,8 ms | 4,431 ms | 449,1 ms | 2,499 ms |
RIPL est-il utilisé en production ?
Oui, selon Liquid AI. Shopify déploie les LFM sur des charges de travail commerciales sensibles à la latence. Pour l'amélioration de la recherche, les LFM fonctionnent avec une inférence inférieure à 20 ms sur le trafic de production. Selon le blog de Liquid AI, ils utilisent environ 50% de paramètres en moins que les alternatives et offrent une inférence 2 à 10x plus rapide.
À retenir
- RIPL est le moteur de Liquid AI pour les LLM au sein des chemins de requêtes en direct.
- Liquid revendique une latence p95 5,6 à 28,4x inférieure à celle de Qwen3.5 sur vLLM.
- Des tests sur un même modèle (LFM2.5-350M) montrent que RIPL lui-même surpasse vLLM.
- Shopify exécute des LFM en moins de 20 ms dans sa recherche de production.
- Réservé aux entreprises, fermé, et toutes les chiffres sont auto-déclarés.
Découvrez l'annonce de RIPL, essayez la calculatrice de latence, et consultez les fiches modèles LFM2.5.. Tout le crédit revient au chercheur de ce projet. Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit ML de plus de 150k et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinaire, etc. ? Connectez-vous avec nous
L'article Liquid AI lance RIPL, un moteur d'inférence en temps réel pour des LFM en moins de 50 ms est apparu en premier sur MarkTechPost.