Liquid AI hat gerade Liquid RIPL angekündigt, kurz für Real-time Inference Pipeline. RIPL ist eine Low-Latency-Engine, die Liquid Foundation Models (LFMs) innerhalb eines Live-Request-Pfads bereitstellt. Sie liefert vollständige generierte Antworten Ende-zu-Ende in unter 50 ms. Außerdem wird behauptet, dass die Latenz auch hält, wenn Traffic kontinuierlich bei Spitzenlast eintrifft. Für Entwickler lässt sich die Botschaft einfach zusammenfassen. Ersetze gradient-boosted trees durch ein generatives Modell und halte das Latenzbudget ein.
TL;DR
- Engine: Bedient LFM2.5-Modelle von 230M bis 2.6B Parametern
- Läuft auf: Enterprise-Deployments auf NVIDIA H100-, H200-, B200- und RTX PRO 6000 GPUs. Die Benchmarks verwendeten einen einzelnen B200.
- Leistung: 5.6- bis 28.4-fach niedrigere p95-Latenz als Qwen3.5 auf vLLM, laut Liquid's eigenen Tests.
- Bestwert: LFM2.5-1.2B erreichte 155.8 ms p95 gegenüber 4,431 ms für Qwen3.5-0.8B, eine 28.4-fache Lücke (256 rein, 128 raus).
- Schlechtester Wert: LFM2.5-2.6B gewann nur 5.6x (449.1 ms gegenüber 2,499 ms). Unter 50 ms scheitert bei längeren Anfragen.
Welches Problem löst Liquid RIPL?
Die meisten Serving-Stacks zielen auf große Batches und lange agentische Jobs ab. Einige Sekunden pro Anfrage sind dort akzeptabel. Suchranking, Betrugsprüfungen und Zahlungsautorisierung benötigen Antworten in Millisekunden. Liquid AI argumentiert, dass Teams für diese Pfade standardmäßig auf klassische Modelle zurückgreifen, weil LLM-Serving zu langsam ist. RIPL ist gebaut, um diesen Kompromiss zu beseitigen.
Wie funktioniert RIPL?
Liquid AI beschreibt RIPL als Optimierung des gesamten Pfads, vom Eingang der Anfrage bis zur abgeschlossenen Antwort. In mehreren Workloads stellt Liquid AI dasselbe Modell, LFM2.5-350M, auf vLLM und auf RIPL dar. RIPLs p95-Linie liegt in jedem Fall deutlich unter der vLLM-Linie. Das isoliert einen Teil des Gewinns auf die Engine, nicht nur auf die Modellarchitektur.
Die LFM2.5-Modelle selbst sind Hybride. LFM2.5-1.2B-Instruct hat 16 Layer: 10 double-gated convolution blocks und 6 GQA-Blöcke. LFM2.5-2.6B hat 30 Layer: 22 convolution blocks und 8 GQA-Blöcke.
RIPL-Benchmarks: Wie schnell ist es im Vergleich zu vLLM?
Liquid maß die p95-Ende-zu-Ende-Latenz unter offenen Poisson-Ankünften auf einem B200. LFMs liefen auf RIPL. Baselines, darunter MiniCPM5 und Granite 4.2, liefen auf vLLM.
| Workload | Last | LFM2.5 auf RIPL (p95) | Qwen3.5 auf vLLM (p95) | Gap |
|---|---|---|---|---|
| 1B-Klasse, 32 rein → 32 raus | 1.000 req/s | 34,6 ms (1,2B) | 498 ms (0,8B) | 14,4x |
| 1B-Klasse, 256 rein → 128 raus | 400 req/s | 155,8 ms (1,2B) | 4.431 ms (0,8B) | 28,4x |
| 2B-Klasse, 32 rein → 32 raus | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7x |
| 2B-Klasse, 256 rein → 128 raus | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6x |
Quelle: Liquid AI Blog, Abbildung 2. Selbst angegeben.
Liquid AI hat außerdem 6 Echtzeit-Workloads gegen feste Budgets gemessen:
- Adtech Query Rewriting: 32 rein, 32 raus, 50 ms Budget, LFM2.5-350M.
- Klassifizierung der Suchabsicht: 128 rein, 1 raus, 20 ms Budget.
- Such-Neurangierung: 1k rein, 1 raus, 30 ms Budget.
- Risikobewertung bei Zahlungen: 512 rein, 16 raus, 50 ms Budget, LFM2.5-1.2B.
- Kreditentscheidungen: 8k rein, 64 raus, 150 ms Budget.
- Alt-Text für Bilder: 512×512-Bild und 64 Token rein, 16 raus, 100 ms Budget, LFM2.5-VL-450M.
Wettbewerbsvergleich
| Merkmal | LFM2.5-1.2B auf RIPL | Qwen3.5-0.8B auf vLLM | LFM2.5-2.6B auf RIPL | Qwen3.5-2B on vLLM |
|---|---|---|---|---|
| Parameter | 1.17B | 0.8B | 2.69B | 2B |
| Kontext | 32,768 | 262,144 | 131,072 | 262,144 |
| Lizenz (Gewichte) | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| Modalität | Text | Text, Bild, Video | Text | Text, Bild, Video |
| Standardmodus | Instruct | Non-thinking | Reasoned immer | Non-thinking |
| Serving-Engine | RIPL (Enterprise) | vLLM (Open Source) | RIPL (Enterprise) | vLLM (Open Source) |
| p95, 32→32 | 34,6 ms | 498 ms | 76,4 ms | 586,8 ms |
| p95, 256→128 | 155,8 ms | 4.431 ms | 449,1 ms | 2.499 ms |
Wird RIPL in der Produktion eingesetzt?
Ja, laut Liquid AI. Shopify setzt LFMs für latenzempfindliche Commerce-Workloads ein. Im Bereich der Suchverbesserung laufen LFMs mit einer Inferenz von unter 20 ms im Produktivverkehr. Laut Liquid AIs Blog verwenden sie etwa 50% weniger Parameter als Alternativen und bieten eine 2- bis 10-fach schnellere Inferenz.
Die wichtigsten Erkenntnisse
- RIPL ist Liquid AIs Engine für LLMs in Live-Request-Pfaden.
- Liquid behauptet, dass RIPL eine 5,6- bis 28,4-fach niedrigere p95-Latenz als Qwen3.5 auf vLLM aufweist.
- Tests mit demselben Modell (LFM2.5-350M) zeigen, dass RIPL selbst vLLM übertrifft.
- Shopify betreibt LFMs mit einer Latenz von unter 20 ms in der Produktionssuche.
- Nur für Unternehmen, geschlossen, und alle Zahlen sind selbst berichtet.
Schauen Sie sich die RIPL-Ankündigungan, probieren Sie den Latenzrechneraus und sehen Sie sich die LFM2.5-Modellkartenan.. Alle Credits gehen an den Forscher dieses Projekts. Folgen Sie uns außerdem gerne auf Twitter und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Müssen Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER Ihr Produktrelease ODER Webinar usw. zu bewerben? Verbinden Sie sich mit uns
Der Beitrag Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs erschien zuerst auf MarkTechPost.