Liquid AI가 방금 Liquid RIPL을 발표했습니다. RIPL은 Real-time Inference Pipeline의 약자입니다. RIPL은 라이브 요청 경로 안에서 Liquid Foundation Models(LFM)를 서빙하는 저지연 엔진입니다. 전체 생성 응답을 엔드투엔드로 50 ms 이내에 반환합니다. 또한 최대 부하에서 트래픽이 지속적으로 유입되는 상황에서도 지연 시간이 유지된다고 주장합니다. 개발자에게 전달되는 메시지는 간단합니다. 그래디언트 부스팅 트리를 생성 모델로 교체하되, 지연 시간 예산은 그대로 유지하라는 것입니다.
TL;DR
- Engine: 230M부터 2.6B 파라미터까지의 LFM2.5 모델을 서빙합니다
- Runs on: NVIDIA H100, H200, B200 및 RTX PRO 6000 GPU 기반의 엔터프라이즈 배포. 벤치마크는 단일 B200을 사용했습니다.
- Performance: Liquid 자체 테스트 기준, vLLM의 Qwen3.5 대비 p95 지연 시간이 5.6배에서 28.4배 낮습니다.
- Best: LFM2.5-1.2B는 p95 155.8 ms를 기록한 반면 Qwen3.5-0.8B는 4,431 ms로, 28.4배 차이(입력 256, 출력 128)였습니다.
- Worst: LFM2.5-2.6B는 겨우 5.6배 개선(449.1 ms 대 2,499 ms)에 그쳤습니다. 긴 요청에서는 50 ms 미만이 실패합니다.
Liquid RIPL은 어떤 문제를 해결하나?
대부분의 서빙 스택은 대규모 배치와 긴 에이전틱 작업을 대상으로 합니다. 여기서는 요청당 몇 초의 시간이 허용됩니다. 그러나 검색 랭킹, 사기 검사, 결제 승인은 밀리초 단위의 응답을 필요로 합니다. Liquid AI는 LLM 서빙이 너무 느리기 때문에 팀들이 이러한 경로에서 고전 모델을 기본적으로 선택한다고 주장합니다. RIPL은 바로 이 트레이드오프를 없애기 위해 만들어졌습니다.
RIPL은 어떻게 작동하나?
Liquid AI는 RIPL을 요청 도착부터 응답 완료까지의 전체 경로를 최적화하는 것으로 설명합니다. 여러 워크로드에서 Liquid AI는 동일한 모델인 LFM2.5-350M을 vLLM과 RIPL에서 각각 플롯했습니다. 모든 경우에 RIPL의 p95 라인이 vLLM 라인보다 훨씬 아래에 위치했습니다. 이는 이득의 일부가 모델 아키텍처가 아닌 엔진 덕분임을 보여줍니다.
그 LFM2.5 모델 자체는 하이브리드 구조입니다. LFM2.5-1.2B-Instruct는 16개 레이어, 즉 이중 게이트 컨볼루션 블록 10개와 GQA 블록 6개로 구성되어 있습니다. LFM2.5-2.6B 는 30개 레이어, 즉 컨볼루션 블록 22개와 GQA 블록 8개로 구성되어 있습니다.
RIPL 벤치마크: vLLM 대비 얼마나 빠른가?
Liquid는 B200 한 장에서 개방형( open-loop ) Poisson 도착 조건 하의 p95 엔드투엔드 지연 시간을 측정했습니다. LFM은 RIPL에서 구동되었습니다. MiniCPM5 및 Granite 4.2를 포함한 베이스라인은 vLLM에서 구동되었습니다.
| Workload | Load | LFM2.5 on RIPL (p95) | Qwen3.5 on vLLM (p95) | 갭 |
|---|---|---|---|---|
| 1B 클래스, 32 입력 → 32 출력 | 1,000 req/s | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4배 |
| 1B 클래스, 256 입력 → 128 출력 | 400 req/s | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4배 |
| 2B 클래스, 32 입력 → 32 출력 | 1,000 req/s | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7배 |
| 2B 클래스, 256 입력 → 128 출력 | 300 req/s | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6배 |
출처: Liquid AI 블로그, Figure 2. 자체 보고 수치임.
Liquid AI는 또한 6개의 실시간 워크로드를 고정 예산과 비교해 매핑했습니다:
- 애드테크 쿼리 재작성(Adtech query rewriting): 32 입력, 32 출력, 50 ms 예산, LFM2.5-350M.
- 검색 의도 분류(Search intent classification): 128 입력, 1 출력, 20 ms 예산.
- 검색 재순위화(Search reranking): 1k 입력, 1 출력, 30 ms 예산.
- 결제 리스크 스코어링(Payments risk scoring): 512 입력, 16 출력, 50 ms 예산, LFM2.5-1.2B.
- 신용 의사결정(Credit decisioning): 8k 입력, 64 출력, 150 ms 예산.
- 이미지 대체 텍스트(Image alt text): 512×512 이미지 및 64 토큰 입력, 16 출력, 100 ms 예산, LFM2.5-VL-450M.
경쟁사 비교
| 기능 | RIPL 기반 LFM2.5-1.2B | vLLM 기반 Qwen3.5-0.8B | RIPL 기반 LFM2.5-2.6B | vLLM의 Qwen3.5-2B |
|---|---|---|---|---|
| 파라미터 | 1.17B | 0.8B | 2.69B | 2B |
| 컨텍스트 | 32,768 | 262,144 | 131,072 | 262,144 |
| 라이선스 (가중치) | LFM Open License v1.0 | Apache 2.0 | LFM 오픈 라이선스 v1.0 | Apache 2.0 |
| 양식 | 텍스트 | 텍스트, 이미지, 동영상 | 텍스트 | 텍스트, 이미지, 동영상 |
| 기본 모드 | 지시 | 비사고(Non-thinking) | 항상 이유들 | Non-thinking(논-씽킹) |
| 서빙 엔진 | RIPL (엔터프라이즈) | vLLM (오픈 소스) | RIPL(엔터프라이즈) | vLLM(오픈 소스) |
| p95, 32→32 | 34.6 ms | 498 ms | 76.4 ms | 586.8 ms |
| p95, 256→128 | 155.8 ms | 4,431 ms | 449.1 ms | 2,499 ms |
RIPL은 프로덕션 환경에서 사용되고 있나요?
네, Liquid AI에 따르면 그렇습니다. Shopify 지연 시간에 민감한 커머스 워크로드 전반에 LFM을 배포하고 있습니다. 검색 강화 분야에서 LFM은 프로덕션 트래픽에서 20 ms 미만의 추론 속도로 실행됩니다. Liquid AI의 블로그에 따르면, 이 모델은 대안보다 약 50% 적은 파라미터를 사용하며 2배에서 10배 더 빠른 추론을 제공합니다.
핵심 요약
- RIPL은 라이브 요청 경로 내에서 LLM을 구동하는 Liquid AI의 엔진입니다.
- Liquid는 vLLM에서 Qwen3.5 대비 5.6배에서 28.4배 낮은 p95 지연 시간을 주장합니다.
- 동일 모델 테스트(LFM2.5-350M)에서는 RIPL 자체가 vLLM을 능가하는 것으로 나타났습니다.
- Shopify는 프로덕션 검색에서 LFMs를 20 ms 미만으로 운영하고 있습니다.
- 기업 전용, 비공개이며 모든 수치는 자체 보고된 것입니다.
확인해 보세요 RIPL 발표, 지연 시간 계산기를 사용해 보고, LFM2.5 모델 카드도 살펴보세요.. 이 프로젝트의 연구자에게 모든 공이 돌아갑니다. 또한 저희를 Twitter 에서 팔로우하고 150k+ML SubReddit 에 가입하며 our Newsletter을 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub Repo, Hugging Face Page, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 저희에게 연락하세요
이 글 Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs 은 다음에서 처음 게시되었습니다 MarkTechPost.