Liquid AI가 출시했습니다 LFM3, 즉 차세대 Liquid Foundation Models입니다. Liquid AI LFM3는 하나의 공유 백본을 기반으로 구축된 오픈 웨이트 2B급 모델 6개로 이루어진 계열입니다. 이 계열은 텍스트, 비전, 오디오, 옴니(omni) 및 의사결정 태스크를 다룹니다. 모든 모델은 GPU 한 장으로 파인튜닝할 수 있습니다. 개발자는 이후 휴대폰, 노트북, 사설 서버 또는 클라우드에 배포할 수 있습니다.
요약
- 크기: LFM3-1.7B는 1.73B 파라미터와 256K 컨텍스트 윈도우. LFM3-VL-2B는 1.92B와 128K를 보유하고 있습니다. LFM3-Omni-2B는 2.2B입니다.
- 실행 환경: 4비트에서 약 1 GB의 메모리를 사용하므로 휴대폰과 노트북에서 실행 가능합니다. GGUF, MLX, ONNX, FP8 및 NVFP4 체크포인트가 제공됩니다.
- 성능: LFM3-1.7B는 29개 벤치마크에서 평균 49.37을 기록하며, 47.24를 기록한 Qwen3.5-9B를 상회했습니다(Liquid 자체 평가 기준).
- 장점: IFEval 96.66, 그리고 AutomationBench 41.29로 Qwen3.5-9B의 15.10을 훨씬 앞섰습니다.
- 최악: Humanity’s Last Exam(도구 미사용) 7.17, RULER 128K는 Qwen3.5-9B 기준 65.56 대 87.11입니다.
Liquid AI LFM3란 무엇인가?
LFM3는 1개의 베이스에서 6개 모델로 분기되는 Liquid AI의 멀티모달 모델 계열입니다. 이들 모두 다음에서 시작합니다. LFM3-1.7B-Base.
이번 릴리스에는 다음이 포함됩니다:
- LFM3-1.7B: 로컬 에이전트용 텍스트 모델로, Hermes Agent, Pi, OpenClaw 같은 하네스에 맞춰 포스트트레이닝되었습니다.
- LFM3-VL-2B: 2 fps로 샘플링되는 비디오 입력을 지원하는 최초의 LFM 비전 모델입니다.
- LFM3-Audio-2B: 18개 언어 전반의 음성 입력 및 출력, 도구 호출 기능을 지원합니다.
- LFM3-Omni-2B: 하나의 모델에서 비전, 오디오 및 언어를 처리하며 텍스트나 음성으로 답변합니다.
- d1-2B 및 d1-Omni-2B: 1회 순전파(forward pass)로 많은 질문에 답하는 의사결정 모델.
트라이 하이브리드 아키텍처는 어떻게 작동하나요?
백본은 3가지 연산자를 24개 레이어에 걸쳐 혼합합니다. 게이트가 달린 짧은 합성곱 13개, 슬라이딩 윈도우 어텐션 레이어 5개, 글로벌 어텐션 레이어 6개가 있습니다. SWA 윈도우는 256 토큰입니다. 합성곱 커널은 3에서 7로 커졌습니다.
Liquid AI 팀은 하드웨어 인 더 루프 아키텍처 탐색으로 이 조합을 찾아냈습니다. LFM2는 폰 1대와 노트북 1대에서 튜닝되었습니다. LFM3는 14가지 디바이스 및 백엔드 조합에서 튜닝되었습니다. 여기에는 Raspberry Pi 5와 Qualcomm Hexagon NPU가 포함됩니다.
그 외 변경 사항으로는 어텐션에 대한 헤드별 시그모이드 게이트, 글로벌 레이어의 부분 RoPE, 샌드위치 정규화가 있습니다. 베이스 모델은 22T 토큰을 학습했습니다. 마지막 3.5T 토큰은 에이전트 중심의 미드트레이닝이었으며, 이를 통해 컨텍스트도 256K로 확장되었습니다.
포스트트레이닝은 4단계로 진행되었습니다. 먼저 1.75T 토큰에 대한 SFT가 이루어졌고, 그다음 혼합 RL이 진행되었습니다. 이후 6개의 전문 교사 모델을 1개 모델로 증류했으며, 마지막으로 에이전틱 RL이 이어졌습니다.
LFM3-1.7B는 벤치마크에서 어떤 성능을 보이나요?
Liquid AI에 따르면 LFM3-1.7B는 35% 더 적은 매개변수로 LFM2.5-2.6B를 능가합니다 파라미터 수는 35% 더 적습니다. 더 큰 이야기는 에이전트 결과입니다. WebArena-Verified에서는 38.42점을 기록했으며, Qwen3.5-9B의 28.94와 비교됩니다. BFCL V4에서는 62.83에 대비해 71.39점을 기록했습니다.
지식과 에이전틱 코딩에서는 여전히 큰 모델이 우세합니다. GPQA Diamond는 63.37로, Qwen3.5-9B의 80.40에 비해 낮습니다. SWE-bench Verified는 51.20에 대비해 43.40입니다. 도구를 사용하면 격차가 좁혀집니다: Humanity’s Last Exam은 도구 사용 시 7.17에서 13.90으로 상승했습니다.
LFM3-1.7B와 경쟁 모델은 어떻게 비교되나요?
| 특성 | LFM3-1.7B | MiniCPM5-2B | Qwen3.5-4B | Gemma 4 E4B |
|---|---|---|---|---|
| 파라미터 | 1.73B | 2.52B | 4B LM (Hub 기준 비전 포함 5B) | 실효 4.5B (임베딩 포함 8B) |
| 아키텍처 | Conv + SWA + 글로벌 어텐션 | 표준 Llama 트랜스포머 | Gated DeltaNet + 게이티드 어텐션 | 슬라이딩 윈도우 + 글로벌 어텐션 |
| 컨텍스트 | 256K | 131,072 | 262,144 | 128K |
| 입력 모달리티 | 텍스트 | 텍스트 | 텍스트, 이미지, 비디오 | 텍스트, 이미지, 오디오 |
| 라이선스 | LFM Open License v1.0 (매출 10M 달러 기준) | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| BFCL V4 (Liquid 평가) | 71.39 | 62.65 | 55.12 | 48.25 |
| WebArena-Verified (Liquid 평가) | 38.42 | 9.11 | 21.92 | 17.06 |
| SWE-bench Verified (Liquid 평가) | 43.40 | 34.80 | 41.20 | 0.50 |
| GPQA Diamond (Liquid 평가) | 63.37 | 65.15 | 75.76 | 57.88 |
| GPQA Diamond (벤더 보고) | 63.37 | 70.2 | 76.2 | 58.6 |
| RULER 128K (Liquid 평가) | 65.56 | 37.96 | 84.63 | 18.82 |
| Liquid 29개 벤치마크 평균 | 49.37 | 39.19 | 39.27 | 31.74 |
출처: Liquid LFM3 모델 카드, MiniCPM5-2B 카드, Qwen3.5-4B 카드, Gemma 4 E4B 카드, LFM 라이선스.
비전, 오디오, 옴니 및 의사결정 모델은 어떤가요?
LFM3-VL-2B 62개 비전 벤치마크에서 평균 71.4를 기록합니다. Gemma 4 12B는 동일한 스위트에서 71.7점입니다. LFM3-VL-2B는 시각적 그라운딩(77.3)과 GUI 이해(83.1)에서 해당 비교를 앞섭니다. 비디오(61.2)와 에이전틱 작업(42.5)은 여전히 더 큰 API 모델에 뒤집니다.
LFM3-Audio-2B는 영어 WER 6.2와 TTS 점수 UTMOSv2 3.8을 달성합니다. LFM3-Omni-2B는 Daily-Omni에서 70.1점으로, Qwen2.5-Omni-7B의 61.3점과 비교됩니다.
d1-2B는 d1-3B를 3분의 1 더 적은 파라미터로 대체합니다. Decision Bench를 83.6에서 85.2로 개선했습니다.
개발자는 LFM3를 어떻게 배포할 수 있나요?
가중치는 다음에서 제공됩니다: Hugging Face, Liquid AI Playground 및 Liquid API. 문서는 텍스트 및 비전 모델을 위한 docs GGUF, MLX 및 ONNX를 나열합니다. 런타임에는 llama.cpp, MLX, vLLM, SGLang, Ollama 및 Transformers가 포함됩니다.
온디바이스에서 Liquid AI는 32K 컨텍스트에서 Q4_0의 llama.cpp를 측정했습니다. 전체 128K 컨텍스트에는 1.6 GB의 KV 캐시가 필요합니다. Qwen3.5-4B는 4.3 GB가 필요합니다. NVIDIA B300 1개와 SGLang에서 LFM3-1.7B는 1,024개 동시 요청으로 하루 3.6B 토큰을 생성합니다.
Liquid AI는 전문화도 시연했습니다. A100 1개에서 몇 시간의 SFT와 GRPO만으로 풍력 터빈 결함 분류를 67%로 끌어올렸습니다.
핵심 요약
- 6개 오픈 웨이트 2B급 모델이 1개의 트라이 하이브리드 백본을 공유합니다.
- LFM3-1.7B는 4비트에서 256K 컨텍스트로 약 1 GB에 들어갑니다.
- BFCL V4, WebArena-Verified 및 AutomationBench에서 Qwen3.5-9B를 이깁니다.
- 지식과 에이전틱 코딩은 여전히 뚜렷한 약점입니다.
- 무료 상업적 사용은 연 매출 $10M까지입니다.
다음을 확인해 보세요: 기술 세부 정보, 모델 가중치 그리고 문서. 또한 저희를 Twitter 에서 팔로우하고 150k+ML SubReddit 에 가입하며 our Newsletter을(를) 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하시나요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub Repo, Hugging Face 페이지, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 우리와 소통하기
다음 글 Liquid AI, LFM3 공개: 6개의 오픈 웨이트 2B 클래스 멀티모달 모델 최초 게시된 곳은 MarkTechPost입니다.