Architect Financial Technologies는 Liquid Inference를 출시했습니다. 이는 모든 요청에 대해 실시간 경매를 운영하는 LLM 라우터입니다. Liquid Inference는 Architect가 제공하는 LLM 인출 시장으로, 공급업체들이 각 프롬프트를 처리하기 위해 입찰합니다. 구매자는 자신의 규칙을 충족하는 가장 낮은 입찰 가격을 지불합니다. 개발자들에게는 매우 간단한 방식입니다: 기본 URL을 바꾸고, 코드를 그대로 유지한 다음, 공급업체들이 가격으로 경쟁하도록 하면 됩니다.
Liquid Inference란 무엇인가요?
Liquid Inference는 LLM 인출을 위한 교환형 라우터입니다. Architect에 따르면, 제공업체들은 특정 모델을 처리하는 제안을 내놓습니다. 각 요청은 모든 제공업체에서 해당 모델을 명시하여 경쟁적으로 공개됩니다. 구매자의 규칙을 충족하는 가장 저렴한 제안이 승리합니다.
이 제품은 AI 연구소가 아닌 거래 회사에서 제공됩니다. 아키텍트는 AX 영구 선물 거래소를 운영합니다. 2026년 5월에는 규제 심사를 거쳐 GPU 컴퓨팅 선물을 상장하기 위해 미국 지정 계약 시장을 인수했습니다. 팀은 금융 거래소를 구축한 경험을 활용하여 추론을 위한 양방향 가격 발견 시스템을 만들었습니다.
추론 경매는 어떻게 작동하나요?
프로세스는 4단계로 구성됩니다:
- 요청: 클라이언트가 표준 OpenAI 또는 Anthropic API 호출을 보냅니다.
- 규칙: 구매자의 제약 조건이 유리한 제안을 필터링합니다.
- 경매: 해당 모델을 제안하는 공급업체들이 경쟁합니다. 가장 낮은 조건의 입찰이 승리합니다.
- 영수증: 최대 가격은 생성 전에 고정됩니다. 결제는 측정 방식으로 사용량에만 적용됩니다.
구매자들은 작업당 비용 상한, 첫 번째 토큰까지 걸리는 시간 제한 및 최소 처리량를 설정할 수 있습니다. 또한 승인된 지역, 데이터 보관 없음, 제공자 또는 모델 허용 목록도 요구할 수 있습니다. 자동 모드에서는 특정 작업 단위에 맞는 모델을 선택할 수 있습니다. Harrison의 LinkedIn 게시물에는 라우팅 규칙 예비 설정과 전체 멀티모달 지원도 포함됩니다.
계정 소유자는 실시간 주문 목록, 각 제공자 및 각 모델별 견적, 그리고 완료된 거래 내역을 확인할 수 있습니다. 이러한 수준의 시장 데이터는 LLM API에서는 드문 경우입니다.
구매자들은 무엇을 얻게 되나요?
- 에이전트형 코딩 도구와의 즉시 호환성. 포스트에는 Claude Code, Codex, OpenCode, Cursor, Pi 및 Cline이 포함됩니다.
- 무료 이메일 가입. 해리슨에 따르면 첫 500명의 사용자에게는 $20의 무료 인덱스가 제공됩니다.
- 추천 프로그램: 추천 수수료의 20%가 무료 인식으로 제공되며, 두 번째 수준의 추천에 대해서는 10%가 추가로 제공됩니다.
추론 제공자들은 무엇을 얻나요?
Liquid Inference 앱을 통해 제공업체가 등록됩니다. 해리슨은 새로운 제공업체가 “주가 아닌 몇 분 안에” 검증된다고 말합니다. 모든 프롬프트는 OpenAI API 표준을 사용합니다. REST 및 WebSocket API를 통해 모델과 견적이 등록됩니다.
공급업체는 자신들의 비용에 따라 견적을 업데이트할 수 있습니다. 이를 통해 그들은 원할 때만 여분의 GPU 용량을 판매할 수 있습니다. 지급은 스트리프트를 통해 이루어지며, 각 작업에 대한 세부 내역도 기록됩니다.
Liquid Inference는 OpenRouter와 Hugging Face와 어떻게 비교되는가?
| 특징 | Liquid Inference | OpenRouter | Hugging Face Inference Providers |
|---|---|---|---|
| 루팅 모델 | 캡처 제공자 간에 요청별 경매 | 가격 기반 가중된 로드 밸런싱, 가격의 역제곱 | 기본 설정에서는 가장 빠른 제공자입니다; :cheapest 접미사는 선택적입니다. |
| 모델 / 제공자 수 | “수백”개의 모델; 제공자는 공개되지 않았음 | 500+ 모델, 80+ 제공업체 | 18명의 파트너사 |
| API 호환성 | OpenAI와 Anthropic과 호환되는 | OpenAI와 호환되는 | OpenAI와 호환되며, 채팅 전용 |
| 가격 제한 | 첫 번째 토큰 이전에 고정된 최대 가격 | max_price 매개변수 | 공개되지 않았습니다 |
| 데이터 제어 | ZDR, 지역, 허용 목록 | zdr, data_collection, only/ignore | 프로비저러스 선호 순서 |
| 플랫폼 수수료 | 공개되지 않았습니다 | 5.5% 카드 크레딧 수수료, 최소 $0.80 | 마크업 없음 |
| 무료 크레딧 | 첫 500명의 사용자에게 $20 | 공개되지 않았습니다 | $0.10/월 무료, $2.00 PRO |
| 공개 시장 데이터 | 실시간 주문 장부와 청산된 거래 | 공개되지 않았습니다 | 공개되지 않았습니다 |
주요 요점
- Liquid Inference는 경쟁적인 제공업체들 간에 모든 LLM 요청을 경매로 판매합니다.
- 첫 번째 토큰 전에 최대 가격이 고정되며, 작업당 수령금이 지급됩니다.
- OpenAI와 Anthropic 클라이언트를 사용할 수 있으며, Claude Code 및 Cursor도 포함됩니다.
- 처음 500명의 사용자에게 $20를 무료로 제공하며, 추천을 통해 얻은 수익은 수수료의 20%가 됩니다.
- 요금, 제공자 목록 및 지연 데이터는 아직 공개되지 않았습니다.
기술적 세부 정보을 확인해 보세요. 이 프로젝트의 연구원에게 모든 공로가 돌아갑니다. 또한, Twitter에서 우리를 팔로우하시고, 150k+ML SubReddit에 가입하고 우리 뉴스레터을 구독하는 것을 잊지 마세요. 잠깐! 당신은 텔레그램에 있나요? 이제 당신도 텔레그램에서 우리와 함께할 수 있습니다.
Architect Launches Liquid Inference, a Real-Time Auction for LLM Inference라는 글이 MarkTechPost에 처음 등장했습니다.