@typesafeai의 Jev Router를 Agent Arena에서 평가했습니다.
4,700개가 넘는 실제 에이전틱 세션을 대상으로 한 우리의 테스트 결과는 다음과 같습니다:
1. Jev Router는 현재 파레토 경계에서 개선을 이루지 못했습니다. DeepSeek V4.1 Flash (Max)와 유사한 성능을 내는 데 비용은 38% 더 많이 들고, 모델 요청 중앙값 지연 시간은 1.7배 더 높습니다.
2. 다만, 대체로 파레토 효율적인 모델로 라우팅합니다. 가장 많이 선택하는 LLM은 DeepSeek V4.1 Flash이며, GPT-6.1 Sol과 GPT-6 Luna도 자주 선택됩니다.
3. Jev Router의 핵심 강점은 조종 가능성(steerability)입니다. +10%라는 점수는 Claude Opus 5.5 (High)(+10.48)에 거의 근접합니다. 이는 사용자 피드백에 반응해 더 강력한 LLM으로 효과적으로 라우팅하는 Jev의 이점을 보여줍니다.
자세한 인사이트는 아래 스레드에서 확인하세요.
