@typesafeaiのJev RouterをAgent Arenaで評価しました。
4,700件を超える実際のエージェント系セッションに及ぶテストの結果、以下のことが分かりました。
1. Jev Routerは現在のパレートフロンティアを改善しません。DeepSeek V4.1 Flash (Max) と同程度の性能に対して、コストは38%高く、モデルリクエストの中央値レイテンシは1.7倍高くなっています。
2. ただし、大半はパレート効率的なモデルにルーティングされています。最も多く選ばれるLLMはDeepSeek V4.1 Flashで、GPT-6.1 SolとGPT-6 Lunaも頻繁に選ばれています。
3. Jev Routerの最大の強みはステアリング可能性です。+10%というスコアは、Claude Opus 5.5 (High) (+10.48) にほぼ匹敵します。これは、ユーザーのフィードバックに応じてJevがより強力なLLMへ効果的にルーティングすることの利点を示しています。
詳細な分析は以下のスレッドをご覧ください。
