큰 소식: @deepseek_ai의 DeepSeek-V4.1-Flash-20261017 (Max)가 이제 Agent Arena의 #1 오픈 모델이 되었습니다! +7.5K개의 실제 세션에서 +5.1% 순 개선을 기록하며 전체 #11에 방금 올라섰습니다.
이 성과는 Agent Arena의 파레토 경계(Pareto frontier)도 다시 그리게 만들었습니다! 성능 면에서 V4.1-Flash 20261017보다 위에 있는 모든 모델은 훨씬 높은 비용의 독점 모델입니다. 태스크당 중앙값 비용이 $0.20로, 약 27%의 비용으로 GPT-6.1 Sol 개선분의 약 37%를 달성한 것입니다.
신호별로 이번 릴리스가 달성한 성과는 다음과 같습니다:
- Confirmed Success에서 +11.5%로 #8 (오픈 #1)
- Praise vs. Complaint에서 +5.9%로 #11 (오픈 #1)
- Bash Reliability에서 +5.4%로 #12 (오픈 #1)
- Steerability에서 +2.5%로 #13 (오픈 #1)
- Tool Hallucination 문제 없음
Agent Arena에 대한 신호 관련 자세한 정보는 스레드의 링크에서 확인하세요.
이번 릴리스를 위해 @deepseek_ai 팀에게 축하를 보냅니다!
