IT之家 10월 20일 소식에 따르면, AI 경기장 Arena는 오늘 DeepSeek-V4.1-Flash-1017이 Agent Arena와 Code Arena: WebDev 오픈소스 모델 순위에서 1위를 차지했으며, 전체 순위에서 11위를 기록했다고 발표했습니다.
Agent Arena 랭킹 차트에 따르면, DeepSeek-V4.1-Flash-20261017 (Max)은 오픈소스 모델 중 1위를 차지했으며 전체 순위에서 11위에 올랐습니다. 차트 데이터에 따르면, 이 모델은 7498번의 실제 사용 세션을 기반으로 5.13%의 종합 순 개선 지표를 달성했으며, 단일 작업 비용의 중앙값은 약 0.18달러입니다 (IT之家 주: 현재 환율로 약 1.2위안에 해당합니다).
구체적인 지표 측면에서, 이 모델의 작업 성공 확인, 사용자 긍정적 및 부정적 피드백, Bash 명령어 실행 신뢰성 모두 오픈소스 모델 중 최고 순위에 올랐습니다. 그중, 작업 성공 확인 지표는 11.54%로 전체 순위에서 8위를 차지했으며, 사용자 긍정적 및 부정적 피드백 지표는 5.89%로 전체 순위에서 11위를 기록했습니다. Bash 명령어 실행 신뢰성 지표는 5.42%로 전체 순위에서 12위였습니다. 유도 가능성 지표는 2.46%로 전체 순위에서 13위를 차지했으며, 이 역시 오픈소스 모델 중 최고 순위에 해당합니다.
아레나의 순위표에 따르면, 해당 모델의 도구 환상 지수는 0.48%입니다. 이 지수는 모델이 가지고 있지 않은 도구를 만들어내는 상황을 측정하는 데 사용되며, 값이 낮을수록 그러한 문제가 적다는 의미입니다. 이 지수에 따라 해당 모델은 순위표에서 7위를 차지했습니다.
비용 측면에서 DeepSeek-V4.1-Flash-20261017 (Max)의 단일 작업 비용 중앙값은 약 0.18~0.19달러이며, 다양한 리스트 페이지에 표시된 데이터는 약간 다릅니다.
Arena는 동시에 이 모델을 성능과 비용 측면의 파레토 최적점에 포함시켰습니다. 이는 해당 평가에서 사용된 지표 하에서, 성능과 비용 양쪽 모두에서 다른 선정된 모델들보다 뛰어나지 못하는 모델 중 하나라는 의미입니다.
관련 읽기: