IT之家 le 9 octobre : le 8 (heure locale), la plateforme d'évaluation de modèles IA Arena a annoncé avoir bouclé une levée de fonds de série B de 200 millions de dollars (note IT之家 : environ 1,343 milliard de yuans au taux de change actuel),atteignant une valorisation de 3,1 milliards de dollars(environ 20,817 milliards de yuans au taux de change actuel). Arena était initialement un projet de recherche de l'Université de Californie à Berkeley en 2023, classant les modèles IA par vote du public.
Arena avait auparavant révélé qu'en juin de cette année, son chiffre d'affaires annualisé avait atteint 100 millions de dollars (environ 672 millions de yuans au taux de change actuel).
Ce tour de financement a été co-dirigé par Lightspeed Venture Partners et Khosla Ventures, avec la participation de Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis et d'autres institutions.
En janvier de cette année, Arena avait réalisé une levée de série A de 150 millions de dollars (environ 1,007 milliard de yuans au taux de change actuel),avec une valorisation post-money de 1,7 milliard de dollars(environ 11,416 milliards de yuans au taux de change actuel), et son chiffre d'affaires annualisé était alors de 30 millions de dollars (environ 201 millions de yuans au taux de change actuel). En à peine environ 10 mois, la valorisation d'Arena a presque doublé.
La plateforme d'évaluation d'Arenaest gratuitement ouverte aux utilisateurs particuliers. Les utilisateurs peuvent saisir des instructions, ou demander à l'IA d'écrire des programmes ou de développer des projets selon leurs exigences, puis comparer les résultats des différents modèles et les noter. Arena affirme que la plateforme attire des dizaines de millions de visiteurs chaque mois.
En septembre de l'année dernière, Arena a lancé AI Evaluations, un service commercial destiné aux organismes de recherche et développement en IA et aux entreprises, qui utilise les données de retours des utilisateurs de la communauté pour fournir des analyses détaillées des performances des modèles.
Cette année, les organismes de R&D en IA ont découvert que leurs modèles pouvaient obtenir des scores élevés ens'adaptant aux règles des tests de référence, sans nécessairement posséder les capacités réelles correspondantes. Les entreprises ne se contentent plus des résultats de tests standardisés et souhaitent savoir quel modèle convient le mieux à leurs besoins commerciaux.
Arena a indiqué dans son annonce de financement : « Le développement de l'IA a dépassé notre capacité d'évaluation. Dès qu'un modèle détecte qu'il est en train d'être testé, les tests de référence fixes perdent leur efficacité. Le monde a besoin d'un tiers neutre pour vérifier si l'IA est sûre dans son utilisation réelle et si son comportement correspond aux attentes humaines. Arena commence à assumer ce rôle. »
À cette fin, Arena a ajouté à son classementune évaluation des capacités d'alignement, examinant notamment si les modèles exécutent de leur propre initiative des actions non demandées par l'utilisateur, s'ils attribuent des propos ou des faits à de mauvaises sources, et s'ils prétendent faussement avoir accompli une tâche. Arena appelle ce dernier comportement « accomplissement trompeur ».
Dans le classement préliminaire des capacités d'alignement, plusieurs modèles d'OpenAI figurent en tête, Claude Opus 5.5 est sixième et Claude Fable neuvième.