Baidu vient de publier ERNIE Evolve, un système de recherche automatisée qui améliore le code d'entraînement et d'inférence des IA. À partir d'un dépôt, d'un objectif et de critères d'évaluation, il choisit des directions de recherche, modifie le code et exécute des expériences. Seuls les changements qui passent un évaluateur masqué et un relecteur séparé sont conservés. L'équipe de Baidu a testé le système de recherche automatisée ERNIE Evolve sur trois benchmarks publics. Il a ensuite optimisé l'inférence d'ERNIE-5.5-Flash, encore en développement.
TL;DR
- Taille : C'est un système d'agents ; Baidu n'a pas divulgué quels LLM alimentent ses agents.
- Fonctionne sur : Les benchmarks ont utilisé 1 NVIDIA B200 (NanoChat, SOL-ExecBench) et 8×H100 (Speedrun Track 1). Les tests en production ont été exécutés sur Kunlunxin P800 et des GPU (modèle de GPU non divulgué).
- Performance : A battu le meilleur résultat public sur 3 des 4 métriques publiques, et a franchi les vérifications de production sur ERNIE-5.5-Flash.
- Meilleur : La vitesse de génération sur Kunlunxin P800 a atteint 623.6 % de la ligne de base après 4 tours de recherche.
- Pire : Un SOL moyen de 0.819 sur SOL-ExecBench, derrière le meilleur score de 0.827 du classement.
- Bilan (meilleur) : Gains réels d'inférence en production : +33.7 % de débit déterministe, +14.9 % de vitesse de décodage.
- Bilan (pire) : Auto-déclaré, système non publié, et marges sur les benchmarks publics faibles.
Qu'est-ce qu'ERNIE Evolve ?
ERNIE Evolve est un système de recherche automatisée de Baidu qui optimise du code par rapport à un objectif fixe et mesurable. Baidu l'a annoncé sur X comme une étape pratique vers l'auto-amélioration récursive (RSI). Dans la RSI, les systèmes d'IA améliorent le logiciel qui construit et sert l'IA.
Comment fonctionne ERNIE Evolve ?
Le système exécute 2 boucles imbriquées. La boucle externe décide de ce qu'il faut examiner. La boucle interne développe et teste des améliorations dans chaque direction.
- Director : choisit la prochaine direction de recherche et une version de code de départ. Il lit une Experience Bank de résultats passés et une Knowledge Base d'articles et de code.
- Selector : choisit un candidat dans l'arbre d'une voie et nomme la prochaine hypothèse à tester.
- Executor : applique ce plan dans un environnement isolé.
- Évaluateur : un programme fixe conservé en dehors du dépôt. Aucun agent ne peut le voir. Les gains doivent dépasser le seuil de bruit.
- Relecteur : vérifie si un changement suit la direction prévue ou exploite une faille de l'évaluation.
Plusieurs pistes de recherche sont menées en parallèle, chacune avec son propre arbre de versions de code. Les expériences échouées sont enregistrées, afin que les tours suivants puissent éviter de les répéter.
Quel score ERNIE Evolve a-t-il obtenu sur les benchmarks publics ?
Baidu a exécuté la même boucle sur NanoChat AutoResearch, NanoGPT Speedrun et SOL-ExecBench.
- NanoChat AutoResearch : 0.8763 de BPB de validation dans un budget de 5 minutes sur un seul GPU. Il a ajouté une branche n-gramme et une branche de récupération de documents à côté du réseau, mélangées par une porte apprise.
- NanoGPT Speedrun Piste 1 : 38,9 s pour atteindre la perte cible sur 8×H100, contre le record de 39,9 s. Le dépôt de résultats indique 38,92 s sur 18 exécutions.
- NanoGPT Speedrun Piste 3 : 2 590 étapes, contre 2 690. Il a décomposé les poids en direction et magnitude, puis ajouté une extrapolation EMA-Nesterov.
- SOL-ExecBench : 0,819 de SOL moyen sur 235 problèmes de kernels sur B200, en deçà du leader à 0,827.
ERNIE Evolve face aux autres systèmes de recherche automatisée
| Métriques | ERNIE Evolve (Baidu) | Récursif | Hyra-1.0 (Tencent Hunyuan) | (auto)²-research (rekursiv.ai) |
|---|---|---|---|---|
| NanoChat val BPB ↓ | 0.8763 | 0.9109 | 0.9015 | 0.8878 |
| Speedrun Piste 1 ↓ | 38,9 s | 77,5 s | 76,4 s | Non rapporté |
| Speedrun Piste 3 ↓ | 2,590 étapes | Non rapporté | Non rapporté | Non rapporté |
| SOL-ExecBench, auto-rapporté ↑ | 0.819 | 0.754 | 0.771 | Non rapporté |
| SOL-ExecBench, selon Baidu (Eval Stack v1.1) ↑ | 0.819 | 0.676 | 0.736 | Non rapporté |
| Utilisation en production rapportée | Inférence ERNIE-5.5-Flash | Non divulgué | Tâches scientifiques (mathématiques, molécules) | Non divulgué |
| Ce qui est publié | Code final + journaux | Artefacts d'exécution | Dépôt de résultats | Recette + outils de harnais |
Les temps Speedrun de Recursive et Hyra-1.0 ont été établis face à l'ancien record d'environ 79,7 s, ils ne sont donc pas comparables. Auto-rapport SOL de Hyra via Couverture de Tencent.
Qu'a fait ERNIE Evolve pour l'inférence ERNIE-5.5-Flash ?
L'équipe de Baidu a ensuite appliqué le système à 3 tâches d'ingénierie réelles sur ERNIE-5.5-Flash. Les lignes de base avaient déjà été ajustées par les ingénieurs.
- Faible latence sur Kunlunxin P800 : la vitesse de génération est montée à 623.6% de la ligne de base sur 4 tours. Le tour 1 a activé le mHC fusionné et le décodage spéculatif via la couche de prédiction multi-token du modèle (282.9%). Le tour 2 a réduit la surcharge côté hôte (588.8%). Le tour 4 a corrigé le dispatch afin que le chemin à faible latence de DeepEP soit activé.
- Inférence déterministe pour le RL : sous le mode déterministe de SGLang, le débit a augmenté de 33.7% en environ 3 jours. Le temps par token de sortie a diminué de 26% et le temps jusqu'au premier token a diminué de 12%. Un noyau Triton pour l'échantillonnage déterministe, qui utilisait environ 14% du temps GPU, a apporté le plus grand gain individuel.
- Décodage en une seule requête sur GPU : la vitesse a augmenté de 14.9 % avec une précision inchangée. 3 des 7 directions de recherche ont produit des gains. Changements clés : instructions FP16 pour de petites multiplications matricielles FP8 et un ordonnanceur d'experts MoE à 2 niveaux.
Points clés
- Deux boucles imbriquées : un Director choisit les directions, des lanes font évoluer des arbres de code.
- Un Evaluator caché plus un Reviewer protègent contre le reward hacking.
- Des victoires publiques sur NanoChat (0.8763 BPB) et Speedrun (38.9 s, 2,590 étapes).
- ERNIE-5.5-Flash : 623.6 % de vitesse sur Kunlunxin P800, +33.7 % de débit déterministe.
- Le système reste fermé ; seuls les résultats et les journaux sont sur GitHub.
Découvrez le billet de recherche ERNIE Evolve et le dépôt de résultats sur GitHub. N'hésitez pas également à nous suivre sur Twitter et n'oubliez pas de rejoindre notre 150k+ML SubReddit ainsi que de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez maintenant nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU un lancement de produit OU un webinaire, etc. ? Contactez-nous
L'article Le système de recherche automatisée ERNIE Evolve de Baidu bat les records de NanoChat et NanoGPT est apparu en premier sur MarkTechPost.