Mirendil a publié Fern, son premier modèle d’IA. Mirendil Fern est un modèle de codage from scratch avec une fenêtre de contexte allant jusqu’à 10M de tokens. Mirendil explique que cela équivaut à environ 23 MB de code, soit à peu près un demi-million de lignes. C’est une base de code à l’échelle de Megatron-LM, maintenue en contexte d’un seul tenant. Fern 0.1 est la première version, construite à partir de Mirendil-Base après une courte phase de post-training. Pour les développeurs, c’est comme si vous chargiez d’un coup un dépôt entier, un journal d’entraînement complet ou des jours de traces d’agents.
TL;DR
- Taille : 0.1 à 0.5T de paramètres (nombre exact et paramètres actifs non divulgués) ; contexte jusqu’à 10M de tokens.
- Fonctionne sur : Accès anticipé hébergé uniquement ; aucun poids ouvert ni build quantisé annoncé.
- Performance : Forte récupération en contexte long, codage agentique dans la moyenne face aux modèles à poids ouverts, bien derrière les modèles de frontière.
- Meilleur : 100% sur la récupération RULER single-needle à toutes les longueurs de 32K à 10M de tokens (modèle de base).
- Pire : 6.1% sur Terminal Bench 4.0, contre 66.4% pour Claude Opus 5.5 dans le propre tableau de Mirendil.
Qu’est-ce que Mirendil Fern ?
Fern est un modèle de langage de Mirendil, un laboratoire de R&D en IA.
Fern est destiné aux travaux de R&D en IA, pas au chat généraliste. Mirendil liste 6 usages cibles :
- Travailler sur des bases de code plus vastes
- Codage agentique qui exécute des commandes jusqu’à ce que les tests passent
- Code de recherche : boucles d’entraînement, pipelines de données et évaluations
- Déboguer des runs d’entraînement à partir de longs journaux et stack traces
- Lire des traces complètes d’agents ou d’entraînement de bout en bout
- Auditer des shards de pré-entraînement pour détecter doublons, contamination et données indésirables
Comment Fern a-t-il été construit ?
Fern repose sur Mirendil-Base, ce que Mirendil dit qu'un chercheur a pré-entraîné en 3,5 mois. Le coût total de calcul était inférieur à 10 M$, expériences, dépenses en tokens d'agents et traitement des données inclus. Des agents d'IA ont écrit plus de 99 % du code. Le chercheur choisissait quoi essayer et quand intervenir.
Les données d'entraînement provenaient uniquement de sources publiques : GitHub, code public, pages web et jeux de données publics. Mirendil affirme n'avoir utilisé ni distillation, ni données synthétiques, ni données sous licence. Le code a été écrit from scratch sur PyTorch et JAX.
Fern est le plus petit des 3 modèles prévus. Mirendil-Base-Large (0.5 à 2T de paramètres) a dépassé 80 % du préentraînement. Mirendil-Base-XL (2 à 10T) a dépassé 20 %.
Un contexte plus long aide-t-il vraiment ?
Mirendil a testé la prédiction du prochain token sur ses propres dépôts, concaténés en un flux de 42.9 Mo. Il a mesuré l'entropie croisée en bits par octet, où plus bas est meilleur. Les tailles de fenêtre ici sont mesurées en octets, pas en tokens.
La perte de Fern est passée de 0.246 avec une fenêtre de 32K octets à 0.155 à 16M et 23M octets. Les autres modèles ont été évalués jusqu'à environ 1M tokens, leur limite annoncée. Avec une fenêtre de 1M octets, Kimi-K3 a obtenu 0.140 et Fern 0.165. Fern n'est donc pas le meilleur prédicur à contexte égal. Son avantage est que la courbe continue là où les autres s'arrêtent.
Comment Fern se classe-t-il sur RULER ?
RULER est un benchmark standard de long contexte. Mirendil a exécuté 5 tâches RULER sur Mirendil-Base, le modèle avant post-entraînement. Il a utilisé un décodage glouton, la réflexion désactivée et une correspondance exacte de chaînes.
| Tâche RULER | 32K | 1M | 4M | 10M |
|---|---|---|---|---|
| Aiguille unique | 100 | 100 | 100 | 100 |
| Récupération multi-clés | 100 | 98 | 98 | 90 |
| Multi-clés, toutes les aiguilles | 100 | 100 | 100 | 100 |
| Suivi variable | 100 | 95 | 75 | 100 |
| QA multi-sauts (HotpotQA) | 65 | 65 | 60 | 45 |
La récupération tient bien. Le raisonnement multi-sauts chute à 45 % à 10M. Chaque cellule de 10M n'utilise que 20 exemples, contre 100 ailleurs. Mirendil annonce des résultats plus larges en contexte long à venir.
Comment Fern 0.1 se comporte-t-il sur les benchmarks agentiques ?
Mirendil a comparé Fern 0.1 avec des modèles à poids ouverts et des modèles de pointe. Les scores des autres modèles proviennent des model cards, des classements ou des exécutions de Mirendil lui-même.
| Benchmark (réussite en %) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 bat Inkling et Nemotron 3 Ultra sur 4 des 5 tests. Il égale Beam sur SWE-Pro v2 Hard à 76,5. Il est devancé par Beam sur SWE-Bench Verified, 73,4 contre 81,6. Chaque modèle de pointe et grand modèle ouvert du tableau le dépasse.
Comment Fern se compare-t-il aux modèles similaires ?
| Caractéristique | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Développeur | Mirendil | Moonshot AI | Z.ai |
| Paramètres totaux | 0,1 à 0,5T | 2,8T | 753B |
| Paramètres actifs | Non divulgué | 104B | ~40B |
| Contexte | Jusqu'à 10M tokens | 1,048,576 tokens | 1,048,576 tokens |
| Entrée | Texte, code | Texte, image, vidéo | Texte |
| Licence | Non divulguée | Licence Kimi K3 | Licence GLM-5.3 |
| Poids | Non publiés | Ouverts | Ouverts |
| Accès | Demande d'accès anticipé | Poids ouverts, API | Poids ouverts, API |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Bits par octet à 1M octets* | 0.165 | 0.140 | 0.170 |
*Chiffres issus des graphiques de l'annonce de Mirendil.
Points clés à retenir
- Fern 0.1 prend en charge jusqu'à 10M tokens, soit environ 23 MB de code.
- Les bits par octet continuent de baisser jusqu'à 0.155 avec une fenêtre de 23M octets.
- RULER single needle reste à 100% de 32K à 10M tokens.
- Le codage agentique est à la traîne : 6.1 % sur Terminal Bench 4.0.
- Un modèle de base construit par 1 chercheur plus des agents pour moins de 10 M$.
Découvrez l' annonce de Fern, l' article sur le pré-entraînement de Mirendil-Base, et demandez un accès anticipé. Par ailleurs, n'hésitez pas à nous suivre sur Twitter et n'oubliez pas de rejoindre notre SubReddit ML de plus de 150k membres et de vous abonner à notre Newsletter. Attendez ! êtes-vous sur telegram ? vous pouvez désormais nous rejoindre sur telegram également.
Besoin de vous associer à nous pour promouvoir votre dépôt GitHub OU votre page Hugging Face OU le lancement d'un produit OU un webinar, etc. ? Contactez-nous
L'article Mirendil lance Fern 0.1, son premier modèle, avec un contexte de 10 M de tokens est apparu en premier sur MarkTechPost.