Mirendil ha lanzado Fern, su primer modelo de IA. Mirendil Fern es un modelo de codificación construido desde cero con una ventana de contexto de hasta 10M de tokens. Mirendil explica que eso equivale a unos 23 MB de código, o aproximadamente medio millón de líneas. Es una base de código a la escala de Megatron-LM, mantenida en contexto de una sola vez. Fern 0.1 es la primera versión, construida a partir de Mirendil-Base tras una breve ronda de post-entrenamiento. Para los desarrolladores, es como cargar un repositorio completo, un registro de entrenamiento íntegro o días de trazas de agentes de una sola vez.
TL;DR
- Tamaño: 0.1 a 0.5T de parámetros (recuento exacto y parámetros activos no revelados); contexto de hasta 10M de tokens.
- Se ejecuta en: Solo acceso anticipado alojado; no se han anunciado pesos abiertos ni versiones cuantizadas.
- Rendimiento: Fuerte recuperación en contexto largo, codificación agéntica de nivel medio frente a modelos de pesos abiertos, muy por detrás de los modelos frontera.
- Mejor: 100% en RULER single-needle retrieval en todas las longitudes desde 32K hasta 10M de tokens (modelo base).
- Peor: 6.1% en Terminal Bench 4.0, frente al 66.4% de Claude Opus 5.5 en la propia tabla de Mirendil.
¿Qué es Mirendil Fern?
Fern es un modelo de lenguaje de Mirendil, un laboratorio de I+D de IA.
Fern está orientado al trabajo de I+D de IA, no al chat general. Mirendil enumera 6 usos objetivo:
- Trabajar a través de bases de código más grandes
- Codificación agéntica que ejecuta comandos hasta que las pruebas pasan
- Código de investigación: bucles de entrenamiento, pipelines de datos y evaluaciones
- Depurar ejecuciones de entrenamiento a partir de registros largos y stack traces
- Leer trazas completas de agentes o de entrenamiento de principio a fin
- Auditar shards de preentrenamiento en busca de duplicados, contaminación y basura
¿Cómo se construyó Fern?
Fern se apoya en Mirendil-Base, que según Mirendil un investigador preentrenó en 3.5 meses. El cómputo total fue de menos de $10M, incluyendo experimentos, gasto en tokens de agentes y procesamiento de datos. Los agentes de IA escribieron más del 99% del código. El investigador elegía qué probar y cuándo intervenir.
Los datos de entrenamiento provenían únicamente de fuentes públicas: GitHub, código público, páginas web y conjuntos de datos públicos. Mirendil dice que no usó destilación, ni datos sintéticos, ni datos con licencia. El código fue escrito desde cero sobre PyTorch y JAX.
Fern es el más pequeño de los 3 modelos planificados. Mirendil-Base-Large (0.5 a 2T de parámetros) tiene más del 80% del preentrenamiento completado. Mirendil-Base-XL (2 a 10T) lleva más del 20%.
¿Ayuda realmente un contexto más largo?
Mirendil probó la predicción del siguiente token en sus propios repositorios, concatenados en un flujo de 42.9 MB. Midió la entropía cruzada en bits por byte, donde menor es mejor. Los tamaños de ventana aquí se miden en bytes, no en tokens.
La pérdida de Fern cayó de 0.246 con una ventana de 32K bytes a 0.155 con 16M y 23M bytes. Los otros modelos se evaluaron hasta unos 1M de tokens, su límite anunciado. Con una ventana de 1M bytes, Kimi-K3 obtuvo 0.140 y Fern 0.165. Así que Fern no es el mejor predictor con contexto igual. Su ventaja es que la curva sigue más allá de donde los demás se detienen.
¿Cómo puntúa Fern en RULER?
RULER es un benchmark estándar de contexto largo. Mirendil ejecutó 5 tareas de RULER sobre Mirendil-Base, el modelo previo al post-entrenamiento. Usó decodificación greedy, thinking desactivado y coincidencia exacta de cadenas.
| Tarea de RULER | 32K | 1M | 4M | 10M |
|---|---|---|---|---|
| Una sola aguja | 100 | 100 | 100 | 100 |
| Recuperación con múltiples claves | 100 | 98 | 98 | 90 |
| Múltiples claves, todas las agujas | 100 | 100 | 100 | 100 |
| Seguimiento variable | 100 | 95 | 75 | 100 |
| QA de múltiples saltos (HotpotQA) | 65 | 65 | 60 | 45 |
La recuperación se mantiene bien. El razonamiento de múltiples saltos cae al 45 % en 10M. Cada celda de 10M usa solo 20 ejemplos, frente a 100 en el resto. Mirendil dice que se vienen resultados más amplios de contexto largo.
¿Cómo rinde Fern 0.1 en benchmarks agénticos?
Mirendil comparó Fern 0.1 con modelos de pesos abiertos y de frontera. Las puntuaciones de otros modelos provienen de fichas de modelo, tablas de clasificación o de las propias ejecuciones de Mirendil.
| Benchmark (aprobación %) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 supera a Inkling y Nemotron 3 Ultra en 4 de 5 pruebas. Empata con Beam en SWE-Pro v2 Hard con 76.5. Queda por detrás de Beam en SWE-Bench Verified, 73.4 frente a 81.6. Todos los modelos de frontera y grandes modelos abiertos de la tabla lo superan.
¿Cómo se compara Fern con modelos similares?
| Característica | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Desarrollador | Mirendil | Moonshot AI | Z.ai |
| Parámetros totales | 0.1 a 0.5T | 2.8T | 753B |
| Parámetros activos | No revelado | 104B | ~40B |
| Contexto | Hasta 10M tokens | 1,048,576 tokens | 1,048,576 tokens |
| Entrada | Texto, código | Texto, imagen, video | Texto |
| Licencia | No revelada | Kimi K3 License | GLM-5.3 License |
| Pesos | No publicados | Abiertos | Abiertos |
| Acceso | Solicitud de acceso anticipado | Pesos abiertos, APIs | Pesos abiertos, APIs |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Bits por byte a 1M bytes* | 0.165 | 0.140 | 0.170 |
*Cifras de los gráficos del anuncio de Mirendil.
Conclusiones clave
- Fern 0.1 admite hasta 10M tokens, unos 23 MB de código.
- Bits por byte sigue cayendo hasta 0.155 en una ventana de 23M bytes.
- RULER de una sola aguja se mantiene en 100% de 32K a 10M tokens.
- La codificación agéntica se queda atrás: 6.1% en Terminal Bench 4.0.
- Modelo base construido por 1 investigador más agentes por menos de $10M.
Echa un vistazo al anuncio de Fern, la publicación de preentrenamiento de Mirendil-Base, y solicita acceso anticipado. Además, no dudes en seguirnos en Twitter y no olvides unirte a nuestro 150k+ML SubReddit y suscribirte a nuestro Newsletter. ¡Espera! ¿estás en telegram? ahora también puedes unirte a nosotros en telegram.
¿Necesitas asociarte con nosotros para promocionar tu Repositorio de GitHub O Página de Hugging Face O Lanzamiento de Producto O Webinar, etc.? Conéctate con nosotros
La publicación Mirendil Lanza Fern 0.1, Su Primer Modelo, Con Contexto de 10M de Tokens apareció primero en MarkTechPost.