Mirendil hat veröffentlicht Fern, sein erstes KI-Modell. Mirendil Fern ist ein Coding-Modell, das von Grund auf entwickelt wurde und ein Kontextfenster von bis zu 10M Tokens besitzt. Mirendil erklärt, dass das etwa 23 MB Code entspricht, also rund eine halbe Million Zeilen. Das ist eine Codebasis in der Größenordnung von Megatron-LM, die auf einmal im Kontext gehalten wird. Fern 0.1 ist die erste Version, aufgebaut auf Mirendil-Base nach einer kurzen Runde Post-Training. Für Entwickler bedeutet das: Man lädt ein ganzes Repository, ein vollständiges Trainingslog oder Tage von Agent-Traces auf einmal.
TL;DR
- Größe: 0.1 bis 0.5T Parameter (genaue Anzahl und aktive Parameter nicht offengelegt); Kontext bis zu 10M Tokens.
- Läuft auf: Nur gehosteter Early Access; keine offenen Gewichte oder quantisierten Builds angekündigt.
- Leistung: Starker Langkontext-Abruf, mittleres Feld bei agentischem Programmieren im Vergleich zu Open-Weight-Modellen, deutlich hinter Frontier-Modellen.
- Beste Leistung: 100% bei RULER single-needle retrieval bei jeder Länge von 32K bis 10M Tokens (Basismodell).
- Schlechteste Leistung: 6.1% bei Terminal Bench 4.0, gegenüber 66.4% für Claude Opus 5.5 in Mirendils eigener Tabelle.
Was ist Mirendil Fern?
Fern ist ein Sprachmodell von Mirendil, einem KI-F&E-Labor.
Fern ist auf KI-F&E-Arbeit ausgerichtet, nicht auf allgemeinen Chat. Mirendil listet 6 Zielanwendungen auf:
- Arbeiten über größere Codebasen hinweg
- Agentisches Programmieren, das Befehle ausführt, bis Tests bestehen
- Forschungscode: Trainingsschleifen, Datenpipelines und Auswertungen
- Debugging von Trainingsläufen anhand langer Logs und Stack Traces
- Lesen vollständiger Agent- oder Trainings-Traces von Anfang bis Ende
- Auditing von Pretraining-Shards auf Duplikate, Kontamination und Datenmüll
Wie wurde Fern gebaut?
Fern basiert auf Mirendil-Base, die laut Mirendil ein Forscher in 3.5 Monaten vortrainiert hat. Die Gesamtrechenkosten lagen unter 10 Mio. $, einschließlich Experimente, Agent-Token-Kosten und Datenverarbeitung. KI-Agenten schrieben über 99 % des Codes. Der Forscher entschied, was ausprobiert wurde und wann eingegriffen wurde.
Die Trainingsdaten stammten ausschließlich aus öffentlichen Quellen: GitHub, öffentlicher Code, Webseiten und öffentliche Datensätze. Laut Mirendil wurde keine Destillation, keine synthetischen Daten und keine lizenzierten Daten verwendet. Der Code wurde von Grund auf mit PyTorch und JAX geschrieben.
Fern ist das kleinste von 3 geplanten Modellen. Mirendil-Base-Large (0.5 bis 2T Parameter) ist zu über 80 % durch das Pretraining. Mirendil-Base-XL (2 bis 10T) ist zu über 20 % durch.
Hilft längerer Kontext wirklich?
Mirendil testete die Next-Token-Vorhersage an seinen eigenen Repositories, die zu einem 42.9 MB großen Strom zusammengefügt wurden. Gemessen wurde die Cross-Entropie in Bits pro Byte, wobei niedriger besser ist. Die hier angegebenen Fenstergrößen sind in Bytes, nicht in Tokens gemessen.
Der Loss von Fern sank von 0.246 bei einem 32K-Byte-Fenster auf 0.155 bei 16M und 23M Bytes. Die anderen Modelle wurden bis zu etwa 1M Tokens bewertet, ihrer beworbenen Grenze. Bei einem 1M-Byte-Fenster erreichte Kimi-K3 0.140 und Fern 0.165. Fern ist also nicht der beste Prädiktor bei gleichem Kontext. Sein Vorteil ist, dass die Kurve über den Punkt hinaus weitergeht, an dem andere aufhören.
Wie schneidet Fern bei RULER ab?
RULER ist ein Standard-Benchmark für lange Kontexte. Mirendil führte 5 RULER-Aufgaben auf Mirendil-Base aus, dem Modell vor dem Post-Training. Es wurde Greedy-Decoding verwendet, mit ausgeschaltetem Thinking und exaktem Zeichenkettenabgleich.
| RULER-Aufgabe | 32K | 1M | 4M | 10M |
|---|---|---|---|---|
| Nadelsuche (Single needle) | 100 | 100 | 100 | 100 |
| Abruf mehrerer Schlüssel (Multi-key retrieval) | 100 | 98 | 98 | 90 |
| Mehrere Schlüssel, alle Nadeln (Multi-key, all needles) | 100 | 100 | 100 | 100 |
| Variables Tracking (Variable tracking) | 100 | 95 | 75 | 100 |
| Multi-Hop-QA (HotpotQA) | 65 | 65 | 60 | 45 |
Der Abruf hält gut stand. Das Multi-Hop-Reasoning sinkt bei 10M auf 45 %. Jede 10M-Zelle verwendet nur 20 Beispiele, im Gegensatz zu 100 an anderer Stelle. Mirendil sagt, umfassendere Langkontext-Ergebnisse kämen noch.
Wie schneidet Fern 0.1 bei agentischen Benchmarks ab?
Mirendil verglich Fern 0.1 mit Open-Weight- und Frontier-Modellen. Die Ergebnisse für andere Modelle stammen aus Modellkarten, Leaderboards oder Mirendils eigenen Läufen.
| Benchmark (Bestehensquote in %) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1 schlägt Inkling und Nemotron 3 Ultra bei 4 von 5 Tests. Es liegt bei SWE-Pro v2 Hard mit 76.5 gleichauf mit Beam. Bei SWE-Bench Verified liegt es hinter Beam zurück, 73.4 gegenüber 81.6. Jedes Frontier- und große Open-Modell in der Tabelle liegt vor ihm.
Wie schneidet Fern im Vergleich zu ähnlichen Modellen ab?
| Merkmal | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| Entwickler | Mirendil | Moonshot AI | Z.ai |
| Parameter insgesamt | 0.1 bis 0.5T | 2.8T | 753B |
| Aktive Parameter | Nicht offengelegt | 104B | ~40B |
| Kontext | Bis zu 10M Tokens | 1,048,576 Tokens | 1,048,576 Tokens |
| Eingabe | Text, Code | Text, Bild, Video | Text |
| Lizenz | Nicht offengelegt | Kimi K3 License | GLM-5.3 License |
| Gewichte | Nicht veröffentlicht | Offen | Offen |
| Zugang | Anfrage für Early Access | Offene Gewichte, APIs | Offene Gewichte, APIs |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| Bits pro Byte bei 1M Bytes* | 0.165 | 0.140 | 0.170 |
*Zahlen aus den Diagrammen von Mirendils Ankündigung.
Kernpunkte
- Fern 0.1 unterstützt bis zu 10M Tokens, etwa 23 MB Code.
- Bits pro Byte sinkt weiter auf 0,155 bei einem 23M-Byte-Fenster.
- RULER mit einzelner Nadel bleibt von 32K bis 10M Tokens bei 100 %.
- Agentic Coding hinkt hinterher: 6,1 % auf Terminal Bench 4.0.
- Base-Modell erstellt von 1 Forscher plus Agenten für unter 10 Mio. $.
Schauen Sie sich die Fern-Ankündigungan, den Mirendil-Base-Pretraining-Beitrag, und fordern Sie Early Accessan. Außerdem können Sie uns gerne auf Twitter folgen und vergessen Sie nicht, unserem 150k+ML SubReddit beizutreten und unseren Newsletterzu abonnieren. Moment! Sind Sie auf Telegram? jetzt können Sie uns auch auf Telegram beitreten.
Müssen Sie mit uns zusammenarbeiten, um Ihr GitHub-Repo ODER Ihre Hugging Face-Seite ODER ein Produkt-Release ODER ein Webinar usw. zu bewerben? Verbinden Sie sich mit uns
Der Beitrag Mirendil Launches Fern 0.1, Its First Model, With 10M-Token Context erschien zuerst auf MarkTechPost.