Mirendil이 출시한 Fern, 첫 번째 AI 모델입니다. Mirendil Fern은 최대 10M 토큰의 컨텍스트 윈도우를 갖춘 스크래치부터 개발된 코딩 모델입니다. Mirendil은 이것이 약 23 MB의 코드, 즉 대략 500,000줄에 해당한다고 설명합니다. 이는 Megatron-LM 규모의 코드베이스를 한 번에 컨텍스트 안에 담는 것입니다. Fern 0.1은 첫 번째 버전으로, Mirendil-Base를 짧은 포스트 트레이닝 과정을 거쳐 만들어졌습니다. 개발자 입장에서는 전체 리포지토리, 전체 학습 로그, 또는 며칠치의 에이전트 트레이스를 한 번에 로드하는 것과 같습니다.
TL;DR
- 크기: 0.1T에서 0.5T 파라미터(정확한 개수와 활성 파라미터는 미공개); 컨텍스트 최대 10M 토큰.
- 실행 방식: 호스티드 얼리 액세스만 제공; 오픈 웨이트나 양자화 빌드는 발표되지 않음.
- 성능: 강력한 장기 컨텍스트 검색, 오픈 웨이트 모델 대비 중위권 에이전틱 코딩, 프론티어 모델에는 크게 뒤짐.
- 최고: 32K부터 10M 토큰까지 모든 길이에서 RULER single-needle 검색 100% (베이스 모델).
- 최악: Terminal Bench 4.0에서 6.1%, Mirendil 자체 표에서 Claude Opus 5.5는 66.4%.
Mirendil Fern이란?
Fern은 AI R&D 연구소인 Mirendil의 언어 모델입니다.
Fern은 일반 채팅이 아닌 AI R&D 작업을 겨냥합니다. Mirendil은 6가지 대상 용도를 제시합니다:
- 더 큰 코드베이스에서 작업하기
- 테스트가 통과될 때까지 명령을 실행하는 에이전틱 코딩
- 연구 코드: 학습 루프, 데이터 파이프라인 및 평가
- 긴 로그와 스택 트레이스에서 학습 실행 디버깅
- 전체 에이전트 또는 학습 트레이스를 끝까지 읽기
- 사전학습 샤드에서 중복, 오염 및 불필요한 데이터 감사
Fern은 어떻게 만들어졌나?
Fern은 Mirendil-BaseMirendil에 따르면 한 연구자가 3.5개월 만에 사전학습을 마친 모델입니다. 실험, 에이전트 토큰 비용, 데이터 처리를 포함한 총 컴퓨트 비용은 $10M 미만이었습니다. AI 에이전트가 코드의 99% 이상을 작성했습니다. 무엇을 시도할지, 언제 개입할지는 연구자가 선택했습니다.
학습 데이터는 공개 소스에서만 수집되었습니다: GitHub, 공개 코드, 웹 페이지, 공개 데이터셋. Mirendil은 증류(distillation), 합성 데이터, 라이선스 데이터를 전혀 사용하지 않았다고 말했습니다. 코드는 PyTorch와 JAX로 처음부터 새로 작성되었습니다.
Fern은 계획된 3개 모델 중 가장 작은 모델입니다. Mirendil-Base-Large (0.5 to 2T parameters)는 사전학습이 80% 이상 진행되었습니다. Mirendil-Base-XL (2 to 10T)은 20% 이상 진행되었습니다.
더 긴 컨텍스트가 실제로 도움이 될까?
Mirendil은 자사 저장소들을 대상으로 다음 토큰 예측을 테스트했으며, 이를 42.9 MB 스트림으로 이어 붙였습니다. 바이트당 비트 단위로 교차 엔트로피를 측정했으며, 낮을수록 좋습니다. 여기서 창 크기는 토큰이 아닌 바이트로 측정됩니다.
Fern의 손실은 32K 바이트 창에서 0.246이었으나, 16M 및 23M 바이트에서 0.155로 떨어졌습니다. 다른 모델들은 광고된 한계인 약 1M 토큰까지 평가되었습니다. 1M 바이트 창에서 Kimi-K3는 0.140, Fern은 0.165를 기록했습니다. 따라서 동일한 컨텍스트에서 Fern이 가장 좋은 예측기는 아닙니다. Fern의 장점은 다른 모델들이 멈추는 지점을 넘어서도 곡선이 계속 이어진다는 것입니다.
Fern은 RULER에서 어떤 점수를 받았을까?
RULER 은 표준 장문 컨텍스트 벤치마크입니다. Mirendil은 사전학습 및 사후학습 이전 모델인 Mirendil-Base에서 5개의 RULER 작업을 실행했습니다. 그리디 디코딩을 사용했고, thinking은 끄고 정확한 문자열 일치를 사용했습니다.
| RULER 작업 | 32K | 1M | 4M | 10M |
|---|---|---|---|---|
| 단일 바늘 | 100 | 100 | 100 | 100 |
| 멀티 키 검색 | 100 | 98 | 98 | 90 |
| 멀티 키, 모든 바늘 | 100 | 100 | 100 | 100 |
| 가변 추적 | 100 | 95 | 75 | 100 |
| 멀티홉 QA (HotpotQA) | 65 | 65 | 60 | 45 |
검색 성능은 잘 유지됩니다. 멀티홉 추론은 10M에서 45%로 떨어집니다. 각 10M 셀은 다른 곳의 100개와 달리 20개의 예시만 사용합니다. Mirendil은 더 폭넓은 롱컨텍스트 결과가 곧 나올 것이라고 말했습니다.
Fern 0.1은 에이전트 벤치마크에서 어떤 성능을 보일까요?
Mirendil은 Fern 0.1을 오픈 웨이트 모델 및 프론티어 모델과 비교했습니다. 다른 모델의 점수는 모델 카드, 리더보드 또는 Mirendil의 자체 실행 결과에서 가져왔습니다.
| 벤치마크 (통과 %) | Fern 0.1 | Kimi-K3 | GLM-5.3 | Claude Opus 5.5 |
|---|---|---|---|---|
| DeepSWE v1.1 | 44.2 | 67.3 | 66.9 | 74.2 |
| Terminal Bench 4.0 | 6.1 | 12.6 | 41.9 | 66.4 |
| SWE Atlas QnA | 53.2 | 66.1 | 59.4 | 66.4 |
| SWE-Pro v2 Hard | 76.5 | 88.2 | 84.3 | 100.0 |
| SWE-Bench Verified | 73.4 | 93.4 | 95.4 | 98.2 |
Fern 0.1은 5개 테스트 중 4개에서 Inkling과 Nemotron 3 Ultra를 앞섭니다. SWE-Pro v2 Hard에서는 Beam과 76.5로 동률을 이룹니다. SWE-Bench Verified에서는 Beam에 73.4 대 81.6으로 뒤집니다. 표에 있는 모든 프론티어 및 대형 오픈 모델이 이를 앞섭니다.
Fern은 유사한 모델과 비교하면 어떤가요?
| 특성 | Fern 0.1 | Kimi-K3 | GLM-5.3 |
|---|---|---|---|
| 개발사 | Mirendil | Moonshot AI | Z.ai |
| 전체 파라미터 | 0.1T에서 0.5T | 2.8T | 753B |
| 활성 파라미터 | 미공개 | 104B | ~40B |
| 컨텍스트 | 최대 10M 토큰 | 1,048,576 토큰 | 1,048,576 토큰 |
| 입력 | 텍스트, 코드 | 텍스트, 이미지, 비디오 | 텍스트 |
| 라이선스 | 미공개 | Kimi K3 License | GLM-5.3 License |
| 가중치 | 미공개 | 오픈 | 오픈 |
| 접근 | 얼리 액세스 신청 | 오픈 가중치, API | 오픈 가중치, API |
| SWE-Bench Verified* | 73.4 | 93.4 | 95.4 |
| 1M 바이트당 비트(1M bytes 기준)* | 0.165 | 0.140 | 0.170 |
*수치는 Mirendil의 발표 차트에서 가져왔습니다.
핵심 요약
- Fern 0.1은 최대 10M 토큰, 약 23 MB의 코드를 지원합니다.
- 바이트당 비트 수는 23M 바이트 윈도우에서 0.155까지 계속 떨어집니다.
- RULER 단일 바늘 테스트는 32K부터 10M 토큰까지 100%를 유지합니다.
- 에이전틱 코딩은 뒤처짐: Terminal Bench 4.0에서 6.1%.
- 1명의 연구원과 에이전트들이 10M 달러 미만의 비용으로 구축한 베이스 모델입니다.
다음을 확인해 보세요: Fern 발표, 그리고 Mirendil-Base 사전학습 포스트, 그리고 얼리 액세스를 요청하세요. 또한, 저희를 Twitter 에서 팔로우하고, 저희의 150k+ML SubReddit 에 가입하고 저희 뉴스레터를 구독하는 것도 잊지 마세요. 잠깐! 텔레그램을 사용하고 계신가요? 이제 텔레그램에서도 저희와 함께하실 수 있습니다.
GitHub Repo, Hugging Face Page, 제품 출시, 웨비나 등을 홍보하기 위해 저희와 파트너십이 필요하신가요? 저희에게 연락하세요
이 포스트 Mirendil Launches Fern 0.1, Its First Model, With 10M-Token Context 는 다음에서 처음 게시되었습니다: MarkTechPost.