Mistral Large 4 (별칭 Le Chonk)는 Mistral의 멀티모달, 다국어, Mixture-of-Experts(MoE) 모델입니다. 텍스트와 이미지를 입력으로 받아 텍스트를 생성합니다. 약 총 1T, 활성 파라미터 49B, 그리고 컨텍스트 윈도우는 1M 토큰.
이 모델은 두 가지 공식 변형으로 출시됩니다:
또한 GGUF들도 있습니다. 이는 Unsloth 와 llama.cpp 팀에 의해 생성되었습니다. 이 모델은 Mistral Ecosystem Open-Weight License(모델-as-a-service 제공에 대한 제한을 규정하는 MIT 파생 라이선스)에 따라 배포됩니다.
Mistral Large 4는 특히 사이버보안, 코딩 에이전트, 멀티모달리티 분야에서 강력합니다. 이 글에서는 이 모델의 작동 방식, 기능, 아키텍처 등을 살펴봅니다!
목차
Mistral Large 4의 새로운 점
Mistral Large 4 는 방대한 전문가 풀과 희소 어텐션(sparse attention), 그리고 Pixtral 비전 인코더를 결합합니다. 언어 모델은 각 토큰마다 소수의 전문가 그룹을 선택하고, 어텐션 인덱서는 주목할 이전 토큰 위치를 선택합니다. 이는 두 가지 서로 다른 형태의 희소성으로, 하나는 피드포워드 네트워크를 선택하고 다른 하나는 문맥 위치를 선택합니다.
모든 체크포인트는 Mistral Large 4 컬렉션.
사이버 보안 역량
Mistral Large 4는 오픈소스 소프트웨어의 실제 취약점을 재현한 뒤 해당 소프트웨어를 패치하도록 모델에 요구하는 Artificial Analysis Cyber Index 테스트에서 82%를 기록했습니다. Mistral에 따르면 여러 폐쇄형 프론티어 모델들은 해당 작업 수행을 거부하기 때문에 동일한 테스트에서 거의 0점에 머무릅니다. 취약점 수정에는 보통 취약점 재현이 필요하기 때문에 이는 방어자에게 매우 중요합니다. Mistral의 내부 테스트에서 Mistral Large 4는 모델이 명시적으로 학습되지 않은 작업인 멀웨어 분석, 취약점 우선순위 지정 및 탐지 규칙 작성에도 유용했습니다.
Mistral은 주로 이 모델을 방어적 보안 작업용으로 포지셔닝합니다. 취약점 연구와 사고 대응은 모델 입력에서 공격처럼 보이는 경우가 많아, 폐쇄형 소스의 필터가 이를 차단할 수 있습니다. API에 의존하는 팀은 사고 처리 도중에 접근 권한을 잃을 수도 있습니다. 중요한 것은, 오픈 웨이트 모델은 사용 정책과 배포를 모두 사용자의 통제하에 둔다는 점입니다. 다만 이 모델 역시 유해한 요청은 거부합니다. JailbreakBench, StrongREJECT 및 AgentHarm의 사이버 프롬프트에서 그 평균 거부율은 다른 어떤 오픈 웨이트 모델보다 높습니다.
커뮤니티 빌더들에게 Mistral Large 4와 같은 오픈 웨이트 모델은 수많은 다운스트림 활용 사례를 열어줍니다. 코드베이스, 크래시 로그, 멀웨어 샘플을 기반으로 자체적인 사이버 시스템을 구축할 수 있습니다. 예를 들어, TRL을 사용하면 미세 조정(fine-tune)할 수 있습니다 코드베이스 패치 과정을 추적하는 Mistral Large 4의 더 작은 모델들. 실제로 재현 후 패치(reproduce-then-patch) 작업은 검증 가능한 보상을 사용하므로, 더 작은 보안 모델에 대한 RL을 강화하는 데 쓰일 수 있는 RL 환경과 잘 맞습니다. 또한 공개 가중치는 연구자들이 제공자의 설명에 의존하는 대신 모델의 거부(refusal) 행동을 직접 측정할 수 있게 해줍니다.
요컨대, ML4와 같은 사이버 역량이 공개되어 있는 것은 커뮤니티에 큰 도움이 됩니다.
우리는 Pierre Stock과 해당 모델의 사이버 역량에 대해 인터뷰를 진행했습니다, 여기서 보실 수 있습니다.
아키텍처
Mistral Large 4의 텍스트 디코더는 72개의 레이어, 6,144의 은닉 차원, 64개의 어텐션 헤드를 갖습니다. 이 모델의 어텐션 블록은 Multi-head Latent Attention(MLA)과 DeepSeek Sparse Attention(DSA) 인덱서(GLM 5.3 등 다른 모델에서도 추구하는 방향)를 결합합니다. MLA는 압축된 KV 표현을 유지하며, DSA는 각 쿼리에 대해 최대 2,048개의 키 위치를 선택합니다.
각 디코더 블록마다 RoPE 대 NoPE가 3:1 패턴을 이루는데, 즉 3개의 디코더 레이어는 RoPE를 사용하고 네 번째마다 하나의 레이어는 NoPE를 사용합니다. 또한 이 모델은 레이어 전반에 걸쳐 KV 상태를 공유합니다.
첫 번째 디코더 레이어는 dense feed-forward 네트워크를 사용합니다. 나머지 71개 레이어는 MoE 블록을 사용하며, 이 블록에서는 softmax 라우터가 각 토큰마다 128개의 전문가(expert) 중 4개를 선택합니다. 하나의 공유 전문가가 항상 선택된 전문가들과 함께 실행되어 토큰당 총 5개의 활성 전문가가 됩니다.
RoPE와 관련하여 Mistral은 사용합니다 LeRope, 주파수별로 하나의 학습된 배율을 갖는 YaRN 스케일링된 RoPE입니다.
비전 인코더
Mistral Large 4는 1.6B Pixtral 인코더를 사용합니다. Pixtral은 30개의 레이어, 2,048의 히든 차원, 16개의 어텐션 헤드를 갖추고 있습니다. 14 × 14 패치를 사용하며, 공간 병합 크기가 2인 패치 병합 프로젝터를 활용합니다. 아래에서 인코더 파이프라인을 확인할 수 있습니다.
벤치마크 결과
Mistral Large 4는 코딩, 사이버보안, 멀티모달 이해, 에이전트 워크플로우 전반에서 강력한 벤치마크 성능을 제공하며, 오픈 웨이트 생태계에 경쟁력 있는 추가 요소로 자리매김합니다. 2026년 10월 29일 기준으로 이 모델은 Artificial Analysis Intelligence 지수에서 다섯 번째로 좋은 오픈 웨이트 모델입니다.
"On coding, ML4 achieves" → "코딩에서 ML4는 달성한다" Keep as JSON. DeepSWE v1.1에서 61.7%, SWE-Atlas-QnA에서 59.4%, 그리고 Terminal-Bench 4에서 28.3%결합된 코딩 에이전트 지수 점수 49.8% DeepSeek V4 Pro 0813와 Qwen3.8 Max보다 앞선 순위에 자리매김합니다.
ML4의 코딩 역량은 지식 노동으로까지 확장되며, AutomationBench에서 59.9% 그리고 AA-Briefcase에서 1,393 Elo, 비즈니스 워크플로와 장기적인 전문 업무를 평가합니다.
사이버보안은 Mistral Large 4의 두드러진 역량 중 하나로, 실제 세계의 취약점 평가 및 보안 경쟁 과제에서 강력한 결과를 보여줍니다. 세 가지 벤치마크가 이 모델의 사이버 성능을 조명합니다:
- Artificial Analysis Cyber Index: ML4는 다음 항목에 속한다 세계 상위 5개 모델 이 모델의 소프트웨어 취약점 발견 및 수정 능력에 대한 독립 평가에서 그러했습니다.
- 취약점 재현 및 패치: 이는 다음을 달성합니다 82%, 이 색인 내 해당 테스트에서 보고된 최고 점수입니다. 이 과제는 오픈 소스 소프트웨어의 실제 취약점을 재현한 후 패치하는 것을 요구하며, 조사 능력과 수정 능력을 모두 시험합니다.
- Cybench: ML4은 해결합니다 93% 일련의 보안 대회에서 출제된 40개의 챌린지, 실전 보안 문제에서 강력한 성능을 보여줍니다.
Mistral Large 4는 또한 Lakera의 B3 벤치마크에서 93.3%의 공격 저항률을 기록해, 프롬프트 인젝션 공격에 대한 견고성을 뒷받침하는 근거를 추가했습니다. 벤치마크 외에도 내부 테스트에서 멀웨어 분석, 취약점 우선순위화, 탐지 규칙 생성 분야에서 유망한 결과를 보였습니다.
추론(Inference) 지원
Mistral Large 4는 transformers, vLLM, llama.cpp에 대한 day-0 지원과 함께 출시됩니다. GGUF 양자화 모델은 GGUF 및 llama.cpp 팀에서 이용할 수 있습니다. Inference Endpoints로 원격 배포하는 옵션과 Inference Providers를 통해 서버리스 추론을 사용하는 옵션을 제공합니다.
Transformers
Transformers 구현은 다음을 제공합니다 AutoModelForMultimodalLM, 이는 AutoProcessor 대화 및 이미지 입력을 준비합니다. Mistral Large 4는 low, medium, high 을(를) 추론 노력(reasoning effort)으로 받을 수 있습니다. 기본값은 high이며, 추론은 비활성화할 수 없으므로 reasoning_effort: none 을(를) 사용해도 high.
다음과 같이 사용됩니다. 모델을 실행하려면 transformers 패키지를 업그레이드하십시오
pip install --upgrade transformers
import os
from transformers import AutoProcessor, AutoModelForMultimodalLM, DistributedConfig
distributed_config = DistributedConfig(
tp_size=int(os.environ["WORLD_SIZE"]),
ep_size=int(os.environ["WORLD_SIZE"]),
)
model_id = "mistralai/Mistral-Large-4-1T-A52B"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
distributed_config=distributed_config,
)
# only text
text_messages = [
{
"role": "user",
"content": "Who are you?"
}
]
# text + image
multimodal_messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": "https://huggingface.co/datasets/huggingface/cats-image/resolve/main/cats_image.jpeg",
},
{
"type": "text",
"text": "How many cats are in the image?",
},
],
},
]
for messages in [text_messages, multimodal_messages]:
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="medium",
).to(model.device).to(model.dtype)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=100)
if int(os.environ["RANK"]) == 0:
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
위 스크립트는 파이썬 파일로 저장한 후 실행할 수 있습니다 script.py 그리고 실행합니다
torchrun --nproc-per-node 8 script.py
vLLM
vLLM은 더 작은 메모리 사용량을 가지며 NVIDIA Blackwell GPU가 필요한 고품질 NVFP4 Mistral Large 4 체크포인트를 지원합니다. 이 모델은 vLLM에서 추가 속도 향상을 위한 DSpark drafter도 함께 제공됩니다. 다음과 같이 서버를 실행하세요:
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--config-format mistral \
--load-format mistral \
--tensor-parallel-size 8 \
--decode-context-parallel-size 8 \
--enable-expert-parallel \
--dtype bfloat16 \
--max-model-len 131072 \
--max-num-seqs 16 \
--max-num-batched-tokens 2048 \
--gpu-memory-utilization 0.85 \
--enable-prefix-caching \
--enforce-eager \
--mm_processor_cache_gb 0.0
서버가 실행되면 다음을 실행할 수 있습니다.
curl -s http://127.0.0.1:8000/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":512}'
Llama.cpp
Llama.cpp와 Llama App은 이미 Mistral Large 4를 지원합니다.
다음 명령으로 Llama App을 설치할 수 있습니다:
curl -LsSf https://llama.app/install.sh | sh
그런 다음 모델 ID 뒤에 양자화(quant) 접미사를 표시하여 다음과 같이 서버를 시작할 수 있습니다:
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K
여기 저장소가 있으며 FP8 체크포인트에서 파생된 양자화본이 있고, NVFP4 버전은 여기 있습니다, 공식 NVFP4 저장소에서 변환된 것입니다.
서버가 시작되면 localhost:9931로 접속하여 내장 WebUI로 채팅할 수 있습니다. 웹 UI에서 이미지를 추가하여 추론을 수행하고 reasoning lever를 조정할 수 있습니다.
다음과 같이 서버에 쿼리할 수도 있습니다. 멀티모달리티, 도구 호출 등에 대해서는 API 레퍼런스 를 자유롭게 확인하세요.
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Write a limerick about python exceptions"}
]
}'
이미지-텍스트 추론은 다음과 같이 실행할 수 있습니다.
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <your-key>" \
-d '{
"model": "muse-spark-open",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What is in this image?"
},
{
"type": "image_url",
"image_url": {
"url": "data:image/png;base64,..."
}
}
]
}
],
"temperature": 0
}'
llama.cpp 팀은 다음과 같은 양자화본을 제공합니다: IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, 그리고 BF16 추가 변환을 위해서입니다. 2비트 양자화본은 512 GB 통합 RAM을 갖춘 단일 Apple Silicon Ultra 컴퓨터에서 실행됩니다. 다른 것들은 분산 추론이 필요합니다. 여러 장의 NVIDIA 또는 AMD 카드에서도 실행할 수 있습니다.
단일 M3 Ultra에서 Q2_K 단일 M3 Ultra에서 약 초당 90토큰의 prefill 처리량과 15 tok/s의 생성 속도를 얻었습니다. 4 x RTX6000 Pro에서는 다음과 같은 결과를 관찰했습니다:
- NVFP4: 32K 컨텍스트 크기, prefill 130-590 t/s, 생성 속도 ~10 t/s
- IQ2_XXS: 800K 컨텍스트 크기. 짧은 컨텍스트 크기에서는 prefill이 500 tok/s이고 생성은 30 tok/s로 실행됩니다. 그러나 긴 컨텍스트를 사용하면 성능이 129 tok/s(prefill) 및 3 tok/s(생성)로 떨어집니다.
TRL로 파인튜닝
저희는 TRL을 사용한 Mistral Large 4 파인튜닝에 대한 day 0 지원도 제공합니다. 필요한 것은 최신 버전으로 업그레이드하는 것뿐입니다 transformers, trl 그리고 peft.
pip install --upgrade transformers trl peft
다음 예제에서는 모델에게 다국어 사고(multilingual thinking)를 수행하도록 학습시킵니다. 파인튜닝된 모델은 시스템 프롬프트가 요구하는 언어로 추론할 수 있게 됩니다!
이 스크립트는 8xB300s 노드에서 FP8 변형으로 실행됩니다. Slurm 런처가 포함된 전체 예제는 다음에 있습니다 TRL의 예제.
# torchrun --nproc-per-node 8 sft.py
import os
from datasets import load_dataset
from peft import LoraConfig
from transformers import AutoModelForImageTextToText, DistributedConfig
from trl import SFTConfig, SFTTrainer
world_size = int(os.environ["WORLD_SIZE"])
model_id = "mistralai/Mistral-Large-4-1T-A52B"
model = AutoModelForImageTextToText.from_pretrained(
model_id,
distributed_config=DistributedConfig(fsdp_size=world_size, ep_size=world_size),
dtype="auto",
)
dataset = load_dataset("HuggingFaceH4/Multilingual-Thinking", split="train")
# the assistant turns carry reasoning, so render them in reasoning mode
dataset = dataset.map(lambda x: {"chat_template_kwargs": {"reasoning_effort": "high"}})
trainer = SFTTrainer(
model=model,
args=SFTConfig(
packing=True,
max_length=4096,
assistant_only_loss=True,
learning_rate=1e-4,
lr_scheduler_type="cosine",
warmup_steps=10,
),
train_dataset=dataset,
peft_config=LoraConfig(
r=16,
lora_alpha=32,
target_modules=r".*language_model.*\.(q_proj|kv_a_proj_with_mqa|kv_b_proj|o_proj|gate_proj|up_proj|down_proj)",
),
)
trainer.train()
Inference Endpoints
Mistral Large 4는 Inference Endpoints에서도 이용할 수 있으며, 8 x NVIDIA H200 GPU용 바로 배포 가능한 레시피가 제공됩니다. 이 레시피는 vLLM을 실행하며, FP8 가중치를 텐서 병렬화와 전문가 병렬화를 사용해 8개 GPU 모두에 분산 배치하고, 모델의 내장 DSpark draft head를 활용한 speculative decoding으로 더 빠른 생성을 지원합니다. 최대 131K 토큰의 컨텍스트를 처리하고 한 번에 최대 16개의 요청을 처리할 수 있으며, 다음과 같은 결과를 확인했습니다:
- 단일 요청: 1K 토큰 프롬프트 기준 첫 토큰 도달 시간이 약 0.6초이고 생성 속도는 약 65 tok/s이며, DSpark의 draft가 채택되는 채팅 프롬프트에서는 120–138 tok/s에 도달합니다.
- 긴 프롬프트: 16K 토큰 프롬프트 4개를 동시에 처리할 때 총 약 4,300 tok/s로 prefill되며, 첫 토큰 도달 시간은 8–9초입니다.
- 부하 상황에서: 1,000개의 ShareGPT 대화에 걸쳐 총 약 480 tok/s의 생성 속도를 기록했습니다.
다음과 같이 hf CLI로 배포할 수 있습니다:
hf endpoints catalog deploy --repo mistralai/Mistral-Large-4-1T-A52B --name mistral-large-4
엔드포인트가 실행되면 엔드포인트 URL과 Hugging Face 토큰을 사용해 OpenAI 호환 API를 쿼리할 수 있습니다. reasoning_effort 필드는 모델이 답변 전에 얼마나 추론하는지를 제어하며, low, medium또는 high (기본값)으로 설정할 수 있습니다.
curl "$(hf endpoints describe mistral-large-4 --json | jq -r .status.url)/v1/chat/completions" \
-H "Authorization: Bearer $(hf auth token 2>/dev/null)" \
-H "Content-Type: application/json" \
-d '{
"model": "mistralai/Mistral-Large-4-1T-A52B",
"messages": [
{"role": "user", "content": "Write a limerick about python exceptions"}
],
"reasoning_effort": "medium"
}'
답변은 choices[0].message.content에, 추론은 choices[0].message.reasoning에 담겨 반환됩니다. 이 엔드포인트는 표준 Chat Completions 필드를 통한 도구 호출, 구조화된 출력, 이미지 입력, 스트리밍도 지원합니다.
Dell Enterprise Hub
Dell AI 서버(NVIDIA H200, B200, GB200 또는 GB300)로 가장 쉽게 시작하는 방법은 다음 dell-ai CLI를 설치하는 것입니다:
pip install dell-ai && dell-ai login
그리고 이를 사용해 예를 들어 NVIDIA B300 노드에서 Mistral Large 4용 최적화된 레시피를 실행할 수 있습니다.
dell-ai models deploy --model-id mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
--engine docker \
--platform-id xe9780-nvidia-b300 \
--gpus 4
이번 릴리스에 대해 자세히 알아보려면 Dell Enterprise Hub (DEH).
사용해 보기
다음에서 가중치를 가져오세요: Mistral Large 4 컬렉션, GGUF로 로컬에서 실행하거나, GGUFs, Inference Endpoints로 배포하세요. Le Chonk로 여러분이 무엇을 만들지 기대됩니다. 파인튜닝 모델, 양자화 모델 및 기타 아티팩트를 Hub에서 공유해 주세요!