Release: v5.21.0

Neue Modellhinzufügungen

MiniCPM-OCR

MiniCPM-OCR ist ein Dokumentenverständnis-Modell aus der MiniCPM-V-Familie von OpenBMB. Es behält die MiniCPM-V 4.6 Architektur bei, die einen SigLIP-Visionencoder und eine Window-Attention-Merger mit einem Qwen3.5-Sprachmodell kombiniert. Es ist spezialisiert auf das Lesen von textdichten Bildern wie gescannten Seiten, Screenshots, Belegen und Tabellen.

Links: Documentation | Paper * Feat test (#49920) von @guarin in #49920

Flint

Flint ist Recursive's Mixture-of-Experts-Sprachmodell. Im Vergleich zu einem standardmäßigen SwiGLU-MoE-Transformer wie Qwen3-MoE verwendet es hybride Aufmerksamkeit (Sliding-Window-Attention mit rotierenden Embeddings über das aktuelle Token und die vorherigen 512 Token in den meisten Schichten, und volle Aufmerksamkeit ohne Positionskodierung in den verbleibenden Schichten). Es hat außerdem gelernte Attention Sinks, wie in GPT-OSS, mit pro Kopf RMS-normalisierten Queries und Keys. Jede Sparse-Schicht routet ein Token anhand eines Sigmoid-Scores zu 6 von 256 Experten und fügt einen ungate-ten Shared Expert hinzu, und die ersten beiden Schichten sind dicht.

Links: Documentation * Add Flint model support. (#49824) von @lovishmadaan in #49824

UltraVBert

UltraVBert erweitert ModernVBert, indem es den UltraBERT-Textencoder mit einem SigLIP-Visionencoder für visuelles Dokumentenverständnis und Retrieval kombiniert. Sein Bildprozessor teilt jede Seite in 512-Pixel-Kacheln plus eine globale Ansicht. Der Connector verschmilzt jeden 4 x 4 Block von Vision-Patches zu einem Token, sodass eine Kachel zu 64 Bild-Token wird, und normalisiert sie mit RMS auf die Skala der Token-Embeddings von UltraBERT. Die max_image_tiles Einstellung (standardmäßig 27) begrenzt die Anzahl der Kacheln pro Seite.

Links: Documentation * Add UltraVBERT (#49685) von @athrael-soju in #49685

Gradium Phonon TTS

Gradium Phonon TTS ist Gradiums Familie von On-Device-Text-to-Speech-Modellen, trainiert mit dem Pocket-TTS-Rezept. Ein kausaler Transformer liest einen Voice-Prompt und den Text und gibt dann pro Schritt ein kontinuierliches 32-dimensionales Audio-Latent mit 12.5 Hz über einen One-Step-Flow-Head aus, und ein End-of-Speech-Head entscheidet, wann die Äußerung endet. Die Latents werden von einem Pocket-TTS-Audio-Tokenizer zu 24 kHz Audio dekodiert. Anders als bei Pocket TTS verwendet die Sprachkonditionierung 512-dimensionale Latents aus einem separaten, nicht veröffentlichten Speaker-Codec, daher kommen Stimmen als vorausberechnete Latents und können nicht aus einer Aufnahme geklont werden.

Links: Documentation * Add GradiumPhononTTS (#49791) von @eustlb in #49791

Pocket TTS

Pocket TTS ist Kyutais Text-to-Speech-Modell mit 100M Parametern, gebaut als Continuous Audio Language Model, das auf der CPU schneller als in Echtzeit läuft. Ein kausaler Transformer gibt pro Frame (12.5 Hz) ein kontinuierliches Audio-Latent über einen One-Step-Flow-Head aus, und ein End-of-Speech-Head entscheidet, wann gestoppt wird. Ein Mimi-basierter Audio-Tokenizer kodiert Voice-Prompts und dekodiert die generierten Latents zu 24 kHz Audio. Zwei Flow-Heads sind veröffentlicht: Lagrangian self-distillation (Standard) und drifting, und Stimmen können aus einer Aufnahme geklont, als vorausberechnete Latents übergeben oder aus zwischengespeicherten KV-Zuständen geladen werden.

Links: Dokumentation | Paper | Blog-Beitrag * PocketTTS hinzugefügt (#49589) von @eustlb in #49589

Pocket TTS Audio Tokenizer

Der Pocket TTS Audio Tokenizer ist der Codec, der von Pocket TTS verwendet wird. Er hat Mimis Architektur (SEANet-Faltungen plus einen kleinen kausalen Transformer auf jeder Seite), aber sein residueller Vektorquantisierer wurde durch einen kontinuierlichen 32-dimensionalen Bottleneck ersetzt, dem VAE-GAN aus Continuous Audio Language Models. Er wandelt 24-kHz-Audio in Latents mit 12,5 Hz um und dekodiert diese zurück in Audio. Er dient als audio_tokenizer von PocketTTSProcessor, indem er Sprach-Prompts kodiert und generierte Latents dekodiert, und sein Encoder und Decoder können auch eigenständig geladen werden.

Links: Dokumentation | Paper * PocketTTSAudioTokenizer hinzugefügt (#49588) von @eustlb in #49588

Breaking Changes

Die Gemma4-Prozessor-Imports korrigiert (die Gemma4-, Gemma4-unified- und EmbeddingGemma2-Prozessoren), sodass from transformers import * nicht mehr in Umgebungen fehlschlägt, die PIL aber nicht torchhaben; keine Nutzeraktion erforderlich. * :rotating_light: gemma4-Cross-Imports behoben, die zu fehlgeschlagenen Imports führten ohne torch aber mit PIL (#49748) von @Sai-Suraj-27

Ein "fp8" Backend zu QuantizedCachehinzugefügt, neben quanto und hqq, das KV-Zustände in torch.float8_e4m3fn mit einem einzigen Scale pro Tensor speichert; aktivieren mit cache_implementation="quantized" und cache_config={"backend": "fp8"}. * 🚨Ein FP8-Backend zu QuantizedCache hinzugefügt (#48677) von @jiqing-feng

Tensor-Parallelität hat jetzt einen eigenen Embedding-Stil, shardet standardmäßig die Input-Embeddings jedes Modells und unterstützt Breiten, die nicht durch die TP-Größe teilbar sind, sodass ColwiseParallel und RowwiseParallel jetzt nur für lineare Schichten gelten; benutzerdefinierte TP-Pläne, die sie auf Embeddings anwendeten, müssen auf den neuen Embedding-Stil umsteigen. * 🚨 TP: Embeddings erhalten ihren eigenen Stil, Input-Embeddings werden standardmäßig geshardet, und Breiten, die nicht durch die TP-Größe teilbar sind, werden geshardet (#49570) von @IlyasMoutawwakil

Jeder MoE-TP- und EP-Plan shardet nun seine Experten, sodass Modelle nicht mehr alle Experten auf jedem Rang halten, und ein neuer test_moe_parallel_plans_shard_experts Test erzwingt dies; benutzerdefinierte oder nachgelagerte MoE-Parallelitätspläne müssen Expert-Sharding hinzufügen, um ihn zu bestehen und verschwendeten Speicher zu vermeiden. * 🚨 MoE: Shard die Experten in jedem TP/EP-Plan und teste dies (#49206) von @IlyasMoutawwakil

Cache

Diese Version verbessert die Cache-Verarbeitung in der gesamten Bibliothek. Flash Attention funktioniert jetzt mit statischen Caches, BLOOM stürzt nicht mehr mit statischem Cache oder kompiliertem Generate ab, Chunked Prefill unterstützt Cache-Fortsetzung, und die Positionshistorie des Qwen4-Exp-Indexers bleibt mit seinen gecachten Keys ausgerichtet. Linear-Attention-Caches erhalten außerdem neue Getter (is_recording_past, get_recurrent_state, conv-state-Zugriff), die keine Cache-Interna mehr offenlegen und auf paged-c vorbereiten

• [FA] Fix FA with static cache (#49998) von @Cyrilvallez in [#49998]
• [docs] CB cache behavior (#49025) von @stevhliu in [#49025]
• [CB] Reduce warmup time by not computing attention over full cache (#49853) von @remi-or in [#49853]
• Fix Qwen4-Exp indexer position cache lifecycle (#49840) von @taking-lying-flat in [#49840]
• [Cache] Linear attn cache: use new getters (#49375) von @remi-or in [#49375]
• [Cache] Get conv states (#49309) von @remi-or in [#49309]
• [Cache] Add get_recurrent_state (#49306) von @remi-or in [#49306]
• [Cache] Add is_recording_past (#49305) von @remi-or in [#49305]
• Fix BLOOM crash with static cache / compiled generate (#49481) von @kaixuanliu in [#49481]
• Allow Cache continuation for chunked prefill (#49662) von @Cyrilvallez in [#49662]

Vision

Vision-Bildprozessoren komponieren PNG-Transparenz nun auf Weiß, statt schwarze Pixel anzuzeigen, und background_color wird über die DeepSeek-VL- und Janus-Prozessoren korrekt beibehalten. Modellkorrekturen betreffen SmolVLMs inputs_merger wenn Image-Tokens kein Vielfaches der Patchgröße sind, die HunYuan-VL-Bildzuweisung während Batched Beam Search sowie Ernie4.5-VL-MoE-Expert-Sharding unter TP/EP. Der DETR

• Composite transparency in shared RGB conversion and image processors (#49079) von @Nikhi00718 in [#49079]
• [Fetcher] Fix missing test deps for dynamically-resolved image processors (#49826) von @ydshieh in [#49826]
• fix(vision): Route the DETR conversion scripts through from_pretrained (#49830) von @harshaljanjani in [#49830]
• Fix background_color handling across DeepSeek-VL and Janus image processors (#49767) von @tritsystem in [#49767]
• Move the MI300 docker image to ROCm 10.1 and update test expectations (#49460) von @Abdennacer-Badaoui in [#49460]
• docs: fix 'allows to' grammar in Vision Encoder Decoder docs (#48730) von @mrchatam in [#48730]
• Fix SSH-Runner: /opt/venv/bin zum PATH für Python 3.11-Images hinzufügen (#49759) von @ydshieh in [#49759]
• Fix SmolVLM inputs_merger, wenn Bild-Tokens kein Vielfaches von patch_size sind (#49725) von @albertvillanova in [#49725]
• Ernie4.5-VL-MoE: die Text- und Vision-Experten unter TP und EP sharden (#49462) von @IlyasMoutawwakil in [#49462]
• Fix HunYuan-VL Bildzuweisung während der batched Generierung (#49557) von @Arnav66692 in [#49557]

Generierung

Diese Release behebt eine Reihe von Generierungs-Bugs: Abstürze von BLOOM mit static cache oder kompiliertem generate, generate das Verwerfen des Typs von dict-artigen Eingaben wie ModelOutputsowie falsche Bildzuweisung oder Placeholder-Behandlung bei der batched oder Beam-Search-Generierung für HunYuan-VL und Idefics2/3. Es behebt außerdem die Behandlung des Qwen3-Omni-Audiogenerierungsmodus, Multi-Zoom-Crops der SAM-Maskengenerierung, leere Frame-s

• fix: leeres Frame-Sampling bei kurzen Videos verhindern (#49908) von @BlazeSR10hawk in [#49908]
• Fix Windows-Pfadtrennzeichen, die relative Imports von Hub-Custom-Generate-Modulen zerstören (#48951) von @dltsum in [#48951]
• Fix Multi-Zoom-Crops in der SAM-Maskengenerierungs-Pipeline und verwandte Bugs (Fixes #35530) (#49689) von @stlukyanenko in [#49689]
• update Speculative-Decoding-Dokumentation (#49697) von @merveenoyan in [#49697]
• fix Idefics3-Generierungsprobleme (#49738) von @molbap in [#49738]
• fix Tests für Generierung (#49740) von @molbap in [#49740]
• Fix Dictionaries-Casting bei Eingaben in generate (#49731) von @Cyrilvallez in [#49731]
• [fix][Qwen3-Omni] generation_mode bei der Audiogenerierung respektieren (#49505) von @Sunt-ing in [#49505]

Parallelisierung

Diese Release erweitert die Unterstützung für Parallelität und behebt mehrere verwandte Bugs. Er fügt einen Tensor-Parallel-Plan für Nemotron hinzu und sorgt dafür, dass Ernie4.5-VL-MoE seine Text- und Vision-Experten unter TP und EP sharded. Außerdem stellt er die Expert-Parallel-Token-Dispatch-Gradienten auf torch 2.7–2.10 wieder her, behebt einen Molmo2-Model-Parallel-Geräte-Mismatch und korrigiert base_model_prefix in mehreren Modellfamilien (PP-OCR-Detektoren

• Add Tensor-Parallel-Plan für Nemotron (#48780) von @Siddhant231xyz in [#48780]
• fix Model-Parallel-Bug für das Molmo2-Modell (#49816) von @kaixuanliu in [#49816]
• Fix base_model_prefix in den PP-OCR-Detektoren sowie in den CLIPSeg-, TimesFM-, CLIP- und VideoPrism-Heads, damit Basis-Checkpoints geladen werden können (#48871) von @blipbyte in [#48871]
• Fix Expert-Parallel-Token-Dispatch-Gradienten auf torch 2.7 bis 2.10 (#49710) von @digit50 in [#49710]
• Skip Muse TP (#49717) von @remi-or in [#49717]

Quantisierung

Die Quantisierung behandelt nun die FP4-Experten von DeepSeek-V4.1 korrekt: FineGrainedFP8Config erhält eine expert_dtype Option (standardmäßig "fp8", oder "fp4"), die die FP8-Experten lesen, statt sie als FP8 zu allokieren. TimesFM 2.5 wandelt Float-Eingaben nicht mehr in einen Ganzzahl-Weight-Dtype um, wenn es mit Quantisierung wie bitsandbytes 4/8-Bit geladen wird. Eine umfassendere Bereinigung

• Fine-grained FP8: DeepSeek-V4s expert_dtype in der Quantisierungskonfiguration (#49848) von @IlyasMoutawwakil in [#49848]
• Fix dtype cast in TimesFM 2.5 ResidualBlock für quantisierte Gewichte (#46942) von @JOhnsonKC201 in [#46942]
• Quantization Aufräumarbeiten (#49548) von @ArthurZucker in [#49548]

Bugfixes und Verbesserungen

• [Fix] CSM Codebook-Embedding-Tying behoben (#49197) von @orrangetabby17 in [#49197]
• [tests_fetcher] fehlendes .as_posix() in preprocessor_patterns Pfad-Schlüsseln behoben (#49994) von @ydshieh in [#49994]
• fix(ci): Bot-Vorschlag überspringen, wenn ein Maintainer bereits run-slow: gepostet hat (#49992) von @ydshieh in [#49992]
• [loading] Erlauben, dass Renaming und Converter auf denselben Subkeys funktionieren (#49928) von @Cyrilvallez in [#49928]
• [Fix] NUMA- und cpuset-Erkennung in CB behoben (#49980) von @remi-or in [#49980]
• [Refactor] CB-Utils von keinen CB-Importen abhängig machen (#49968) von @remi-or in [#49968]
• chore: Typing in modeling_rope_utils.py verbessern (#49831) von @RyanMullins in [#49831]
• is_fouroversix_available() gab ein (available, version)-Tupel zurück. Ev… (#49894) von @sywangyi in [#49894]
• Skip-List-Eintrag vom Anfang bis zu einer Modulgrenze abgleichen (#49771) von @IlyasMoutawwakil in [#49771]
• [pocket_tts, gradium_phonon_tts] sub_configs_defaults verwenden (#49868) von @eustlb in [#49868]
• Behebt eine dtype-Diskrepanz im flash_attn-Test (#49912) von @kaixuanliu in [#49912]
• [Fix] Doppelte Zuweisung in der DeepseekV3.2-Konfiguration entfernen (#49896) von @remi-or in [#49896]
• XPU Expectations für 4 neue Modelltests hinzufügen (#49815) von @kaixuanliu in [#49815]
• Sub-Config-Defaults einfacher machen (#49906) von @zucchini-nlp in [#49906]
• Index-OutOfBounds-Bug im Modell musicgen_melody beheben (#49842) von @kaixuanliu in [#49842]
• test: Paritätsprüfung zum CPU-only-Continuous-Batching-Test hinzufügen (#49728) von @nrenvo in [#49728]
• [CB] max_memory_percent bei einem CPU-Modell reduzieren (#49844) von @remi-or in [#49844]
• Klarheit und Grammatik in der Auto-Classes-Dokumentation verbessern (#44550) von @himani27301 in [#44550]
• [gradium_phonon_tts] auf die veröffentlichten Hub-Repos verweisen (#49867) von @eustlb in [#49867]
• [EmbeddingGemma2] Integrationstests aktualisieren (#49576) von @eustlb in [#49576]
• Einen Kommentar korrigieren (#44872) von @IvanFan-Van in [#44872]
• Absturz durch hartcodiertes torch.float64 auf MPS beheben (#46723) (#46730) von @Abhijeet1815 in [#46730]
• fixup Metadata-Workflow (#49854) von @vasqu in [#49854]
• docs(whisper): Eingabefeatures im AutoModel-Beispiel auf Modell-dtype umwandeln (#49837) von @Kayvan-Zahiri in [#49837]
• Beheben, dass torch_float in int statt float umwandelt (#47468) von @rahulrshetty45 in [#47468]
• Python-Mindestversion anheben auf 3.11 (#49251) von @Sai-Suraj-27 in [#49251]
• skip sdpa_can_dispatch_on_flash Tests für 3 Modelle (#49809) von @kaixuanliu in [#49809]
• [LED][Longformer] For-Schleife durch unfold im _chunk-ONNX-Exportpfad ersetzen (#46169) von @guinik in [#46169]
• logits_to_keep bool mask für alle ForXXX-Klassen (#48825) von @jp1924 in [#48825]
• Mehrere Objektdetection-Modelle beheben/Loader-Fix für Module Tying (#49827) von @molbap in [#49827]
• Encoder-Logits-Prozessoren beheben, wenn vorberechnete encoder_outputs keine Token-IDs enthalten (#49696) von @kunalsanga in [#49696]
• Einige Importe verzögern (#49663) von @jayzuccarelli in [#49663]
• CTC-Loss refactoren (#49833) von @ebezzam in [#49833]
• Intel XPU CI hinzufügen (#49254) von @regisss in [#49254]
• fix(mask2former): input_projections als nn.ModuleList registrieren (behebt #49698) (#49703) von @Omarinho12345 in [#49703]
• MM Grounding DINO Decoder-Köpfe nur koppeln, wenn die Config sie teilt (#49552) von @ in [#49552]
• [Docs] Marathi (मराठी)-Übersetzung der README hinzugefügt (#48746) von @shreeyadav06 in [#48746]
• Fix CLVP c_proj residual scaled-init still nie angewendet wurde, korrigiert (#47478) by @ShamSaleem in [#47478]
• fehlerhafte Testfälle für unlimited_ocr model behoben (#49806) by @kaixuanliu in [#49806]
• Transformers-Umgebung reparieren, wenn requests nicht installiert ist (#48412) von @panshularora in [#48412]
• EXIF-Orientierung in load_image_as_tensor mit torchvision anwenden (#49794) by @digit50 in [#49794]
• Fuyu processor test korrigiert (#49821) by @zucchini-nlp in [#49821]
• torchcodec-xpu verwenden und torch auf 2.14.1 aktualisieren (#49814) by @sywangyi in [#49814]
• einige Fälle aktualisiert, um XPU-Erwartung hinzuzufügen (#49807) by @sywangyi in [#49807]
• [serge] 2 Integrationstests beheben, die durch Commit c48824e84024 (PR #49404) fehlerhaft waren (#49705) von @sergereview[bot] in [#49705]
• docs: OOM/Hängen bei Qwen-Modellen mit dynamischer Auflösung durch Setzen von min_pixels und max_pixels beheben (#46007) von @poojansatani in [#46007]
• docs: Grammatikfehler 'allows to' in DPT-Dokumentation behoben (#48728) by @mrchatam in [#48728]
• docs: Grammatikfehler 'allows to' in LiLT-Dokumentation behoben (#48731) by @mrchatam in [#48731]
• docs: Prompt-Formatierung und Code-Ausrichtung in der Gemma model doc korrigiert (#48775) by @Rattan344 in [#48775]
• docs: Grammatikfehler in der ALBERT model card behoben (#48774) by @Rattan344 in [#48774]
• Alte Eingabenamen als veraltet markieren (#49424) by @zucchini-nlp in [#49424]
• NameError in CI comment workflows behoben: fehlende section marker variables (#49801) by @ydshieh in [#49801]
• [CI] run-slow PR comments verbessert und CI recap entfernt (#49782) by @ydshieh in [#49782]
• Die tatsächliche accelerate version anzeigen für transformers env (#49668) by @Sai-Suraj-27 in [#49668]
• [CI] perceriver alte Regression behoben (#49792) by @molbap in [#49792]
• mimi moshi output capturing (#49670) by @eustlb in [#49670]
• Den behobenen erwarteten Fehler Whisper MIC prototype entfernt (#49785) by @tarekziade in [#49785]
• Text-RoPE von CohereCompass korrigieren, damit Qwen3-VL verschachteltes M-RoPE verwendet wird (#49715) von @mmangkad in [#49715]
• Alias thinking -> reasoning_content (#49535) by @Rocketknight1 in [#49535]
• [vLLM] Qwen-Omni Thinker base models und Gemma 3n per-layer inputs hinzugefügt (#49437) by @harshaljanjani in [#49437]
• MIC fleet references und Dokumentation aktualisiert (#49768) by @tarekziade in [#49768]
• [CI] keine split modules für SAM (#49766) by @molbap in [#49766]
• Tests aktiviert, die in idefics3 vergessen wurden (#49758) by @molbap in [#49758]
• tests_fetcher backbone step korrigiert (funktionierten seit Einführung nie) (#49742) by @ydshieh in [#49742]
• [modular] Das Muster "del self.xxx" erweitert, um typed assignments zu erfassen (#49735) by @remi-or in [#49735]
• Xpu add (#49757) by @sywangyi in [#49757]
• rope_scaling assignment als veraltet markieren und legacy RoPE keys normalisieren (#49515) by @jinwukong in [#49515]
• Make longrope kompilierbar (#49555) von @jiqing-feng in [#49555]
• Behbehebung eines Verkabelungsfehlers bei stack_frames > 1 in MiniCPMV4_6VideoProcessor (#49752) von @airlsyn in [#49752]
• fix moshi fehlschlagende Tests (#49750) von @eustlb in [#49750]
• [docs] Gaudi (#49618) von @stevhliu in [#49618]
• [serge] 2 Integrationstests für Modell convnextv2 repariert, die fehlschlagen mit output_mismatch (Tensor-Werte unterscheiden sich (2)) (#48838) von @sergereview[bot] in [#48838]
• [serge] 2 Integrationstests für Modell eomt_dinov3 repariert, die fehlschlagen mit output_mismatch (Tensor-Werte unterscheiden sich (2)) (#48882) von @sergereview[bot] in [#48882]
• [serge] 4 Integrationstests für Modell lw_detr repariert, die fehlschlagen mit output_mismatch (Tensor-Werte unterscheiden sich (4)) (#49040) von @sergereview[bot] in [#49040]
• [serge] 2 Integrationstests für Modell nemotron repariert, die fehlschlagen mit output_mismatch (Listenausgabe unterscheidet sich (2)) (#48945) von @sergereview[bot] in [#48945]
• Multi-Device-Fix für molmo2 (#49736) von @molbap in [#49736]
• Den Rest der VLMs reparieren (#49720) von @zucchini-nlp in [#49720]
• ValueError beim doppelten Laden eines Checkpoints mit aktivierter Fusion beheben (#49412) von @kaixuanliu in [#49412]
• Eine Host-zu-Device-Kopie in eager_mask vermeiden (#49684) von @hmellor in [#49684]
• is_tracing() erkennt nun XPU-Stream-Capture, neben dem besteh… (#49722) von @sywangyi in [#49722]
• Dokumentieren, wie man das Metaspace-Präfix nach hinzugefügten Tokens vermeidet (#45822) von @qflen in [#45822]
• Die Eingabemodalitäten der VLMs deklarieren, die nur Text melden (#49677) von @qgallouedec in [#49677]
• Zero-Expert-Gradienten in bfloat16 mit Expert Parallelism und ep_size < fsdp_size beheben (#49688) von @qgallouedec in [#49688]
• Testauswahl für Imports virtueller Module beheben (#49690) von @tarekziade in [#49690]
• [docs] Google-TPU-Hardware-Leitfaden hinzufügen (#49642) von @tengomucho in [#49642]
• Standard-Argumente des Response-Parsers kopieren (#49370) von @Rocketknight1 in [#49370]
• Machen DtensorShardOperation auf torch 2.6 und 2.7 lauffähig (#49657) von @hazelxue in [#49657]
• from_pretrained auf torch 2.7 reparieren: torch>=2.8 für verteiltes Checkpointing erforderlich (#49652) von @naveecode in [#49652]
• DeepGEMM Mega MoE unter Expert Parallelism reparieren (#49428) von @IlyasMoutawwakil in [#49428]
• Flaky-Evolla-Tests beheben, die NaN-Ausgaben erzeugen (#49660) von @tarekziade in [#49660]
• [rocm] ROCm-Erwartungen zum Kolibri-1-Logits-Test hinzufügen (#49661) von @ericschreiber in [#49661]
• [CB] Diverse kleine Korrekturen für MPS (#49654) von @remi-or in [#49654]
• Richtet die Testerwartungen am getesteten Accelerator-Pfad aus: (#49653) von @sywangyi in [#49653]
• [docs] Processor config (#49643) von @stevhliu in [#49643]
• Post-Release-Aufgaben (#49646) von @vasqu in [#49646]

Bedeutende Beiträge aus der Community

Die folgenden Mitwirkenden haben seit dem letzten Release bedeutende Änderungen an der Bibliothek vorgenommen:

• @ydshieh
  • [tests_fetcher] fehlendes .as_posix() in den preprocessor_patterns-Pfadschlüsseln behoben (#49994)
  • fix(ci): Bot-Vorschlag überspringen, wenn ein Maintainer bereits run-slow: gepostet hat (#49992)
  • [Fetcher] Fehlende Test-Abhängigkeiten für dynamisch aufgelöste Image-Prozessoren behoben (#49826)
  • NameError in CI-Kommentar-Workflows behoben: fehlende Abschnittsmarker-Variablen (#49801)
  • [CI] Run-slow-PR-Kommentare verbessert und CI-Recap entfernt (#49782)
  • tests_fetcher-Backbone-Schritt behoben (funktionierte seit seiner Einführung nie) (#49742)
  • SSH-Runner behoben: /opt/venv/bin zum PATH für Python 3.11-Images hinzugefügt (#49759)
• @remi-or
  • [Fix] NUMA- und cpuset-Erkennung in CB behoben (#49980)
  • [Refactor] CB utils so gestaltet, dass sie von keinem CB-Import abhängen (#49968)
  • [Fix] Doppelte Zuweisung in der DeepseekV3.2-Konfiguration entfernt (#49896)
  • [CB] Warmup-Zeit reduziert, indem Attention nicht über den gesamten Cache berechnet wird (#49853)
  • [CB] max_memory_percent im Fall eines CPU-Modells reduziert (#49844)
  • [modular] Das Muster "del self.xxx" erweitert, um auch typisierte Zuweisungen zu erfassen (#49735)
  • [Cache] Linear-Attn-Cache: neue Getter verwendet (#49375)
  • [Cache] Conv-States abrufen (#49309)
  • [Cache] get_recurrent_state hinzugefügt (#49306)
  • [Cache] is_recording_past hinzugefügt (#49305)
  • [Kernels] MPS zu den unterstützten Gerätetypen hinzugefügt (#49655)
  • Muse TP übersprungen (#49717)
  • [CB] Diverse kleine Fixes für MPS (#49654)
• @Nikhi00718
  • Composite-Transparenz in der gemeinsamen RGB-Konvertierung und in Image-Processors (#49079)
• @eustlb
  • [pocket_tts, gradium_phonon_tts] sub_configs_defaults verwendet (#49868)
  • [gradium_phonon_tts] Verweis auf die veröffentlichten Hub-Repos (#49867)
  • [EmbeddingGemma2] Integrationstests aktualisiert (#49576)
  • GradiumPhononTTS hinzugefügt (#49791)
  • PocketTTS hinzugefügt (#49589)
  • PocketTTSAudioTokenizer hinzugefügt (#49588)
  • 🟡 [mimi] Encoder und Decoder getrennt (#49577)
  • mimi moshi Ausgabeerfassung (#49670)
  • fehlgeschlagene moshi-Tests behoben (#49750)
• @jp1924
  • logits_to_keep bool mask für alle ForXXX-Klassen (#48825)
• @molbap
  • Behebt mehrere Objekterkennungsmodelle / Loader-Fix für module tying (#49827)
  • [CI] behebt altes perceriver-Regression (#49792)
  • [CI] keine split modules für SAM (#49766)
  • Vergessene Tests in idefics3 aktiviert (#49758)
  • behebt idefics3-Generierungsprobleme (#49738)
  • Tests für Generation korrigiert (#49740)
  • Multi-Device-Fix für molmo2 (#49736)
• @athrael-soju
  • UltraVBERT hinzugefügt (#49685)
• @harshaljanjani
  • fix(vision): DETR-Konvertierungsskripte über from_pretrained geleitet (#49830)
  • fix(audio): ALM-Konvertierungsskripte über from_pretrained geleitet (#48525)
  • [vLLM] Qwen-Omni-Thinker-Basismodelle und Gemma 3n per-layer inputs hinzugefügt (#49437)
• @lovishmadaan
  • Unterstützung für das Flint-Modell hinzugefügt. (#49824)
• @tarekziade
  • Den als gelöst markierten erwarteten Fehler des Whisper-MIC-Prototyps entfernt (#49785)
  • MIC-Fleet-Referenzen und Dokumentation aktualisiert (#49768)
  • Tokenizer-Tests aufgeräumt (#49669)
  • Testauswahl für virtuelle Modulimporte korrigiert (#49690)
  • Fehlerhafte Evolla-Tests behoben, die NaN-Ausgaben erzeugten (#49660)
• @yonigozlan
  • Kleinen Bug in den Auto-Mappings behoben (#49664)
• @ArthurZucker
  • Quantization-Aufräumarbeiten (#49548)