Esta parcheta resuelve notablemente un problema en el que algunos inputs podían perder su tipo original dentro de prepare_inputs_for_generation en generate, lo que causaba problemas con los modelos multimodales. También corrige algunos otros problemas listados en los commits siguientes.
Contiene los siguientes commits:
- Arreglar el casting del diccionario de entradas en generate (#49731) por @Cyrilvallez
- Corregir los gradientes de experto cero en bfloat16 con paralelismo de experto y ep_size < fsdp_size (#49688) por @qgallouedec
- Declare las modalidades de entrada de los VLM que solo reportan texto (#49677) por @qgallouedec
- Evita una copia de host a dispositivo en eager_mask (#49684) por @hmellor