此补丁特别解决了某些输入在内部丢失原始类型的问题 prepare_inputs_for_generation in generate导致多模态模型出现问题。它还解决了下面提交中列出的其他一些问题。
它包含以下提交：
- 在 generate 中修复 inputs dict 的 cast 问题 (#49731) 由 @Cyrilvallez 完成
- 通过 expert 并行处理和 ep_size < fsdp_size (#49688)，修复 bfloat16 中的零专家渐变问题 by @qgallouedec
- 由 @qgallouedec 声明仅报告文本的 VLM 输入方式 (#49677)
- 通过 @hmellor，避免在 eager_mask (#49684) 中出现主机到设备的复制情况