Dieser Patch löst insbesondere ein Problem, bei dem einige Eingaben ihren ursprünglichen Typ innerhalb von prepare_inputs_for_generation in generate verlieren können, was zu Problemen mit multimodalen Modellen führt. Er behebt auch einige andere Probleme, die in den unten aufgeführten Commits aufgeführt sind.
Es enthält die folgenden Commits:
- Beheben Sie den Casting des Input-Dicts in der Generierung (#49731) durch @Cyrilvallez
- Beheben Sie die Null-Experten-Gradienten in bfloat16 mit Experten-Parallelismus und ep_size < fsdp_size (#49688) von @qgallouedec
- Verkünden Sie die Eingabemodi der VLMs, die nur Text berichten (#49677), von @qgallouedec
- Vermeiden Sie eine Kopie von Host zu Gerät in eager_mask (#49684) durch @hmellor