이 패치는 특히 일부 입력이 원래의 유형을 잃을 수 있는 문제를 해결합니다. prepare_inputs_for_generation in generate이로 인해 다중 모델에 문제가 발생합니다. 또한 아래 커밋에 나열된 다른 몇 가지 문제도 해결됩니다.
이것에는 다음과 같은 커밋들이 포함됩니다:
- generate에서 입력 딕트 캐스팅을 수정합니다 (#49731) – @Cyrilvallez
- expert 병렬 처리와 ep_size < fsdp_size (#49688)를 사용하여 bfloat16에서 제로 전문가 그라디언트를 수정함 #qgallouedec
- 텍스트만 보고하는 VLM의 입력 방식을 선언합니다 (#49677) by @qgallouedec
- @hmellor에 의해 eager_mask(#49684)에서 호스트와 장치 간의 복사를 피하세요.