また、IQ4_XSのような小さな4ビット形式や、Apple Silicon用のMetalエンジンであるInco AIのSplashなど、より多くのウェイト形式と実行環境をテストしています。これらはDFlashの推測的デコードを使用します。精度チェックに合格したらその結果を追加し、すぐに公開します。初期のテストでは、一部のシステムでより短い完了時間が得られています。
IQ4_XSやInco AIのSplash、Metalエンジンといったより小さな4ビット形式を含む、さらに多くのウェイト形式と実行環境をテストしています。
また、IQ4_XSやInco AIのSplashといった小さな4ビット形式を含む、より多くのウェイト形式と実行環境をテストしています。SplashはApple Silicon用のMetalエンジンで、DFlashの推測的デコードを使用します。これらの結果が精度チェックを通過したら、すぐに公開します。初期のテストでは、一部のシステムでより短い実行時間が得られています。
Artificial Analysis · X
内容について
原文の公開と権利は出典元に帰属します。
機械翻訳 · 原文をご参照ください