Par 听雨, depuis 凹非寺
Quantum Bit | Compte officiel QbitAI
Zhipu a lancé un nouveauGLM-5.3-Highspeedmodèle, disponible dans Zcode.
Selon la révélation de l'internaute @leo114119, ce nouveau modèle est déjà accessible en essai dans Zcode 3.15.1, attribué au hasard aux utilisateurs abonnés.
La vitesse qu'il a montrée atteint même490 tokens/s。
Je suis allé(e) tout de suite l'essayer dans Zcode, en tentant d'ajouter et de basculer manuellement vers ce modèle.
Mais on ne sait pas si c'est parce que les utilisateurs du forfait Lite n'ont pas encore droit d'y accéder, ou parce que le déploiement progressif ne m'a pas atteint 😭...
Je ne peux que contempler de loin pour l'instant (：з」∠)
GLM-5.3 version haute vitesse est-il là ?
Puisqu'il s'agit d'un modèle haute vitesse, ce qui mérite le plus d'attention, c'est bien sûr lavitesse.
490TPS— ce chiffre de vitesse révélé par cet internaute est assez terrifiant, proche de 500TPS.
TPS désigne le nombre de tokens générés par seconde. Si cette vitesse se maintient en continu, la production de 1万 tokens prendrait environ 20 secondes, en ne comptant que la phase de génération.
Il faut savoir que le GLM-5.3-FlashX, que Zhipu vient tout juste de publier le mois dernier, atteignait au maximum 200 tokens/s.
Et selon les mesures de vitesse d'Artificial Analysis, le GLM-5.3-Flash sur l'API Z.ai affiche une vitesse de sortie d'environ 60 tokens/s.
Mais quelle sorte de démon de vitesse est ce nouveau modèle ???
De plus, le nom GLM-5.3-Highspeed avait déjà donné des indices auparavant.
Le catalogue de modèles de Pi a déjà répertorié le GLM-5.3-Highspeed.
Dans ce catalogue, le GLM-5.3-Highspeed possède une fenêtre de contexte de 100万 tokens, avec une limite maximale de génération de 131,072 tokens, soit environ 128k ; il comporte également trois niveaux de configuration d'intensité de réflexion : low, high et max.
Cependant, ces configurations sont identiques à celles de la version ordinaire du GLM-5.3.
Par ailleurs, des internautes ont déjà discuté de ce nouveau modèle sur reddit, en se demandant s'il était lié au modèle anonymeOmen Alphasur OpenCode.
Omen Alpha vient tout juste d'arriver sur OpenCode en septembre, et les internautes ont pratiquement déjà établi qu'il était lié à GLM.
Un internaute a aussi testé le niveau du pélican en vélo...
En résumé :Vitesse rapide, longue réflexion, et résultats plutôt bons。
Quant à ce que représente exactement Omen Alpha, les avis divergent.
Certains disent que c'est GLM-5.3-Highspeed, d'autres supposent GLM-5.3-Omni ou GLM-5.4-Flash.
Auparavant, Zhipu avait également lancé des versions haute vitesse de ses modèles.
En mai de cette année, Zhipu a lancéGLM-5.1-highspeed, un modèle dont la vitesse de sortie était de 400 tokens/s, ce qui était à l'époque pratiquement un record mondial pour la limite de vitesse des API des grands fournisseurs de modèles.
Si GLM-5.3-Highspeed parvient réellement à atteindre 490 TPS, la vitesse sera alors tout à fait considérable pour les tâches de longue durée.
Actuellement, ce nouveau modèle est encore déployé en gray release aléatoire dans Zcode ; si vous en faites partie, n'hésitez pas à partager votre expérience de test !!