量子位

智谱新モデル、490トークン/秒!

GLM「速度仙人」が来たか?

雨音 発信元:凹非寺
量子位 | 公式アカウント QbitAI

智谱は新たにGLM-5.3-Highspeedモデルを、Zcode内で発売しました。

ネットユーザー@leo114119によると、この新しいモデルは現在Zcode 3.15.1で体験が公開されており、サブスクリプション利用者にはランダムで入手できるという。

彼の出力速度は、490トークン/秒にまで達した。

私もすぐにZcodeで試してみました。手動で追加し、このモデルを切り替えてみました。

しかし、Liteプラン利用者が利用資格を持っていないからなのか、それとも利用が進んでいないからなのかわからない😭...

先に海を仰ぎ見てため息をつくしかない(:з」∠)

GLM-5.3高速版が出たか?

高速モデルである以上、最も注目すべきは当然速度です。

490TPS——このネットユーザーが公開したスピード数値もかなり恐ろしく、500TPSに近いです。

TPSとは、1秒あたりに生成されるトークン数のことです。この速度を維持していれば、1万個のトークンを出力するには、生成段階だけで約20秒必要となります。

ご存知の通り、先月智谱が発表したGLM-5.3-FlashXの最高速度も200トークン/秒に過ぎません。

人工解析のスピード測定によると、GLM-5.3-FlashはZ.ai API上で約60トークン/秒の出力速度を示す。

この新しいモデルはどのくらいのスピードですか、仙人さん???

また、GLM-5.3-Highspeedという名前には、以前から兆候がありました。

PiのモデルカタログにはGLM-5.3-Highspeedが収録されています。

この目次では、GLM-5.3-Highspeedの文脈ウィンドウは100万トークンで、最大生成トークン上限は131,072、約128kです。また、low、high、maxの3つの思考強度設定も設けられています。

しかし、これらの設定はGLM-5.3一般版とも一致しています。

また、Redditでこの新しいモデルについて議論するユーザーもおり、それがOpenCode上の匿名モデルOmen Alphaと関係があるかもしれないと推測しています。

オメン・アルファは9月に新たなOpenCodeをリリースし、ネットユーザーによってGLMと関係があることが明らかになった。

また、ネットユーザーがペリカン自転車の運動能力を実際に試したところです。。

要するに、速度が速く、考えるのが時間がかかり、効果もかなり良いです。

Omen Alphaが一体どのようなモデルなのかについても、意見が分かれている。

ある人はそれがGLM-5.3-Highspeedだと言い、またある人はGLM-5.3-OmniやGLM-5.4-Flashだと推測している。

以前、智谱も高速版モデルを発表していました。

今年の5月、智谱はGLM-5.1-highspeedを発表しました。このモデルの出力速度は400トークン/秒で、当時としては世界の大規模モデルメーカーのAPIの速度上限を更新したものでした。

今回のGLM-5.3-Highspeedが本当に490 TPSのレベルに達したら、長距離任務においてもかなりの速さになります。

現在、この新しいモデルはZcodeでランダムなグレースケール処理が行われています。グレースケールになったネットユーザーの方がいれば、ご自身の実際の使用体験を共有してくれると嬉しいです!!

原文の出典

量子位

内容について

原文の公開と権利は出典元に帰属します。

機械翻訳 · 原文をご参照ください