IT之家 Information du 30 octobre : le développeur Divyansh Agrawal a publié le 22 octobre le modèle expérimental Qwenputer, construit sur la base de Qwen3.5-4B d'Alibaba,qui implémente au sein du réseau de neurones les fonctions d'un CPU RISC-V 32 bits et de sa mémoire, permettant au grand modèle de langage d'exécuter des programmes et des calculs précis sans recourir à des outils externes comme Python.
Selon le billet de blog cité par IT之家, les grands modèles d'IA traditionnels génèrent leurs réponses en prédisant le token suivant, et se trompent facilement face à des multiplications et divisions de grands entiers ou à de longues chaînes d'opérations, ce qui nécessite généralement d'appeler une calculatrice externe ou un interpréteur de code.
L'approche de Qwenputer consiste à « compiler » le jeu d'instructions RV32IM de RISC-V et ses extensions associées dans les poids du modèle, et à utiliser l'état interne du Gated DeltaNet de Qwen3.5 comme RAM, construisant ainsi dans le modèle un CPU capable d'exécuter des calculs arithmétiques, des branchements conditionnels et des programmes.
Les résultats des tests montrent que, pour la multiplication de grands entiers, le Qwen3.5-4B d'origine atteint une précision de 55 %, tandis que Qwenputer la porte à 97,5 % ; la division de grands entiers passe de 72,5 % à 97,5 % ; et les tests impliquant plusieurs multiplications et divisions atteignent 100 %.
Sur le benchmark NUPA de calcul sur de longs entiers, Qwenputer atteint 100 %, contre seulement 48,6 % pour la version standard. Le développeur indique que ce CPU a passé les tests officiels RISC-V et a exécuté environ 18 millions d'instructions consécutives sans erreur.
Le projet ajoute aussi de manière expérimentale un « système de fichiers dans le modèle », capable de stocker jusqu'à 512 fichiers, soit environ 5.3 万 tokens, dans l'état du Gated DeltaNet, et de les recharger dans les conversations suivantes. Lors des tests, les réponses utilisant des informations sauvegardées lors de conversations antérieures atteignent une précision de 90 %, contre seulement 30 % pour la méthode de contrôle consistant à injecter directement le contenu des conversations antérieures dans le modèle.
Cependant, Qwenputer a un coût évident : la taille du modèle augmente à environ 18,8 Go, soit près du double de l'original ; chaque instruction CPU nécessite la génération de plusieurs tokens, un calcul qui prenait quelques millisecondes peut désormais prendre plusieurs secondes ; et son exécution nécessite un pilote dédié, il ne peut pas être chargé directement comme un grand modèle ordinaire.
Le projet est open source sur Hugging Face et GitHub, et peut fonctionner sur un seul GPU équipé de 24 Go de mémoire vidéo.
Référence