16 octobre, Pékin – La société Par范式智能技术集团有限公司 (« Par范式 » ou « Groupe », code boursier : 6682.HK) et la société Beijing RuiSi ZhiLian Technology Co., Ltd. (« RuiSi ZhiLian ») ont annoncé que la plateforme de déploiement d’IA de niveau production « ModelSphere » est officiellement lancée. Cette plateforme est ouverte gratuitement aux utilisateurs professionnels et est open source. Elle intègre la gestion de la puissance de calcul, le déploiement des modèles et l’optimisation du fonctionnement dans une seule plateforme, aidant ainsi les entreprises à réduire les obstacles liés au déploiement et à l’exploitation, et à transformer plus efficacement la puissance de calcul en services d’IA sûrs, stables et utilisables dans des activités réelles. La plateforme est désormais open source sur GitHub.
Adresse GitHub : https://github.com/modelsphere/modelsphere
Avec l’entrée des grands modèles dans une phase commerciale à grande échelle, les entreprises se trouvent généralement confrontées à des problèmes tels que un faible taux d’utilisation des ressources, une fragmentation de l’écosystème des chips, des barrières élevées pour le déploiement et des difficultés dans l’ajustement de l’environnement de production. Le domaine de modélisation s’efforce d’intégrer ces activités dans un processus de déploiement et de gestion unifié, réduisant les investissements répétés des entreprises dans l’adaptation aux systèmes de base, la planification des ressources et l’exploitation quotidienne. Ainsi, les entreprises n’ont pas besoin de maîtriser en profondeur les tâches complexes telles que le compilation des drivers et l’adaptation au matériel, et peuvent intégrer divers grands modèles ouverts dans leurs processus métier clés, permettant ainsi aux équipes techniques de se concentrer davantage sur le développement des applications et les besoins métier.
Le domaine modulaire possède quatre avantages clés :
1. Simplifier le déploiement pour assurer un fonctionnement stable des services de modèle : Le domaine de modèle propose une interface d’opération graphique et des capacités de déploiement prêtes à l’emploi, réduisant ainsi les erreurs liées aux codes de configuration environnementale. Cela aide les développeurs à établir rapidement des services de raisonnement pour grands modèles, tout en simplifiant les opérations pour différents clusters de puces. La plateforme intègre des capacités professionnelles telles que l’autoscaling automatique, le déploiement séparé PD, un cache KV à trois niveaux, un équilibrage de charge hautement disponible et une continuité automatique en cas de coupure de service, permettant ainsi au service de modèle de fonctionner de manière stable dans un environnement de production.
2. Optimisation automatisée continue, amélioration de l'efficacité du fonctionnement du modèle : La plateforme intègre une stratégie de planification intelligente AutoTune pour les modèles, ainsi qu'un régime d’équilibrage de charge adaptatif combinant l’accélération matérielle, permettant d’optimiser la capacité du modèle à traiter les requêtes et la vitesse de réponse initiale. L’efficacité d’absorption totale du système a augmenté d’environ 285 % par rapport au point de base, et les performances ont été multipliées par 4, permettant ainsi une libération complète de la puissance computationnelle.
3. Gérer de manière unifiée plusieurs chips, réduisant ainsi les adaptations redondantes : La plateforme intègre le moteur de raisonnement EngineX, permettant des ajustements profonds pour différents chips de puissance, et permet d’organiser de manière unifiée et mixée l’utilisation des ressources de puissance informatique nationales telles que Huawei Ascend, Tiandayi Smartchip, Moore Thread, Haiguang DCU, sans que les utilisateurs aient besoin de réécrire le code logique de base pour chaque chip distinct.
4. Améliorer en continu l’adaptation aux modèles principaux et accélérer le déploiement des applications : L’équipe du domaine de modèle suit en permanence les itérations de la communauté open source. Elle a adapté et optimisé les modèles principaux tels que DeepSeek-V4/V4-Flash, Qwen, Kimi, MiniMax et GLM. Cela permet un déploiement rapide après la publication du modèle, ainsi qu’une optimisation du performance pour l’environnement de production, aidant ainsi les entreprises à mettre en œuvre de nouveaux modèles dans leurs activités réelles.
Au niveau technique, le domaine de modèle coopère avec des moteurs de raisonnement tels que vLLM et SGLang : les moteurs de raisonnement sont chargés d’améliorer l’efficacité de calcul d’un seul serveur, tandis que le domaine de modèle est responsable de la gestion et de l’optimisation au niveau de l’architecture de cluster, incluant le routage des requêtes sensible à la charge et aux caches, un pool de cache KV unifié, une expansion et une réduction automatiques basées sur la qualité de service, une reprise automatique en cas de coupure de service, une amélioration automatique du performance basée sur les données en ligne, ainsi que la surveillance et la gestion des services, afin de garantir un haut niveau de performance et d’ disponibilité du système dans un environnement de production.
Le domaine de modélisation est ouvert et open source selon le protocole léger Apache 2.0. La capacité d’implémenter et d’optimiser de gros modèles est mise à disposition de plus de entreprises et de développeurs. En même temps, les forces de l’industrie sont réunies pour améliorer continuellement le soutien aux différents chips et modèles, réduire les obstacles d’adaptation matérielle et abaisser les barrières d’application des gros modèles. Cela aide les entreprises à utiliser efficacement la puissance de calcul qu’elles possèdent et à libérer pleinement le potentiel commercial de la puissance de calcul hétérogène.
Cet article est fourni par Fanwei, repris avec l’autorisation de Qbit, les opinions appartiennent à l’auteur original.