Récemment, la renommée entreprise d’innovation en IA, Liquid AI, a officiellement lancé une nouvelle génération de famille de modèles de base – LFM3. La première version de cette série comprend six modèles avec un volume de paramètres d’environ 2B, couvrant pleinement plusieurs domaines tels que le texte, la vision, l’audio, l’omni et la prise de décision. Tous sont basés sur l’architecture de base LFM3-1.7B-Base, et le processus d’entraînement préalable a généré jusqu’à 22T de données de tokens.
Architecture hybride innovante : moins de paramètres, plus d'efficacité
LFM3 utilise une nouvelle structure de trois couches hybrides (Tri-hybrid layer mix), intégrant de manière organique la gating short convolution, le mécanisme d’attention par fenêtre glissante (SWA) et l’attention globale. Dans la structure totale de 24 couches, on trouve 13 couches de convolution, 5 couches d’attention par fenêtre glissante et 6 couches d’attention globale.
Par rapport à la génération précédente de produits, le LFM3 a subi une refonte complète au niveau de l’architecture et a considérablement étendu la portée des tests d’adaptation matérielle, couvrant 14 combinaisons d’équipements et de backends tels que téléphones mobiles, Raspberry Pi, ordinateurs portables, ainsi que diverses CPU en nuage, GPU et高通 NPU. Les tests montrent que, grâce à son design entièrement nouveau, le LFM3-1.7B reste identique aux générations précédentes pour les prompts courts, et sa vitesse lors du traitement de contextes 8K augmente d’environ 25 %. En même temps, son modèle de texte ne représente que environ 1 Go en quantification à 4 bits, réduisant considérablement l’exigence pour le déploiement côté client.
Matrice multimodale et de décision couvrant toutes les scénarios
Les six modèles de niveau 2B lancés pour la première fois ont chacun des caractéristiques uniques, et s’adaptent parfaitement à différents contextes d’utilisation :
Modèle de texte (LFM3-1.7B) : dispose d’un volet de contexte de jusqu’à 25K, et a bénéficié d’un entraînement approfondi pour les flux de travail d’un agent. Dans plusieurs tests de référence, sa capacité à suivre les instructions et à appeler les fonctions se distingue, et il peut fonctionner fluide sur une seule carte et soutenir une grande coopération entre agents en arrière-plan.
Modèle visuel (LFM3-VL-2B) : La première fois, il intègre la capacité d’entrée vidéo, permettant le raisonnement profond étape par étape, la déduction visuelle spatiale et la compréhension de l’interface graphique. Avec son nouveau codificateur visuel développé en interne, son efficacité computationnelle est considérablement améliorée par rapport à la génération précédente.
Modèle audio (LFM3-Audio-2B) : prend en charge la reconnaissance vocale dans 18 langues, la synthèse multilingue, l’analyse audio et les conversations vocales en temps réel. Il utilise une architecture complètement causale, avec un retard du premier caractère inférieur à 50 millisecondes.
Modèle omnimodal (LFM3-Omni-2B) : pour la première fois, visuel, audio et langage sont intégrés dans un seul modèle, permettant des réponses par question, la compréhension de vidéos audiovisuelles ainsi que des appels à outils intermodal, offrant une expérience d’interaction homme-machine plus naturelle.
Modèle de décision (d1-2B et d1-Omni-2B) : Conçu spécialement pour réaliser des décisions rapides à l’échelle de millisecondes. Il permet d’obtenir des résultats de décision structurés précis en fonction de textes complexes, images ou données audio, sans nécessiter d’interaction complexe en cloud.
Donner une force aux domaines verticaux et aux robots côté utilisateur
En plus de ses puissantes capacités générales, la famille LFM3 met l’accent dès le début du design sur l’intelligence spécialisée et les caractéristiques de ajustement facile. Les développeurs peuvent utiliser une seule GPU pour effectuer des ajustements coûteux faibles sur les modèles, les rendant applicables dans des domaines industriels verticaux tels que la détection des défauts sur les ailes des générateurs électriques. De plus, grâce à l’adaptation LoRA et à l’entraînement end-to-end, LFM3-VL-2B peut s’intégrer sans problème dans l’opération robotique, la navigation visuelle et le contrôle de l’intelligence mobile multimodale, permettant une inférence en temps réel efficace sur des matériels d’edge tels que Jetson.
Actuellement, les poids ouverts des modèles de la série LFM3 sont officiellement déployés, et ont reçu le soutien du premier jour deAMD, Qualcomm, NVIDIA, Apple MLX, ainsi que de toutes les grandes frameworks et plateformes de développement populaires.