Jin Lei, depuis Aofeisi (凹非寺)
量子位 | Compte public QbitAI
C'est vraimentC'est trop bon marché。
Devine, si je faisais une de ces vidéos virales comme celle-ci :GTA 6Style《邪恶老奶》, combien cela a-t-il fini par coûter ?
Adresse de la vidéo :
Lien : https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Une minute, 30 yuans ? 20 yuans ?
Aucun de ces prix —
seulement5,4 yuans !Une fois converti,ça fait 0,09 yuan la seconde.
Alors, quel est donc cet AI si bon marché ?
Sans faire durer le suspense, il s'agit justement duVidu Q4 version preview, récemment ouvert par Shengshu Technology。
Adresse de la vidéo :
Lien : https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Cependant, 0,09 yuan/seconde n'est que le prix de départ, qui correspond au 720P ; les prix varient selon les résolutions et les modes ; mais en fin de compte, c'estpour le même prix, tourner 5 fois plus de scènes。
Outre le prix, le Vidu Q4 version preview offre une qualité d'image jusqu'à 4K en sortie directe, et les spécifications ultra HD comme le 2K et le 4K peuvent également être générées en grande quantité ; concernant les matériaux de référence, on peut utiliser jusqu'à 15 images de référence et 3 extraits audio de référence en une seule fois.
Bien entendu,sur le plan du jeu d'acteur, le Vidu Q4 version preview sait également s'y prendre à la perfection.
Par exemple, nous avons de nouveau réalisé un épisode spécial avec la méchante vieille dame : le contexte est que son époux a ensuite fredonné une chanson qu'elle aimait écouter dans sa jeunesse ; se rendant compte que l'autre s'est toujours souvenu de ses goûts, la vieille dame ne peut retenir ses larmes :
Adresse de la vidéo :
Lien : https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Alors, comment la version preview de Vidu Q4 se comporte-t-elle sur les autres aspects ?
Allez, une série de tests approfondis, c'est parti~
Capable de jouer la comédie, et en plus très abordable
La méthode d'opération testée est très simple : nous nous rendons sur la pageréférence-image-vers-vidéooù l'on commence par téléverser les ressources nécessaires (images, audio, etc.), puis on les insère respectivement aux positions correspondantes dans le prompt.
Pour le modèle, nous avons choisi la version preview de Vidu Q4, puis selon les besoins spécifiques, on ajuste simplement la durée, la netteté, le rapport hauteur/largeur et le nombre de générations :
Pour la première série de tests, examinons d'abord les talents d'acteur de la version preview de Vidu Q4Contrairement à la grand-mère de tout à l'heure, cette fois nous remplaçons les protagonistes par un homme et une femme étrangers, et les dialogues deviennent anglais :。
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Lien : https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
En matière de jeu d'acteur, ce genre de pause sans dialogue est peut-être plus difficile à réussir que des pleurs ou des rires forcés.
Après les scènes dramatiques, regardons maintenant l'effet des
scènes d'action.Regardons directement la vidéo
Regardons directement une œuvre au style manga réalisée par l'utilisateur de Vidu « Xinghuo 279 » :de style manga réalisée par l'utilisateur Vidu « 星火279 »：
Adresse de la vidéo :
Lien : https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
La vidéo entière dure environ 10 secondes ; que ce soit les sprints, les impacts ou les changements de plan, tous les détails restent parfaitement cohérents.
Passons maintenant à quelque chose de plus imaginative.
Cette fois, le décor est un immense dispositif suspendu au-dessus d'une mer de nuages. Un astronaute se tient sur une plate-forme d'observation, face à une structure mécanique hexagonale et au disque sombre central :
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Ce qui démontre le mieux la puissance de l'IA dans cette vidéo, c'est en réalité la lumière.
Pendant les quelques secondes où la megastructure s'illumine, la combinaison spatiale blanche de l'astronaute, les garde-corps à ses côtés et la mer de nuages sous ses pieds sont tous teintés d'une couche d'orange chaud ; quand la lumière retombe, l'image revient à la teinte originelle plus froide du ciel.
On peut voir que les effets de Vidu Q4 version preview ne sont pas un simple filtre plaqué sur l'image, mais qu'ils influencent réellement l'environnement alentour.
Enfin, encore une vidéo pratique :publicité pour le café：
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Doux, toujours aussi doux.
Et surtout, si l'on calcule toutes les vidéos précédentes au tarif 720P, 6 vidéos complètes, soit un total d'environ 110 secondes, n'ont coûté quemoins de 10 yuans !
De nombreux utilisateurs de Vidu ont également proposé d'autres utilisations intéressantes, comme des vidéos destyle traditionnel chinois:
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
ainsi que des vidéos enstyle cartoon ancien:
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Bref, Vidu Q4 version preview est une IA vidéo depremier rang, dans le style« rapide, efficace, économe et de qualité ».
Comment y est-on parvenu ?
Après avoir testé tout cela, une question se pose donc :
Également une vidéo IA, pourquoi la version preview de Vidu Q4 parvient-elle à jouer de manière si crédible les larmes d'une grand-mère, le silence d'une arrière-cour, les coups de poing sur un quai ?
Tout d'abord, du point de vue de son positionnement, Vidu Q4 est le modèle phare de nouvelle génération de génération vidéo de Shengshu Technology, et l'objectif de cette génération estune expressivité saisissante。
La version preview ouverte cette fois-ci est la première version de Q4 destinée aux créateurs, avec trois capacités d'abord proposées : une interprétation des personnages plus expressive, un langage de caméra plus tendu et des scènes à effets visuels plus percutantes.
Or ces trois capacités sont précisément là où de nombreuses vidéos IA se révèlent le plus souvent défaillantes.
La première estle jeu d'acteur. Le problème de nombreux personnages IA n'est pas qu'ils ne ressemblent pas à des humains, mais qu'ils ne semblent pas jouer : les expressions semblent posées, les émotions changent du tout au tout, sans transition. Ce que la version preview de Q4 renforce cette fois, c'est justement la finesse des expressions, des émotions et des mouvements corporels.
En outre, la voix est elle aussi intégrée au jeu d'acteur. Comme nous venons de le dire, la version preview de Q4 prend en charge jusqu'à 3 audios de référence, ce qui revient à définir d'abord un échantillon de voix pour le personnage, le modèle prononçant ensuite ses répliques avec ce timbre. Ainsi, le même personnage changeant de scène ou d'émotion garde la même voix, et peut parler avec de l'émotion.
La deuxième estla caméra. La version preview de Vidu Q4, dans les mouvements de caméra comme le suivi, le mouvement orbital, le travelling avant-arrière et la plongée-contreplongée, parvient à préserver plus stablement les relations entre personnages, sujets et espace ; au sein d'une même génération, elle peut aussi alterner entre plans larges, plans moyens et gros plans.
Elle prend également en charge la vue FPV, c'est-à-dire ce type de caméra à la première personne d'un drone de course qui fonce à grande vitesse au ras du décor. Un plan unique peut durer au maximum 16 secondes, ce qui laisse justement de la marge pour les actions continues et les avancées de caméra.
Adresse de la vidéo :
https://mp.weixin.qq.com/s/Up_tCeaXu3_r2cDYHU1UEQ
Ensuite viennentles effets spéciaux et les textures。
. Générer une explosion n'est en fait pas difficile ; ce qui est difficile, c'est souvent ce qui suit l'explosion : la lueur du feu a-t-elle éclairé les alentours, la fumée et les particules se dispersent-elles dans le sens du mouvement, les mouvements des personnages sont-ils en phase avec le rythme des effets spéciaux.
Ce que la version preview de Vidu Q4 améliore cette fois, c'est de faire évoluer les effets spéciaux de concert avec les personnages, l'environnement et la caméra. Les quelques secondes où la mégastructure s'est illuminée dans notre test précédent, où la combinaison spatiale et la mer de nuages ont été teintées ensemble d'un orange chaud, illustrent précisément cet effet.
Et sur le plan de laqualité d'image, la version preview de Vidu Q4 prend en charge une sortie native jusqu'en 4K. Que ce soit via le MaaS accessible par API ou le SaaS utilisé directement dans le produit Vidu, il est possible d'obtenir des images en 4K.
La dernière capacité estles références multiples, qui concerne davantage la facilité d'utilisation de l'IA. La version preview de Vidu Q4 prend en charge jusqu'à 15 images de référence et des références de sujets : personnages, vêtements, accessoires et décors peuvent être confiés respectivement à différentes images de référence, leurs relations étant ensuite précisées par le texte. Comme la grand-mère du début, qui devait alterner entre une place, une casse et la rue tout en gardant une apparence cohérente, cette capacité s'avère particulièrement utile.
Bien que le jeu d'acteur, la caméra, les effets spéciaux et les multiples références ne soient pas des termes nouveaux pris isolément, les réussir tous en même temps, tout en faisant baisser le prix à quelques dizaines de centimes, voire quelques centimes par seconde, change tout.
Parce que c'est moins cher, on ose davantage essayer et recommencer
Ceux qui ont déjà joué avec les vidéos IA connaissent sans doute bien le terme« tirage de cartes »gacha.
Car aujourd'hui, le tirage fait carrément partie du processus créatif, mais en réalité, chaque tirage coûte de l'argent, et bien des idées ne peuvent pas toutes être testées avant que le budget ne soit épuisé.
Mais si le prix baisse, cette hésitation diminue nettement. Pour les créateurs, faire des vidéos IA peut enfin ressembler à prendre des photos avec son téléphone : appuyer plusieurs fois sur le déclencheur, et recommencer si le résultat ne plaît pas.
Selon la tarification que nous avons testée, même en regénérant chaque plan deux ou trois fois, le coût des quelques vidéos précédentes ne dépasse pas 20 ou 30 yuans ; dans la création réelle, cela revient à« la même somme d'argent pour 5 fois plus de scènes »。
Selon ce que l'on sait, le prix de la version preview de Vidu Q4 est lié aux spécifications. Côté MaaS, la génération de vidéo à partir d'image est à environ 0,6 yuan/seconde en 720P et environ 0,75 yuan/seconde en 1080P, avec une tarification par paliers ; côté SaaS, une offre à durée limitée de deux mois est lancée pendant la phase de version preview, permettant de faire descendre certains coûts d'utilisation à quelques centimes par seconde. Pour profiter du prix le plus avantageux, il faut d'abord bien vérifier quelle spécification l'on choisit.
Après avoir parlé du prix, revenons à ces séries de tests : on remarque que les œuvres de Vidu ont un caractère assez singulier.
Une grand-mère brandissant son éventail rouge débarquant dans une casse, deux personnages d'anime s'échangeant des coups, une mégastructure au-dessus d'une mer de nuages s'illuminant avec fracas ; mais dès que la caméra pivote, la grand-mère peut sourire les larmes aux yeux, et le couple dans la cour peut rester face à face dans le silence.
Passionnant, intenses, capable de grands spectacle comme de scènes dialoguées subtiles. Nous aimons appeler cette sensation« la touche Vidu »。
D'où vient cette touche ? Peut-être, comme le dit Shengshu Technology, parce que l'équipe de R&D de Vidu rassemble un groupe de jeunes talents techniques qui ne se contentent pas de surveiller les métriques des modèles, mais gardent aussi une grande sensibilité aux jeux vidéo, à l'animation, au cinéma et aux effets visuels.
Dans une certaine mesure, cette « touche Vidu », c'est ce groupe de jeunes chercheurs qui a entraîné peu à peu son esthétique technique et ses goûts créatifs dans le modèle.
Si même la version preview sait déjà aussi bien jouer, la version officielle mérite que nous l'attendions avec encore plus d'impatience.
Enfin, un cadeau pour finir :
À partir d'aujourd'hui, connectez-vous sur Vidu.cn : les nouveaux utilisateurs reçoivent 500 points à l'inscription (code d'invitation : LIANGZIQ4).