Non loin du bureau de Leifeng à Pékin, on peut voir la tour Sigma, ce qui rappelle toujours cette époque où les héros se levaient en masse.
Il y a vingt-quatre ans, c'est précisément là qu'a eu lieu, au sein du Microsoft Research Asia, une course.
Deux équipes ont été alignées simultanément sur l'arène pour comparer leurs algorithmes de détection de visages ; même si rien n'était dit explicitement, tout le monde savait pertinemment que cela pouvait déterminer qui resterait et qui partirait.
D'un côté, un jeune docteur diplômé depuis moins de deux ans, dont la spécialité n'était même pas la détection de visages, qui s'est lancé hâtivement avec quelques stagiaires, avec un planning qui paraissait complètement brouillon de l'extérieur.
De l'autre, une étoile montante du monde académique : son système venait d'être présenté en personne par Bill Gates lors d'une fête mondiale de la technologie, CNN lui avait consacré un reportage, et le Manuel de reconnaissance des visages qu'il avait coécrit avec le vénérable indo-américain Anil K. Jain circulait dans le monde entier — un véritable prodige de l'école.
Trois mois plus tard, c'est le premier qui a gagné, stupéfiant tout le monde.
Bien des années après, on a découvert peu à peu que ce jeune docteur et les stagiaires qu'il encadrait à l'époque ont fini par porter presque la moitié de l'IA chinoise.
Cet homme, c'est Zhang Lei.
Aujourd'hui, la chaîne Zuolin Youli raconte à ses voisins son histoire.
01 Une phrase du maître, vingt ans du disciple
Zhang Lei a fait sa licence, son master et son doctorat à Tsinghua.
À l'époque, l'intelligence artificielle était une discipline complètement marginale : sans même parler de trouver un emploi, si vous disiez à quelqu'un « j'étudie l'IA », il vous prenait pour un auteur de science-fiction.
Pendant sa licence et son master, il a travaillé au sein du groupe d'enseignement et de recherche en intelligence artificielle du département d'informatique sur des robots mobiles, plus précisément des AGV, des chariots autoguidés.
Faire de l'AGV à cette époque n'avait rien à voir avec aujourd'hui : pas de LiDAR à disposition, pas d'algorithmes SLAM éprouvés, il fallait soi-même souder le matériel et régler les paramètres.
Zhang Lei passait une grande partie de son temps libre dans le laboratoire, à se battre avec les circuits imprimés et les microcontrôleurs, écrivant du code assembleur pour réaliser les différentes fonctions de l'AGV : localisation autonome, évitement d'obstacles par ultrasons, communication sans fil, commande par panneau, etc.
Des années plus tard, Zhang Lei racontait cette période à la chaîne Zuolin Youli, estimant que cette expérience du bricolage de bout en bout, du matériel de base jusqu'aux algorithmes de haut niveau, a constitué ensuite les fondations de ses compétences en ingénierie.
En 1999, alors qu'il était en deuxième année de doctorat, Zhang Lei est entré en stage au MSRA, qui venait d'être créé.
Le MSRA, premier institut de recherche fondamentale fondé par Microsoft en Chine, établi à Pékin l'année précédente et surnommé plus tard par l'industrie « l'académie militaire de Huangpu de l'IA chinoise », a vu passer Lee Kai-fu, Zhang Yaqin, Harry Shum, Wang Jian, He Kaiming et quasiment tous les porte-étendards de l'industrie chinoise de l'IA.
Zhang Lei a intégré le groupe parole et langage de Lee Kai-fu : un chercheur en robots mobiles qui se lance dans la parole et le langage, un début plutôt accidentel.
Mais cette expérience a eu un « sous-produit » extrêmement important — à la fin du stage, son camarade Di Shuo l'a présenté à Zhang Hongjiang.
Le nom de Di Shuo, bien que difficile à prononcer, devait compter : il fut l'un des six responsables techniques de Google Chine, appelé par l'industrie l'un des « six sages de Google », et son titre de gloire plus légendaire encore est d'avoir introduit le système d'exploitation mobile Android en Chine, ce qui lui valut le titre de « premier homme d'Android en Chine ».
Son épouse et condisciple Zhang Xiaopei est une légende du département d'informatique de Tsinghua : chez Microsoft, elle a travaillé sur le ciblage publicitaire en ligne de précision ; chez Hulu, elle a été vice-présidente mondiale ; revenue en Chine, elle a été successivement CTO de Yixin, CTO de Guazi Used Cars, puis a fondé la société de commerce électronique transfrontalier Quanliang Quansu, levant 30 millions de dollars dès le tour d'amorçage ; Xiang Liang, que l'on connaît ensuite comme grand maître des recommandations chez ByteDance, a été son subordonné, entre autres.
Cet automne 1999, Di Shuo, en bon camarade chinois, a présenté Zhang Lei à Zhang Hongjiang, et cette recommandation en apparence minuscule a changé la trajectoire académique de Zhang Lei pour les vingt années suivantes.
Zhang Hongjiang est le pionnier fondateur de la recherche vidéo par ordinateur, membre de l'IEEE Fellow et de l'ACM Fellow, membre étranger de l'Académie nationale d'ingénierie des États-Unis, et il a ensuite été CTO du Microsoft Asia-Pacific R&D Group et CEO de Kingsoft. Il y a quelques années, dans le classement mondial TOP 1000 des scientifiques en informatique et en électronique, la Chine continentale comptait 53 élus, et Zhang Hongjiang était premier.
Revenons à l'époque.
Zhang Hongjiang appréciait beaucoup Zhang Lei et lui a recommandé de nombreux articles et orientations de recherche.
C'est à partir de ce moment que Zhang Lei est entré systématiquement dans le domaine de la recherche d'images : des robots mobiles à la vision, sa direction académique a dès lors pris un tournant.
Durant cette période, Zhang Lei avait par ailleurs un autre statut : celui de doctorant de l'académicien Zhang Bo, et entre les deux existait une relation maître-disciple, une transmission directe, ignorée du grand public.
Pourquoi le dire ainsi ?
Le canal Zuo Lin You Li dévoile ici une confidence qui s'arrête là, prenez-la simplement comme une anecdote : selon la rumeur, Zhang Bo avait vigoureusement poussé Zhang Lei à retourner à l'université, et Zhang Lei avait aussi l'intention de rester à Tsinghua. Mais à l'époque, pour des raisons d'époque et familiales, Zhang Lei n'a pas pu rester à Tsinghua et a finalement rejoint Microsoft.
On voit aussi à quel point les opportunités de Zhang Lei étaient exceptionnelles à cette époque.
Zhang Bo est membre de l'Académie des sciences de Chine, l'un des véritables pionniers fondateurs du domaine de l'intelligence artificielle en Chine, et professeur au département d'informatique de Tsinghua. Dès les années 1980, il promouvait la recherche en IA en Chine, à une époque où le terme « intelligence artificielle » n'était pas encore répandu, et ce qu'il faisait s'appelait « robots intelligents » et « systèmes experts ».
Zhang Lei s'est souvenu d'une scène qui a marqué profondément le canal Zuo Lin You Li.
Il raconte qu'à l'époque, pendant les expériences, son directeur Zhang Bo s'asseyait à côté de lui, regardait avec enthousiasme les résultats à l'écran et disait « modifie cet endroit et voyons ce que ça donne ».
Zhang Lei dit : « De cette manière, le professeur Zhang approfondissait aussi sa propre compréhension du domaine. J'ai pu voir de façon directe que la compréhension des problèmes par un chercheur est entièrement motivée par la curiosité. »
Zhang Bo a laissé à Zhang Lei une phrase qui lui a laissé une profonde impression, une seule.
« Comprends le problème à fond. »
Ça paraît d'une simplicité déconcertante, n'est-ce pas ?
Mais Zhang Lei l'a gravée dans ses os. Il dit : « Si on ne comprend pas à fond, on se fait tromper ; ce n'est qu'en comprenant à fond qu'on sait de quoi relèvent les principes sous-jacents. »
Ne pas courir après les concepts à la mode, ne pas se contenter d'ajustements marginaux des métriques. Autour d'un problème, s'y enfoncer comme un clou, fermement.
Cette méthodologie a par la suite parcouru toute la carrière de Zhang Lei.
Mais ce qu'il ignorait alors, c'est que cette méthodologie allait bientôt subir une épreuve pratique d'une extrême rudesse.
02 银鞍照白马，飒沓如流星
En 2001, Zhang Lei a obtenu son doctorat et a envoyé son CV au groupe de Zhang Hongjiang.
En circulant, le CV est tombé entre les mains de Wang Jian.
Ce Wang Jian est un personnage légendaire. Il est devenu par la suite membre de l'Académie d'ingénierie de Chine, fondateur d'Alibaba Cloud, a dirigé le développement de « Feitian », le seul système d'exploitation cloud développé en propre par la Chine, et est surnommé « le père d'Alibaba Cloud ».
Mais ce qui est encore plus dramatique, c'est son parcours : il est docteur en psychologie, premier étudiant en psychologie de tout le pays à avoir reçu un doctorat en ingénierie, il a rejoint le MSRA en 1999 et est devenu par la suite directeur adjoint exécutif.
Quelqu'un qui a étudié la psychologie s'est taillé de force, dans le domaine de l'informatique, le titre de « père d'Alibaba Cloud ».
Vraiment, les circonstances font les héros.
Quand Jack Ma l'a débauché de Microsoft en 2008, les sceptiques étaient nombreux : un psychologue comme CTO ? Wang Jian a dit plus tard une phrase : « C'est au MSRA que j'ai complété mes compétences en ingénierie. »
On voit ici l'importance du MSRA pour Wang Jian.
Revenons au jour où le CV de Zhang Lei est arrivé entre les mains de Wang Jian : Wang Jian recrutait aussi.
Il a regardé le CV de Zhang Lei, lui a proposé un repas, et lui a présenté un à un les projets les plus pointus du MSRA : interfaces utilisateur naturelles, traitement de données à grande échelle, recherche fondamentale en apprentissage automatique, avec beaucoup de considération.
Alors que Zhang Lei hésitait sur la façon de répondre à l'invitation sincère de Wang Jian, il a rencontré Zhang Hongjiang, qui a dit sans la moindre hésitation : « Tu dois évidemment venir dans notre groupe, ton domaine de recherche est ici. »
Sur cette seule phrase, les directions concordant, l'offer a été réglé.
Le lendemain de la fin de ce « duel de grands noms pour un prodige », Zhang Lei a reçu sa lettre d'embauche.
En écrivant ce passage, le canal Zuo Lin You Li laisse sans doute beaucoup de lecteurs se perdre en conjectures.
Si ce repas avait permis à Wang Jian de convaincre Zhang Lei, le cours de cette histoire aurait été complètement différent : Zhang Lei aurait peut-être suivi Wang Jian jusqu'à Alibaba Cloud et serait devenu un pilier technique central de « Feitian ».
Mais l'histoire ne fait pas de suppositions.
La phrase de Zhang Hongjiang, « tu dois évidemment venir ici », a gardé Zhang Lei sur la voie de la recherche multimédia et de la vision par ordinateur. Avec le recul, c'était peut-être le bon choix, mais avoir manqué Wang Jian reste vraiment une chose regrettable.
Cette année-là, 40 Chinois ont rejoint ensemble le MSRA, et Zhang Lei n'était que l'un d'entre eux.
Le tournant a lieu en 2002.
Le groupe produit du siège de Microsoft voulait intégrer la détection de visages dans Windows, ce qui était à l'époque une tâche extrêmement difficile : quand l'ordinateur « voyait » un visage, le taux de fausses alertes était ridicule — vous lui donniez une photo, il vous disait qu'il y avait un visage, et quand vous regardiez, c'était un lampadaire.
En interne, le MSRA décida d'organiser une course de chevaux : deux équipes s'affronteraient, celui dont l'algorithme serait le meilleur survivrait.
D'un côté, Li Ziqing. C'était un expert en reconnaissance faciale qui avait développé au MSRA le premier système de reconnaissance faciale en temps réel au monde, Eye-CU.
En 2002, lors du carnaval technologique de Microsoft, il fut présenté en personne par Bill Gates ; ce jour-là, un journaliste de CNN était présent, il se fit d'abord identifier par Eye-CU, puis dit à Gates : « la vraie clé, c'est de t'identifier, toi ». Gates s'assit, le système l'identifia avec succès, et CNN fit ensuite un reportage spécial.
Li Ziqing avait également coécrit avec Anil K. Jain, sommité américano-indienne de la vision par ordinateur, le premier « Manuel de reconnaissance faciale » au monde, premier ouvrage de référence dans le domaine de la reconnaissance faciale, encore aujourd'hui un classique incontournable des citations.
De l'autre côté, il y avait Zhang Lei.
La spécialité de Zhang Lei était la recherche d'images ; les visages n'étaient qu'une « activité secondaire », et en quelque sorte, il avait été entraîné là-dedans.
Il avait avec lui Xiao Rong, Zhu Long et Chen Longbin ; tout son capital se résumait à ces quelques personnes.
Plus grave encore : si ce duel était perdu, tout le groupe Face risquait d'être dissous.
La première chose que fit Zhang Lei, Zhu Long devait la rappeler pendant de longues années.
Il ne se mit pas immédiatement à écrire du code, mais commença par procéder à une évaluation exhaustive de tous les algorithmes de détection de visages existants. Le résultat fit froid dans le dos : le taux de fausses alertes était « un acheté, un offert » — pour un visage correctement détecté, un résultat erroné était produit.
Zhang Lei prit soudain conscience d'un problème : les indicateurs académiques et les indicateurs d'ingénierie, ce sont deux choses différentes.
Dans les articles académiques, on compare le « taux de détection », mais dans un produit réel, les utilisateurs ne se soucient absolument pas que votre taux de détection soit de 95 % ou de 97 %. Ce qui intéresse l'utilisateur, c'est de savoir si vous pouvez marquer uniquement les visages, sans marquer aussi les lampadaires, les arbres et les panneaux.
Un système avec un taux d'échec de 50 % de type « un acheté, un offert », confié à des centaines de millions d'utilisateurs de Windows, et la réputation de Microsoft s'effondrerait directement.
Zhang Lei fit donc quelque chose que presque personne ne faisait au MSRA à l'époque : redéfinir le système d'évaluation.
Il posa une question fondamentale : quel est, au fond, le besoin essentiel des utilisateurs vis-à-vis du produit ?
Autour de cette réponse, il redéfinit ce qu'est une « bonne » détection de visages : non pas le taux de détection le plus élevé, mais le taux de fausses alertes le plus bas. Ensuite, il réécrivit tout le code d'inférence en C++, et ajouta un module d'analyse visuelle, afin que chaque décision de l'algorithme puisse être vue, comprise et améliorée.
Trois mois plus tard.
Le taux de fausses alertes passa de « un acheté, un offert » à 1 %, et le taux de rappel augmenta considérablement dans le même temps.
Finalement, la solution fut intégrée dans Windows.
Ce fut le premier algorithme de détection de visages véritablement au niveau produit de Microsoft ; dans les ordinateurs de plusieurs centaines de millions d'utilisateurs dans le monde tournait du code écrit par un jeune homme d'un peu plus de 30 ans, diplômé de doctorat depuis moins de deux ans, avec trois ou quatre stagiaires.
Plusieurs protagonistes se souvinrent plus tard devant la chaîne Zuolin Youli : quand le résultat du duel parvint aux différents groupes du MSRA, tout l'institut de recherche en fut ébranlé. Non pas parce que Zhang Lei avait gagné, mais parce qu'il avait gagné de façon trop totale. Un homme venu de la recherche d'images avait, en matière de détection de visages, battu l'expert le plus influent du domaine de la reconnaissance faciale, et pas de justesse : un écrasement complet.
Shen Xiangyang s'en souvint.
Shen Xiangyang était alors le supérieur de l'équipe de Li Ziqing ; son as venait d'être battu — la réaction normale d'une personne aurait été la contrariété, le refus de l'admettre, ou faire semblant de ne rien voir, mais ce ne fut pas son cas.
Zhang Lei se rappela plus tard qu'après le duel, celui dont l'équipe avait été battue « s'est souvenu de moi », sur un ton détaché, comme s'il s'agissait d'une anecdote sans importance.
Il faut que la chaîne Zuolin Youli explique la portée de cet événement. Du côté chinois.
Shen Xiangyang était le troisième directeur du MSRA et scientifique en chef ; il gravit ensuite les échelons jusqu'à devenir vice-président exécutif mondial de Microsoft, le plus haut poste jamais atteint par un Chinois dans l'histoire de Microsoft.
Être retenu par lui signifiait qu'aux moments décisifs de votre carrière, il y aurait toujours une paire d'yeux attentive à vous.
À partir de ce moment, Zhu Long eut une admiration totale pour Zhang Lei.
Zhu Long était quelqu'un d'extrêmement sûr de lui, voire quelque peu arrogant ; il fonda ensuite Yitu Technology, parvenant à la première place du secteur de la reconnaissance faciale pour la sécurité, avec une valorisation ayant dépassé 15 milliards de yuans à un moment donné, et c'était le plus solide techniquement des « quatre petits dragons » chinois de l'IA.
Au sein d'Yitu, il ne fait presque jamais de compliments, mais quand il évoque Zhang Lei, c'est toujours pour dire « c'est un véritable maître de l'ingénierie ». Il dit que Zhang Lei est le chercheur aux compétences d'ingénierie les plus fortes qu'il ait jamais vus : « sa vitesse et la qualité de son écriture de code, je n'ai pas encore pu les égaler à ce jour ».
Yan Shuicheng, celui qui fut plus tard élu membre de l'Académie d'ingénierie de Singapour, dit un jour à quelqu'un, des années plus tard : « Si Zhang Lei n'avait pas pris la tête de l'équipe, ce groupe aurait peut-être été complètement dissous ».
Ce n'était pas une formule de politesse.
À l'époque, à la MSRA, quand un groupe était éliminé lors d'une PK, le résultat était sa dissolution, et ses membres étaient redirigés chacun de leur côté.
Zhang Lei a, en l'espace de trois mois, sauvé tout le groupe et la carrière de chacun de ses membres.
Mais la chaîne Zuolin Youli estime que le sens le plus profond de cette course de chevaux ne réside pas là.
Le sens le plus profond, c'est que les personnes que Zhang Lei dirigeait à l'époque sont devenues, pour la plupart, des figures majeures dans les différents domaines de l'industrie technologique chinoise.
Parmi ses stagiaires se trouvait même Huang Zheng.
Huang Zheng, à l'époque, n'était qu'un étudiant en quatrième année venu de l'université du Zhejiang pour un stage, où il effectuait des travaux de base « de recherche d'images et de détection de doublons », et Zhang Lei fut le premier véritable mentor de sa vie.
Huang Zheng partit ensuite aux États-Unis pour un master, rejoignit Google, rentra en Chine en 2007, et fonda Pinduoduo en 2015, qui fut cotée au NASDAQ en à peine trois ans.
En 2020, la fortune de Huang Zheng a dépassé un moment celle de Jack Ma, faisant de lui le deuxième homme le plus riche de Chine. La capitalisation boursière de Pinduoduo a dépassé son point culminant de 200 milliards de dollars, et lui seul a ouvert dans le paysage du commerce électronique chinois une brèche que personne ne pouvait ignorer.
Et le premier coup de cette brèche est parti du laboratoire sombre de la MSRA en 2002, où il déboguait le code ligne par ligne aux côtés de Zhang Lei.
Yan Shuicheng a effectué l'ensemble de ses études de licence, de master et de doctorat en cycle continu à l'Université de Pékin, puis un postdoctorat et un séjour de recherche à l'UIUC. Ses recherches en vision par ordinateur couvrent plusieurs sous-domaines, notamment la reconnaissance faciale, la ré-identification de piétons et la segmentation d'images, avec plus de 8 万 citations sur Google Scholar.
L'Académie d'ingénierie de Singapour est la plus haute institution académique du domaine de l'ingénierie à Singapour, et les Chinois élus membres d'académies d'ingénierie à l'étranger sont extrêmement rares. Mais lorsqu'il parle de Zhang Lei, il exprime toujours une profonde admiration.
Xiao Rong a effectué son master et son doctorat à l'université de Nankin, était l'expert en apprentissage statistique de l'équipe, et est aujourd'hui VP technique de Intellifusion, une société cotée dans le domaine de la vision par IA en Chine, dont la capitalisation a un moment dépassé dix milliards.
Il y a aussi Xu Pengfei, ancien responsable de la vision pour la conduite autonome chez Didi, aujourd'hui CTO de Xinjianzhi Robotics, une société qui occupe une position de leader dans la production à grande échelle de la conduite intelligente.
Wang Changhu, après avoir quitté Microsoft, a rejoint ByteDance en tant que directeur de l'AI Lab, puis a fondé AIsphere, une société qui figure dans le premier peloton mondial de la génération vidéo par IA, avec une valorisation dépassant 2 milliards de dollars.
La meilleure preuve de la valeur d'un arbre, ce n'est pas sa propre hauteur, mais le nombre de fruits suspendus à ses branches.
À l'époque, Zhang Lei avait moins de 32 ans et avait soutenu sa thèse depuis moins de deux ans.
03 Une stratégie sollicitée sans relâche pour le destin du monde, qui au monde ne le connaît
De 2001 à 2021, Zhang Lei a passé exactement vingt ans chez Microsoft.
De Pékin à Seattle, de la MSRA à Bing puis à Azure, à chaque tournant décisif se trouvait la silhouette d'un homme : Harry Shum.
Un soir de 2013, Harry Shum eut un appel téléphonique avec Zhang Lei, dont l'objet était : inviter Zhang Lei à rejoindre Bing.
Harry Shum venait d'être promu vice-président exécutif mondial de Microsoft, et sa première mission fut d'aller porter secours à Bing. À l'époque, Bing était battu à plate couture par Google sur le marché des moteurs de recherche : Google détenait plus de 90 % des parts mondiales, Bing moins de 10 %.
Harry Shum avait besoin d'y emmener des personnes vraiment capables de se battre, pour passer en revue les fondations techniques de Bing, et la première personne à laquelle il pensa fut Zhang Lei.
Zhang Lei hésita à peine et s'envola pour les États-Unis pour rejoindre Bing.
Pendant ses dix-huit mois à Bing, Zhang Lei accomplit deux choses qui furent plus tard inscrites dans l'histoire technique de Microsoft.
Premièrement, il a construit de zéro le premier système de reconnaissance de célébrités de Microsoft : un modèle unique reconnaissait directement 20 万 personnes avec une précision de 99 %. Ce chiffre peut sembler banal aujourd'hui, mais en 2014, alors que l'apprentissage profond commençait tout juste à s'implanter dans l'industrie, la reconnaissance faciale à grande échelle restait une tâche extrêmement complexe.
Après avoir compilé ces données, il les publia, créant ainsi le jeu de données MS Celeb, que des sociétés comme Megvii utilisèrent ensuite pour entraîner leurs modèles, faisant bondir la précision de reconnaissance d'un cran. Non seulement Zhang Lei a réalisé ce qui se faisait de mieux, mais il a du même coup aidé toute l'industrie à avancer.
Deuxièmement, il a dirigé le projet Caption Selection, qui a permis de construire un ensemble de données d'appariement image-texte de haute qualité à une échelle d'environ 2 à 3 cents de millions, soit 200 à 300 millions d'exemples.
La suite de cette histoire, c'est qu'OpenAI s'est fortement inspiré de cette approche de correspondance image-texte pour entraîner le modèle CLIP à l'échelle de 400 millions.
CLIP est le travail fondateur de tous les grands modèles multimodaux d'aujourd'hui : DALL-E, Stable Diffusion, Midjourney — chaque image générée par IA que vous croisez remonte, à la source, à CLIP.
Et l'approche d'entraînement des données de CLIP provient du jeu de données que Zhang Lei avait construit chez Bing.
En 2015, Zhang Lei trouva que les tâches d'ingénierie chez Bing étaient trop lourdes et voulut revenir à un environnement de recherche pure ; il rejoignit Microsoft Research (MSR). Un peu plus d'un an plus tard, Microsoft constitua en interne une équipe de recherche en vision, et Harry Shum le retrouva.
« Reviens, il faut quelqu'un qui comprenne vraiment le domaine pour unifier la vision. »
Cette fois, Harry Shum devait résoudre un problème hérité de l'histoire. Les forces de recherche en vision de Microsoft étaient dispersées dans plusieurs groupes de recherche à travers le monde, chacun agissant de son côté, avec une forte redondance ; il fallait quelqu'un doté d'une autorité technique suffisante pour unifier la direction et allouer les ressources. Zhang Lei y alla.
En 2018, le PDG de Microsoft Satya Nadella poussait à fond le business cloud, et l'élite de l'IA de Microsoft fut transférée en bloc vers la plateforme cloud Azure. Zhang Lei suivit son équipe vers Azure, emmenant avec lui environ 10 personnes.
C'est justement cette équipe de 10 personnes qui a réalisé plus de la moitié des API de vision par ordinateur d'Azure.
La détection d'objets qu'il dirigea était directement alignée sur les services équivalents de Google Cloud et d'Amazon AWS, sans être inférieure sur les indicateurs de performance de plusieurs tests de référence.
Il faut savoir qu'en 2018, AWS était le maître absolu du marché mondial des services cloud, que Google Cloud conquérait des parts de marché grâce à l'écosystème TensorFlow, et que Microsoft Azure n'était pas avantagé en capacités d'IA. L'équipe de Zhang Lei, partie d'une position de retard, a réduit l'écart à la seule force de la technique.
En 2021, Harry Shum, qui venait de devenir président fondateur de l'Institut IDEA, c'est-à-dire l'Institut de recherche sur l'économie numérique de la Grande Baie Guangdong-Hong Kong-Macao, fit appel à Zhang Lei pour la troisième fois.
« Harry m'a demandé, et j'ai très vite décidé. », se souvient Zhang Lei.
Vingt ans plus tôt, un mot de Zhang Hongjiang, « bien sûr que tu dois venir ici », avait maintenu Zhang Lei dans la voie de la vision.
Vingt ans plus tard, quand Harry Shum dit « viens à Shenzhen », Zhang Lei ne prit que quelques phrases pour décider. Il quitta Microsoft en mai 2021 et rentra en Chine en juin pour rejoindre le bureau de Shenzhen de l'Institut IDEA.
Du bâtiment Sigma de Microsoft à Zhongguancun à Pékin, au siège de Microsoft à Seattle, puis à l'Institut IDEA à Shenzhen : Zhang Lei, en suivant Harry Shum, a bouclé un immense cercle.
Qu'un homme parvenu au rang de vice-président exécutif mondial de Microsoft consacre vingt ans et mobilise trois fois personnellement la même personne, cela constitue en soi une validation de très haut niveau.
04 Une lame aiguisée dix ans, le gel couvrant quatorze provinces
De retour à Shenzhen en 2021, Zhang Lei constitua une jeune équipe composée principalement de stagiaires pour lancer l'assaut général contre la perception d'objets générique.
La tendance de l'industrie était alors très claire : les grands modèles de langage étaient en train de tout engloutir. GPT-3 avait fait une entrée fulgurante en 2020, et le monde entier était devenu fou. Beaucoup d'équipes de vision s'efforçaient de se rattacher aux grands modèles de langage multimodaux, en utilisant le langage pour « guider » la vision et le texte pour « comprendre » les images.
C'était la voie la plus dominante de 2021, et aussi celle qui semblait la plus intelligente.
Zhang Lei fit un choix à contre-courant du consensus.
Il estimait que la vision est la base native de l'interaction entre les machines et l'environnement physique.
La chaîne Zuo Lin You Li a posé cette question.
Sa réponse fut intéressante : « Les humains ont développé le langage pour communiquer, mais lorsque les machines interagissent réellement avec l'environnement, elles dépendent de la boucle fermée “perception, décision, exécution”. Les animaux n'ont pas de langage, et reconnaissent pourtant les objets et agissent grâce à la perception. »
Ce jugement allait à contre-courant en 2021. Cette année-là, tout le monde parlait de GPT, de grands modèles de langage, d'AGI. Si vous disiez vous concentrer sur les modèles fondamentaux de vision, les investisseurs trouveraient que votre vision manque d'ambition.
Mais la logique de Zhang Lei était claire : si les machines doivent véritablement comprendre le monde physique et agir dans un environnement réel — ce qu'on appelle aujourd'hui « l'intelligence incarnée » — la profondeur de la perception visuelle doit être résolue avant le langage. On ne peut pas faire lire une pile de textes à un robot avant qu'il saisisse une tasse ; il doit d'abord « voir » la tasse et comprendre sa forme et sa position.
Début 2022, la première version de DINO fut publiée.
DINO a dominé sans interruption pendant 5 mois le classement de détection d'objets de COCO.
COCO est l'ensemble de données de référence le plus autoritaire au monde en détection d'objets dans le domaine de la vision par ordinateur ; dominer le classement COCO signifie que votre algorithme est le premier au monde en capacité de détection et de compréhension des objets du quotidien. Et ce n'était pas une percée au moment de la publication suivie d'une dégringolade : pendant 5 mois entiers, personne n'a pu le dépasser.
Début 2023, Grounding DINO vit le jour.
Ce fut une percée de niveau paradigmatique. Avant Grounding DINO, la détection d'objets était un problème à « ensemble fermé » : on ne pouvait détecter que les catégories d'objets vues pendant l'entraînement du modèle. Par exemple, si votre modèle avait vu des chats, des chiens et des voitures pendant l'entraînement, il pouvait les détecter, mais face à un zèbre il ne le reconnaissait pas, car il ne l'avait jamais vu.
Grounding DINO a introduit pour la première fois la capacité à ensemble ouvert des modèles de langage dans la détection d'objets : vous pouvez saisir n'importe quelle description textuelle et le modèle détecte l'objet correspondant, même si cette catégorie d'objets n'a jamais figuré dans les données d'entraînement.
Quelle est l'ampleur de l'influence de ce travail ? PaperDigest l'a classé comme l'article le plus influent de l'ECCV 2024. L'ECCV est l'un des trois grands congrès de premier plan en vision par ordinateur, aux côtés du CVPR et de l'ICCV.
Être désigné « le plus influent » parmi les milliers d'articles acceptés chaque année à l'ECCV signifie que cet article a été massivement cité et suivi par les chercheurs du monde entier dans l'année suivant sa publication, devenant un nouveau paradigme de recherche.
L'équipe ne s'est pas arrêtée ; après plus d'un an de travail discret, elle a itéré pour lancer Grounding DINO 1.5, dominant sur plusieurs benchmarks internationaux de référence comme COCO et LVIS les modèles équivalents de Google, Meta et Microsoft.
Ces trois-là forment le premier rang absolu de la recherche mondiale en IA, investissant chaque année des centaines de millions en R&D et attirant les cerveaux les plus brillants du monde. Et Zhang Lei, avec une équipe initialement composée de stagiaires, les a battus sur les indicateurs clés.
Grounding DINO et le DINO-X lancé ensuite ont été largement cités par les institutions les plus prestigieuses au monde, telles que l'équipe de Fei-Fei Li de Stanford, NVIDIA, Galbot et Tencent Robotics X Lab.
Que l'équipe de Fei-Fei Li cite votre modèle signifie que, dans les cercles académiques les plus élitistes au monde, votre travail est considéré comme la référence de pointe du domaine ; que NVIDIA cite votre travail signifie que ce géant de l'industrie utilise déjà votre technologie dans ses gammes de produits.
Shen Xiangyang a rarement partagé cette nouvelle sur les réseaux sociaux. Cette personne ne publie pas plus d'un message par an, ce qui lui vaut le surnom moqueur de « blogueur annuel » dans le milieu. S'il a partagé, ce n'est pas parce que Zhang Lei fait partie de ses protégés, mais parce que Grounding DINO a atteint un niveau que même quelqu'un de son envergure jugeait « digne d'être partagé ».
Concernant le nom du modèle, le canal Zuolin Youli a posé la question. La réponse est étonnamment désinvolte : en emmenant son enfant au zoo, il a vu un rhinocéros, ce qui lui a fait penser à DINO.
Aux États-Unis, « DINO » est le nom familier que les enfants donnent aux dinosaures. Plus tard, le modèle de détection d'objets basé sur les indications visuelles a été appelé T-Rex, le tyrannosaure. C'est ainsi, avec cette désinvolture, qu'est née la famille des dinosaures.
Ce caractère désinvolte du nommage donne paradoxalement une impression d'authenticité : ce n'est pas pour construire une « marque », mais parce qu'un scientifique a donné un nom au passage en expliquant le zoo à son enfant.
En 2025, Zhang Lei a officiellement fait émerger de l'Institut de recherche IDEA l'équipe centrale de la série DINO et a fondé « Shiqi Weilai » (视启未来).
Le montant du financement d'amorçage s'élève à près de cent millions de yuans.
L'investisseur principal est Anyka Micro, société cotée à la bourse A, et le tour de suivi est extrêmement prestigieux : Haochen Capital, Dehu Capital, Yuanhe Puhua, Yinxinggu Capital, Lihe Zhongke, Digital Future, Jiuan Intelligence.
Dans le contexte du marché des capitaux de 2025, lever près de cent millions lors d'un tour d'amorçage, avec autant d'institutions de premier plan d'horizons différents parmi les investisseurs de suivi, ce n'est pas courant dans l'écosystème des startups d'IA.
Plus remarquable encore est le comité de conseillers : Zhang Bo et Shen Xiangyang, deux académiciens, présents simultanément. L'un est le directeur de doctorat de Zhang Lei, un pionnier fondateur de l'IA chinoise ; l'autre est le découvreur de talents de Zhang Lei depuis vingt ans.
Deux des personnalités les plus lourdes du monde technologique chinois apportant simultanément leur caution à une société en tour d'amorçage : le canal Zuolin Youli ne parvient pas à en citer une deuxième dans les startups chinoises d'IA.
La direction de Shiqi Weilai surprend beaucoup de monde, mais semble pourtant naturelle.
Zhang Lei mise sur le modèle du monde en espace latent. Cette direction est parfaitement alignée avec la route du World Model proposée ensuite par le lauréat du prix Turing Yann LeCun. LeCun est le scientifique en chef IA de Meta et l'un des trois pères fondateurs de l'apprentissage profond.
Mais Zhang Lei pousse son jugement encore plus loin : il propose trois noyaux technologiques, la centration sur l'objet, l'alignement des actions entre corps robotiques et le pilotage causal.
« Les lois physiques s'appliquent aux objets. Ce n'est qu'en comprenant tous les changements de pixels à l'objet comme unité que le modèle peut saisir les lois essentielles derrière les données. »
Si vous ne lisez pas cette phrase attentivement, elle semble n'être qu'un terme technique de plus. Mais si vous regardez en arrière, vers la première chose que Zhang Lei a faite dans la bataille de détection de visages à la MSRA, vous découvrirez une boucle saisissante.
Il y a vingt-trois ans, face au taux de fausses alertes du « un acheté, un offert », il ne s'est pas précipité pour régler les paramètres, mais a d'abord pris du recul pour poser une question fondamentale : quel est le besoin central de l'utilisateur pour ce produit ? Cette question l'a aidé à trouver en trois mois une voie technologique totalement différente de celle de ses concurrents.
Vingt-trois ans plus tard, face à l'énigme bien plus vaste « comment faire comprendre véritablement le monde physique aux machines », il utilise la même façon de penser : plutôt que de courir après l'engouement des grands modèles de langage, il revient au niveau le plus fondamental des lois physiques et repart de l'« objet », la plus petite unité de perception, pour repenser la logique sous-jacente des modèles de vision.
Il y a vingt-trois ans, sa manière de « comprendre le problème à fond » consistait à creuser le problème seul et de sa propre initiative. Vingt-trois ans plus tard, à la tête d'une entreprise et d'une équipe de plusieurs dizaines de personnes, il continue de faire exactement la même chose.
Conclusion : les eaux qui coulent et les montagnes hautes, le cœur le sait lui-même.
Le premier projet entrepreneurial de la carrière de Zhang Lei s'appelle Shiqi Weilai. Le premier produit phare de cette entreprise est un moteur d'alignement 3D de mains humaines de haute qualité appelé EgoTwin.
EgoTwin convertit les vidéos à la première personne d'opérations de mains humaines en données d'entraînement que les robots peuvent apprendre directement, avec une efficacité de collecte 3.75 fois supérieure à la norme du secteur.
Si vous repensez à la première chose que Zhang Lei a faite pendant ses études de licence, de master et de doctorat à Tsinghua — le véhicule à guidage automatique AGV — vous aurez l'impression qu'il a bouclé un immense cercle toutes ces années.
Parti des robots mobiles, il s'est tourné vers la recherche d'images, a été envoyé au front dans la bataille de détection de visages à la MSRA où il s'est illustré d'emblée, a été désigné trois fois par Shen Xiangyang, est allé de Pékin à Seattle puis est revenu à Shenzhen, pour finalement revenir au point de départ : « permettre aux machines d'agir dans le monde physique ».
Zhang Lei a lui-même dit un passage que le canal Zuolin Youli considère comme la meilleure illustration de cette histoire.
« Les sujets à la mode changent sans cesse, mais si vous les poursuivez pour les poursuivre, vous ne les rattraperez jamais. La seule chose immuable, c'est que chaque équipe aura toujours besoin de gens compétents. Il vous suffit de rester avide d'apprendre, d'acquérir des bases solides et de creuser les problèmes à fond, et les directions les plus pointues viendront à vous d'elles-mêmes. »
Il n'a pas couru après les vagues ; il a simplement construit un bateau très solide. 雷峰网雷峰网(公众号：雷峰网)雷峰网
Article original de 雷峰网, reproduction interdite sans autorisation. Pour plus de détails, voirles conditions de reproduction。