Récemment, le quatrième Symposium de Hong Kong sur les technologies médicales robotiques et l'IA incarnée (The 4th Hong Kong Clinical-driven Robotics and Embodied AI TEchnology Symposium, CREATE Symposium), organisé par le Centre d'innovation en intelligence artificielle et robotique de l'Académie des sciences de Chine à Hong Kong (CAIR) et co-organisé par la Hong Kong Science and Technology Parks Corporation, s'est tenu en grande pompe au Charles K. Kao Conference Centre du Parc scientifique de Hong Kong.
En tant que plateforme d'échanges internationaux importante reliant la médecine clinique et les technologies de pointe, ce forum, placé sous le thème « La voie de la commercialisation de l'IA médicale », a réuni près de 300 participants, dont des experts et universitaires, des gestionnaires d'hôpitaux, des cliniciens renommés et des représentants du capital industriel. L'événement, axé sur les points faibles cliniques de spécialités telles que l'endoscopie respiratoire, l'oto-rhino-laryngologie, l'imagerie échographique et la médecine du sommeil, a proposé des modules variés : partage de technologies de pointe, table ronde des directeurs d'hôpitaux, séance dédiée aux pitchs de capital-risque, ateliers thématiques en groupes, exposition de réalisations scientifiques et techniques, et exploration de scénarios de blocs opératoires dotés d'intelligence embarquée, afin d'accélérer l'innovation collaborative entre les mondes médical, de la recherche, de l'industrie et de l'investissement, et d'insuffler une dynamique puissante à l'application des résultats de recherche dans la pratique médicale.
Lors de la cérémonie d'ouverture, Liu Hongbin, chercheur et directeur du CAIR, Wong Ping-shiu, directeur général de la Hong Kong Science and Technology Parks Corporation, Zhang Chuang, directeur général de China Resources Health et président de China Resources Medical, Hao Yinxing, directeur exécutif de l'Innovation Academy du Collège d'innovation de Hong Kong de l'Académie chinoise des sciences, Lü Pin, chercheuse et directrice adjointe de l'Institut d'automatisation de l'Académie chinoise des sciences, ainsi que Liu Jian, directeur général de Shenzhen MGI Tech Co., Ltd., ont prononcé successivement des discours.
Lors de cette édition du forum, le CAIR a officiellement lancé CARES 4.0, son propre système d'agent clinique intelligent multimodal. Ce système repose sur le framework d'agents Harness et intègre en sous-jacent des fondations médicales multimodales développées en interne couvrant le scanner (CT), l'IRM, l'échographie, l'endoscopie et l'électroencéphalographie, brisant les limites des modèles d'IA médicale traditionnels à point unique. Profondément intégré dans le flux de travail clinique des hôpitaux, il agit comme un partenaire intelligent des médecins et couvre l'ensemble de la chaîne allant du diagnostic et du traitement à la gestion des services et à la recherche médicale.
Sur le plan de l'application clinique, CARES 4.0 a déjà été validé dans plusieurs hôpitaux de premier rang (classe 3A). Dans les scénarios de diagnostic, il permet une assistance diagnostique sur l'ensemble du processus, depuis la plainte du patient, l'imagerie et l'évaluation pathologique jusqu'au diagnostic final ; dans la gestion des départements, il prend en charge les requêtes en langage naturel, résume automatiquement des informations telles que la charge des équipements et la répartition des pathologies, et génère en un clic des rapports d'exploitation du département ; dans la recherche médicale, il permet de réaliser des analyses statistiques multidimensionnelles sur des jeux de données cliniques de maladies spécialisées, d'entraîner des modèles simples d'apprentissage automatique et de produire des rapports d'analyse directement utilisables pour la rédaction et la soumission d'articles scientifiques. Le système est accompagné d'une plateforme de collecte de données cliniques de haute qualité, capable d'effectuer automatiquement le nettoyage, le contrôle qualité et la structuration des données multi-sources de l'hôpital, consolidant ainsi le socle de données nécessaire à l'itération continue de l'IA.
Actuellement, le site officiel de CARES 4.0 est ouvert, le cadre et la boîte à outils générale sont déjà publiés, et la boîte à outils médicale est mise en ligne progressivement. Les modèles open source d'échographie et de vidéos chirurgicales développés par le centre seront également intégrés à la plateforme et mis à la disposition du public gratuitement.
Le chercheur de CAIR Yi Dong présente CARES 4.0
Face aux défis concrets de l'intégration profonde de l'IA dans le système de santé et de son application clinique, ce forum a organisé une table ronde spéciale entre directeurs d'hôpitaux de Hong Kong et de Shenzhen, invitant plusieurs dirigeants d'établissements de santé à échanger et à débattre, notamment Kenneth Tsang, directeur général régional d'IHH Healthcare (Asie du Nord) et directeur exécutif de l'hôpital Gleneagles Hong Kong, Zhang Wenzhi, directeur de l'hôpital de l'Université de Hong Kong-Shenzhen, Chung Kin-lai, directeur général de l'hôpital de l'Université chinoise de Hong Kong, Cai Linbo, directeur de l'hôpital Guanghai du cerveau 39 de Guangdong, Xiong Yi, directeur exécutif de l'hôpital populaire du district de Luohu à Shenzhen, Hu Xiquan, président du comité de gestion de l'hôpital Lingnan du troisième hôpital affilié de l'Université Sun Yat-sen, et Lam Yu-hang, doyen adjoint (enseignement et innovation technologique) de la faculté de médecine dentaire de l'Université de Hong Kong.
Les invités de la table ronde ont exprimé leurs points de vue : les établissements de santé privés qui introduisent des systèmes médicaux d'IA à haute valeur doivent évaluer le retour sur investissement, en conciliant durabilité opérationnelle et valeur pour la santé publique ; les applications transfrontalières d'IA médicale doivent respecter strictement le cadre de conformité, explorer l'interopérabilité des données dans le cadre juridique, et coordonner sécurité, conformité et efficacité opérationnelle ; la construction d'hôpitaux intelligents repose avant tout sur la restructuration des processus métier, favorisant l'intégration de l'IA dans l'ensemble de la chaîne allant du diagnostic et des soins à la gestion ; le déploiement clinique de l'IA dépend de données de haute qualité et de la collaboration entre médecins et ingénieurs, le défi central actuel étant la définition des risques et la répartition des responsabilités dans les scénarios de diagnostic et de traitement, ce qui exige d'urgence la mise en place d'un mécanisme de partage des risques entre les multiples parties ; pour la promotion de l'IA dans les soins de santé de premier recours, une mise en œuvre progressive est recommandée, en donnant la priorité aux applications d'amélioration de l'expérience, tandis que les outils d'IA de diagnostic à haut risque doivent s'accompagner d'un système de sécurité complet ; dans le domaine de la rééducation, l'IA peut renforcer l'évaluation de la rééducation et l'élaboration des plans, allégeant ainsi la charge de travail des thérapeutes ; l'IA deviendra une capacité fondamentale de la médecine, et la spécialité dentaire pourra s'appuyer sur l'IA pour réaliser des diagnostics et des traitements de précision ainsi que des dépistages à domicile, permettant une gestion fine de la santé bucco-dentaire.
Lors de la session de présentations thématiques, ce forum a réuni plusieurs chercheurs de renommée mondiale en innovation médico-ingénierie, dont le professeur Sebastien OURSELIN, membre de la Royal Academy of Engineering et de l'Academy of Medical Sciences du Royaume-Uni et vice-président (innovation) du King's College de Londres, le professeur Nassir NAVAB, membre de l'Academia Europaea et directeur du CAMP de l'Université technique de Munich, le professeur Liu Yunhui, titulaire de la chaire de génie mécanique et d'automatisation de l'Université chinoise de Hong Kong, le chercheur Liu Hongbin, directeur du CAIR, le professeur Liao Hongen, professeur titulaire de chaire à l'Université Jiao Tong de Shanghai et doyen de la faculté de génie biomédical, ainsi que le professeur Ni Dong de la faculté d'intelligence artificielle de l'Université de Shenzhen. S'appuyant sur l'avant-garde internationale, ces experts ont analysé en profondeur les tendances de développement des technologies médicales de l'intelligence incarnée et partagé les avancées mondiales en matière d'innovation technologique, autour de sujets d'actualité tels que l'écosystème des dispositifs médicaux et de la santé numérique, la collaboration homme-machine en robotique médicale, les robots chirurgicaux pilotés par l'IA, les systèmes d'agents cliniques basés sur l'IA, la prise de décision en imagerie pour les robots de diagnostic et de traitement, et le transfert de recherche et de production en échographie intelligente.
L'académicien Sebastien OURSELIN a présenté « From Bench to Bedside to Boardroom - An Innovation Ecosystem for Medical Devices and Digital Health »
L'académicien Nassir NAVAB présente « Dyadic Partnership (DP) : A Missing Link Towards Full Autonomy in Medical Robotics »
Le professeur Liao Huai, directeur adjoint du département de médecine respiratoire et de soins intensifs du Premier hôpital affilié à l'Université Sun Yat-sen, le professeur Lei Dapeng, directeur du département d'oto-rhino-laryngologie de l'hôpital Qilu de l'Université du Shandong, le professeur Hou Gang, directeur adjoint du département de médecine respiratoire et de soins intensifs de l'hôpital amical Chine-Japon, le professeur Xie Xiaoyan, directrice du département de médecine par ultrasons du Premier hôpital affilié à l'Université Sun Yat-sen, le professeur Tao Guowei, directeur du département d'échographie de l'hôpital Qilu de l'Université du Shandong, le professeur Cui Xinwu, directeur du département d'imagerie par ultrasons de l'hôpital Tongji affilié à la Faculté de médecine Tongji de l'Université des Sciences et Technologies de Huazhong, le professeur Cao Yingjuan, directrice du département de soins infirmiers de l'hôpital Qilu de l'Université du Shandong, Wong Wang-hung (Huang Hongliang), professeur au département de chirurgie de la Faculté de médecine de l'Université chinoise de Hong Kong et chef du service de chirurgie cardiothoracique, le professeur Zhang Bin, directeur du département de psychiatrie et de psychologie (centre de médecine du sommeil) de l'hôpital Nanfang de l'Université médicale du Sud, le professeur Pan Jiyang, directeur du centre de médecine du sommeil du Premier hôpital affilié à l'Université Jinan, le professeur Xing Yingqi, directrice du département d'échographie vasculaire de l'hôpital Xuanwu de l'Université médicale de la Capitale, Mak Hoi-chun (Mai Kaijun), chef de service adjoint et médecin consultant en neurochirurgie de l'hôpital Queen Elizabeth de Hong Kong, ainsi que Tam Shiu-chung (Tan Zhaozong), professeur assistant clinique au département de chirurgie de la Faculté de médecine clinique de l'Université de Hong Kong, etc., en s'appuyant sur des années d'expertise dans leurs spécialités respectives, ont échangé leurs expériences cliniques de première ligne autour des domaines de l'imagerie médicale, du diagnostic et du traitement par ultrasons, des soins infirmiers intelligents, de la chirurgie cardiothoracique, de la médecine du sommeil, de l'échographie vasculaire et de la neurochirurgie.
Par ailleurs, des universitaires tels que le professeur Li Zongming, doyen de l'École d'ingénierie biomédicale de l'Université des sciences et technologies de Shenzhen, le professeur Yan Hongliang du département de génie électronique de l'Université chinoise de Hong Kong, le professeur Guo Jiawei du département de génie mécanique et d'automatisation de l'Université chinoise de Hong Kong, Zhu Zhiguang, professeur associé titulaire au département de génie mécanique de l'Université nationale de Singapour, Dou Qi, professeure associée au département d'informatique et de génie de l'Université chinoise de Hong Kong, et Jiang Zhongliang, professeure adjointe au département de génie mécanique de l'Université de Hong Kong, ont également partagé leurs avancées de recherche sous différents angles tels que le développement d'algorithmes d'IA, les systèmes de robots médicaux et la transposition clinique, présentant de manière multidimensionnelle les diverses voies par lesquelles l'intersection médecine-ingénierie autonomise le développement de la santé intelligente.
En outre, ce forum propose également une session spéciale de pitchs de capital-risque, centrée sur les domaines de pointe des technologies médicales, réunissant des entreprises innovantes, des instituts de recherche et des établissements d'investissement, afin de créer une plateforme d'échanges de projets et de mise en relation des ressources. Les jurés aident à analyser les barrières technologiques, la validation clinique et les stratégies de commercialisation, aidant ainsi les équipes à clarifier leur parcours vers le marché et à accélérer l'industrialisation des résultats de recherche en technologies médicales.
De nombreux projets de pointe en sciences et technologies innovantes ont participé aux présentations (roadshow), couvrant des directions d'avant-garde telles que les capteurs de force optiques multidimensionnels, les robots chirurgicaux pour chirurgie endoscopique (coelioscopie), les nouveaux instruments et équipements auxiliaires de chirurgie mini-invasive, les grands modèles dédiés au sommeil, les robots à ultrasons, les robots chirurgicaux, les systèmes de navigation chirurgicale, les puces ASIC et les dispositifs médicaux implantables actifs, les interfaces cerveau-machine et les muscles bioniques, la planification et la simulation chirurgicales, ainsi que l'orthopédie personnalisée et la reconstruction. Des institutions d'investissement et des représentants du secteur, dont Cande Capital, Guangyuan Investment, Jiuguang Capital, Allwinner Technology, Yuexiu Group, Yanghe Investment, Songhe Medical Health Fund, CICC Capital, BGI-Songhe Life Science Fund, Guoke Jiahe et Jianyuan Tianhua, étaient présents pour échanger en profondeur, face à face, avec les équipes entrepreneuriales et répondre pleinement aux besoins en matière de financement et d'investissement.
Le Dr Yu Chen, cofondateur de Huali Chuang Science, explique les points techniques essentiels des capteurs de force optiques multidimensionnels
En tant qu'organisation co-organisatrice de cette édition du forum, la Hong Kong Science and Technology Parks Corporation a organisé une session thématique intitulée « Empowering Founders, Enabling Growth: HKSTP's Entrepreneurship Journey from Idea to Commercialization », axée sur la mise en œuvre industrielle des résultats scientifiques et technologiques de pointe. Elle a présenté en détail l'écosystème du parc en matière de sciences de la vie et de la santé ainsi que sa communauté entrepreneuriale, invité des représentants de startups de la plateforme à partager leurs perspectives de commercialisation et des cas concrets, et engagé un dialogue multidimensionnel avec des représentants de divers domaines afin d'examiner comment la coopération stratégique peut favoriser la création de valeur et la croissance des entreprises, offrant ainsi des exemples pratiques concrets et un soutien écosystémique pour la synergie entre médecine et entreprises et la valorisation des résultats de l'innovation.
Par ailleurs, le forum a organisé en parallèle une exposition des réalisations scientifiques et technologiques médicales, où des entreprises innovantes telles que Huali Chuang Kexue, Endong Medical, Shenzong Technology, Houkai Medical, Meixin Chuangke et Legen Purification, ainsi qu'une dizaine de startups incubées par la plateforme Incu-Bio du Hong Kong Science Park, ont été présentées de manière centralisée, montrant de façon exhaustive les technologies de pointe et les réalisations innovantes dans les domaines de la médecine intelligente, de la médecine numérique et de la médecine de précision.
En fin d'événement, les invités présents se sont rendus dans la salle d'opération d'intelligence incarnée du CAIR, où ils ont observé sur place des réalisations de pointe telles que le système d'agent clinique intelligent multimodal CARES, les agents intelligents de diagnostic par laryngoscopie et bronchoscopie, le système de sommeil par IA, le grand modèle ultrasonore « Lingyin », l'échographie palmaire à intelligence incarnée, le robot d'échographie, la solution de chirurgie mini-invasive en espace étroit, la plateforme de simulation physique médicale en temps réel, l'imagerie par résonance magnétique à faible champ pour la chirurgie interventionnelle, ainsi que le robot de chirurgie neurochirurgicale à intelligence incarnée MicroNeuro. Au cours de la visite, les invités ont attentivement écouté les présentations techniques des équipes de recherche et développement, ont approfondi leur compréhension des caractéristiques technologiques clés, de la valeur clinique et diagnostique ainsi que des scénarios d'application concrète de chaque réalisation, et ont mené des discussions approfondies sur les goulots d'étranglement de la recherche technologique, l'avancement des essais cliniques et les voies de promotion de l'industrialisation, afin de contribuer à faire franchir les limites des scénarios aux technologies de diagnostic et de traitement intelligents et à élargir leur couverture d'application.
Entretien avec le directeur du CAIR, Liu Hongbin : le déploiement clinique de CARES 4.0 et la voie de la commercialisation de l'IA médicale
En plus des résultats publiés et présentés ci-dessus, nous avons également mené, pendant le forum, un entretien avec le directeur du CAIR, le chercheur Liu Hongbin, autour de questions telles que les améliorations de capacités du CARES 4.0 par rapport à la génération précédente, la présentation clinique des alertes de risque chirurgical, les hallucinations et les limites de sécurité de l'IA médicale, ainsi que les voies de commercialisation de l'IA médicale.
Voici la transcription intégrale de l'entretien, éditée par Leifeng sans en modifier le sens :
Leifeng Wang (compte officiel : Leifeng Wang) : Comparé à la version 3.0, le 4.0 a-t-il simplement davantage de fonctionnalités, ou la nature de ses capacités a-t-elle changé ? Pourriez-vous donner un exemple concret illustrant cette différence ?
Liu Hongbin :CARES est passé de la version 1.0 à la 3.0, et constitue en lui-même un grand modèle. En 3.0, il ne pouvait faire que des questions-réponses — ces questions-réponses pouvaient être multimodales, par exemple des questions-réponses sur une image ou sur une vidéo ; c'est ce que la version 1.0 à la 3.0 a permis de résoudre. Mais la 3.0 n'est en elle-même qu'un outil : les médecins doivent savoir utiliser cet outil pour accomplir des tâches concrètes.
Avec la version 4.0, nous l'avons transformé en agent intelligent, capable d'aider réellement les médecins à travailler. Par exemple, le cas présenté lors de cette conférence : un chef de service clinique souhaite faire les statistiques du mois précédent sur le volume d'opérations chirurgicales, la consommation de matériel médical et l'état des patients, afin de rédiger un rapport destiné à rendre compte à la direction de l'hôpital ou à être discuté en interne dans le service. Auparavant, ce travail devait obligatoirement être réalisé par l'assistant du chef de service à l'aide de CARES 3.0 ; désormais, l'assistant n'est plus nécessaire, c'est l'ensemble du système d'agents intelligents qui l'accomplit de manière autonome. Au cours du processus, il peut y avoir quelques interactions avec le chef de service pour confirmer ses idées et le type de rapport d'analyse souhaité — nous avons également intégré ce type d'interaction.
Leihao.com : Parmi les cinq capacités présentées cette fois, la compréhension sémantique des vidéos opératoires et l'alerte précoce des risques sont les plus remarquées. Comment cette alerte se manifeste-t-elle concrètement lors d'une vraie opération ?
Liu Hongbin：les alertes se répartissent en plusieurs aspects. L'une concerne l'espace opératoire : lorsque l'IA identifie que la zone opérée est très proche de vaisseaux sanguins importants, d'artères ou de nerfs, elle doit alors alerter le médecin en lui signalant que cette étape présente un risque potentiel et qu'il ne faut pas toucher cet endroit.
L'autre type d'alerte concerne l'échelle temporelle. La chirurgie est un processus séquentiel : une étape doit être terminée avant de passer à la suivante. Si le médecin n'exécute pas correctement la première étape — par exemple dans une intervention de neurochirurgie, il faut d'abord pratiquer une fenêtre osseuse pour créer un passage, dans le but final d'extraire complètement et entièrement la tumeur située à l'intérieur. Si la fenêtre osseuse n'est pas assez grande, la tumeur risque de ne pas être retirée entièrement, et il sera trop tard pour l'agrandir une fois qu'on est déjà allé en profondeur. Ce type d'alerte sur la dimension temporelle constitue également un aspect.
Actuellement, l'application sert principalement d'alerte spatiale, par exemple en indiquant au médecin : la zone sur laquelle vous opérez est déjà très proche d'une structure anatomique importante, vous devez l'éviter.
Leiwang : Dans quels hôpitaux, quels services et à quel degré est-elle actuellement utilisée ?
Liu Hongbin :Par exemple, au Premier Hôpital affilié de l'Université Sun Yat-sen, nous collaborons avec le directeur Liao Huai, qui utilise cette fonction lors des bronchoscopies. Nous signalons : cette zone que vous prenez pour une bronche est en réalité un vaisseau sanguin en dessous. En effet, certains médecins inexpérimentés, voyant une protrusion sur la bronche, peuvent penser qu'une biopsie est possible, alors que cette protrusion fait en réalité partie d'un vaisseau sanguin ; si l'on pratique une biopsie, on risque de perforer une artère, ce qui constitue un risque opératoire majeur.
Leiwang : Ce qui préoccupe le plus en IA médicale, ce sont les risques d'hallucination et de faux diagnostic. Ce que CARES donne aux médecins, est-ce une « suggestion » ou une « conclusion » ? Face aux divergences de jugement possibles, quel travail l'équipe a-t-elle réalisé au niveau de la conception du système ?
Liu Hongbin :Actuellement, dans la collaboration entre CARES, les hôpitaux et les médecins, le système joue davantage un rôle d'assistant et donne des suggestions. Mais l'IA a forcément parfois des hallucinations, et la première chose que nous devons faire, c'est d'éliminer au maximum ces hallucinations, en particulier les suggestions de type décisionnel. Par exemple, lorsqu'un médecin doit établir un diagnostic, le modèle d'IA peut recommander une certaine approche diagnostique ; si une erreur survient ici, cela peut induire le médecin en erreur, ce qui représente un risque assez important.
Notre approche actuelle est la suivante : d'abord, faire en sorte que la réflexion de l'IA suive strictement la logique de raisonnement des experts cliniques — lors d'un diagnostic, les experts cliniques se réfèrent aux recommandations, aux derniers résultats cliniques des revues internationales de premier plan, et ne tirent une conclusion ou ne recommandent un traitement qu'après une évaluation globale. Nous faisons appliquer strictement ce processus à l'IA, et nous transformons les informations que l'IA peut consulter en données structurées, à la manière d'un graphe de connaissances, pour que l'IA suive ces nœuds afin de trouver les justifications des suggestions qu'elle fournit aux médecins.
Ainsi, les suggestions finales données aux médecins s'accompagnent toujours de leur cheminement de réflexion : une opinion diagnostique fondée sur telle recommandation d'un guide, sur la dernière découverte de tel article académique, puis ce sont les cliniciens qui jugent. Quoi qu'il en soit, le médecin reste le décideur final, cela ne peut pas être changé. L'essentiel est de permettre au médecin de combiner le jugement de l'IA avec sa propre réflexion pour parvenir à une conclusion finale.
Leiwang : Pour passer des essais en hôpital à une véritable intégration dans le parcours clinique, quel est l'obstacle le plus difficile : l'obstacle technique, l'obstacle réglementaire ou l'obstacle des mentalités des médecins ? Où en est-on aujourd'hui ?
Liu Hongbin :Le défi de l'IA médicale réside dans le fait qu'il faut déployer le produit, l'appliquer et générer des revenus dans un système très complexe ; ce n'est pas un problème ponctuel. L'ensemble du système de santé compte plusieurs grandes parties prenantes : les patients eux-mêmes, les médecins, les hôpitaux, ainsi que le pôle de remboursement de l'assurance maladie — quatre parties qui, en réalité, ne se préoccupent pas des mêmes choses. Ce n'est que lorsque la conception d'un produit répond simultanément aux attentes de ces quatre parties qu'un succès commercial est possible.
Par exemple, il faut d'abord garantir une avance technologique — les grands hôpitaux chinois souhaitent aujourd'hui être à la pointe technologiquement, c'est une orientation prônée par « l'équipe nationale » ; il faut en même temps résoudre de véritables problèmes cliniques, pour que les médecins trouvent le produit utile ; pour les hôpitaux, l'adoption de votre nouvelle technologie doit se traduire par des bénéfices économiques et une meilleure efficacité ; pour l'assurance maladie, votre technologie ne doit pas alourdir les charges, et idéalement, après son adoption, l'ensemble du parcours de soins doit coûter globalement moins cher, et non ajouter des frais supplémentaires. Pour chaque produit, tous ces aspects doivent être pris en compte dès la conception.
Leiwang : Vous développez aujourd'hui CARES, une solution verticale médicale. De votre point de vue, quelles capacités des modèles généralistes peuvent être directement réutilisées, et lesquelles doivent être entièrement repensées dans les scénarios médicaux ?
Liu Hongbin :Concernant les capacités générales : plus les capacités généralistes d'un modèle sont fortes, meilleures seront ses performances après un post-entraînement dans un domaine vertical, complété par des outils spécifiques à ce domaine. Les capacités de base d'un modèle généraliste constituent en quelque sorte une pierre angulaire : plus elles sont fortes, plus le plafond de capacité du modèle vertical est élevé — c'est le premier point.
Mais en application réelle, si l'on ne résout que le scénario d'un service donné d'un hôpital donné, les tâches restent en réalité assez locales. De plus, une forte capacité générale signifie souvent un modèle trop volumineux, difficile à déployer et gourmand en puissance de calcul. Le déploiement réel est donc un équilibre : d'un côté, la capacité du modèle ; de l'autre, la question de savoir si la tâche nécessite réellement une capacité aussi élevée — ou si un modèle plus petit, assorti d'une conception d'outils et d'un post-traitement, peut atteindre d'excellents résultats.
Leiwang : De l'Institut DAMO à l'Académie des sciences de Chine, puis à Hong Kong, votre direction de recherche est passée progressivement du multimodal généraliste au domaine vertical médical. Comment ce parcours s'est-il déroulé ? Y a-t-il eu un moment déclencheur qui vous a convaincu de vous consacrer au médical ?
Liu Hongbin :En fait, nous travaillons toujours dans le domaine de l'IA médicale, et nous n'avons jamais cessé de suivre cette voie. Pour ma part, deux événements ont fait croître de façon exponentielle ma confiance dans les applications de l'IA dans le domaine médical.
La première fois, ce fut le lancement de ChatGPT. Auparavant, les modèles d'IA — comme les réseaux de neurones convolutifs (CNN) — ne constituaient qu'une partie d'un outil : il fallait qu'un ingénieur les utilise pour construire un logiciel, que le médecin utilise ensuite, ce qui limitait fortement les applications par les capacités des ingénieurs ; autrement dit, on ne pouvait pas remettre cet outil directement entre les mains des médecins. Après l'apparition de ChatGPT, l'IA a pu dialoguer avec l'humain et est devenue interactive : le problème du « médecin incapable d'utiliser l'outil » pouvait ainsi être résolu. Aujourd'hui, soit environ quatre ans plus tard, les médecins maîtrisent les outils d'IA sans besoin d'une longue courbe d'apprentissage, ce qui nous avait alors donné beaucoup de confiance.
L'autre événement s'est produit au cours de l'année écoulée : beaucoup de nos systèmes d'IA ont commencé à être déployés dans les hôpitaux. L'équipe échange avec les équipes médicales partenaires pour comprendre comment l'IA est réellement utilisée dans leur travail quotidien. Nous avons constaté que chaque médecin, à des degrés divers, utilise des outils d'IA — peut-être pas pour le diagnostic, mais le traitement de la littérature et le travail quotidien sont déjà impossibles sans l'IA. Nous avons aussi constaté que, dès lors que le volume de données est suffisamment important et leur qualité suffisamment élevée, la capacité du modèle peut dépasser le niveau moyen des experts — c'est un point commun à plusieurs projets réellement déployés.
Ainsi, sur une tâche donnée, l'IA fera certainement mieux que l'humain — c'est comme faire courir une voiture contre un homme : la voiture gagnera forcément. La médecine est fondée sur les preuves (evidence-based) : dès lors que les preuves sont suffisamment nombreuses et solides, tout le monde lui fera confiance.
Leiwang : Actuellement, avec combien d'hôpitaux l'équipe a-t-elle une coopération concrète ? Quelle est la remarque d'amélioration la plus fréquente formulée par les médecins ?
Liu Hongbin :Côté hôpitaux, nous devrions en dépasser 30. Le déploiement le plus rapide concerne le poste de travail d'IA pour le diagnostic au laryngoscope : ce seul système est déjà déployé dans plus de 10 hôpitaux ; le système de bronchoscopie dans plus de 4 ; le système d'échographie également dans plus de 10. Certains hôpitaux déploient simultanément plusieurs de nos systèmes ; au total, plus de 30 hôpitaux l'utilisent réellement.
La plupart des retours expriment le souhait d'une utilisation plus facile, permettant de finir le travail sans trop de réflexion — alléger la charge de travail, c'est ce qu'ils préfèrent. L'autre demande récurrente est que les sorties du modèle et les interactions soient plus intuitives, avec des informations visibles d'un coup d'œil, afin d'éviter autant que possible que le médecin interprète mal la signification des résultats de l'IA. C'est pourquoi une grande partie de nos modifications concerne en réalité l'interaction homme-machine — sous quelle forme présenter les résultats de l'IA : graphiques, chiffres ou cartes thermiques.
Leiwang : Dans cinq ans, si la série CARES réussit, quelle différence y aura-t-il entre les salles d'opération et celles d'aujourd'hui ?
Liu Hongbin :La salle d'opération du futur sera incontestablement un espace intelligent de coopération homme-machine.
Premièrement, beaucoup d'instruments dans la salle d'opération seront robotisés, mais pas nécessairement sous la forme de robots humanoïdes. Par exemple : la lampe sans ombre actuelle est un instrument passif que le médecin doit tirer et ajuster à la main ; à l'avenir, la lampe sans ombre sera elle-même un bras robotique capable de se déplacer seul, et le médecin n'aura plus besoin de l'ajuster à la main pendant toute l'intervention — car le fait de la saisir à la main constitue en soi un risque d'infection. Les gestes d'infirmières transmettant les instruments pourraient à l'avenir être également accomplis par des bras robotiques.
Deuxièmement, le personnel présent dans la salle d'opération. La médecine est un processus qui évolue lentement ; imaginons dans 20 ans : aujourd'hui, une opération mobilise une équipe médicale de sept ou huit personnes ; à l'avenir, il n'y aura peut-être que deux ou trois personnes dans la salle d'opération — le chirurgien en chef, assisté d'une ou de deux infirmières ou aides, le reste étant assuré par des équipements robotiques interagissant avec eux.
Par ailleurs, l'hôpital du futur ne ressemblera probablement pas à la forme actuelle avec des services cloisonnés, mais sera un grand agent intelligent : il y aurait une plateforme centrale de calcul, chaque service agissant comme une branche neurale de celle-ci, et toutes les situations survenant dans les salles d'opération, les cabinets de consultation et les consultations externes seraient agrégées en temps réel dans ce « cerveau ».
Leifeng Wang : Si l'on vous demandait de résumer en une phrase ce sur quoi votre équipe a travaillé cette année, que diriez-vous ?
Liu Hongbin :Nous appelons cela la real-world research, la recherche en monde réel. Ces dernières années, nous avons développé de nombreux modèles et outils d'IA, et l'année écoulée s'est concentrée sur le déploiement clinique dans divers hôpitaux et sur la collecte des retours des médecins ; nous avons également évalué nous-mêmes si les modèles aidaient réellement les médecins — car avant le déploiement, tout n'était qu'hypothèse, on ne sait pas si les médecins trouvent réellement cela utile ou non.
Ce qui nous a beaucoup encouragés, c'est que la grande majorité des modèles ont démontré leur valeur dans l'utilisation réelle. Il y a aussi des fonctionnalités auxquelles nous n'avions pas pensé au départ, mais les experts cliniques sont très créatifs : vous développez une fonctionnalité A, et il fait le rapprochement avec un point douloureux qu'il rencontre avec une fonctionnalité B, en demandant si A peut le faire — et nous avons constaté que la migration était effectivement possible. C'est ainsi que beaucoup d'outils ont évolué avec les experts cliniques pour devenir des formes réellement utiles aux médecins.
Article original de Leifeng Wang, reproduction interdite sans autorisation. Pour plus de détails, voirConditions de reproduction。