IT之家 Informations du 7 octobre : Geoffrey Hinton souhaite que les entreprises d'IA franchissent un seuil réglementaire que l'industrie pharmaceutique connaît depuis longtemps.
Dans le podcast « Smart Girl Dumb Questions », diffusé mardi à l'heure locale, ce lauréat du prix Nobel et informaticien surnommé le « parrain de l'IA » a formulé une proposition :Les entreprises d'IA devraient, avant toute mise sur le marché officielle de leurs produits, prouver d'abord aux autorités de régulation la sécurité de ceux-ci.
« On ne peut pas développer un nouveau médicament et le lancer directement sur le marché », a déclaré Hinton à l'animatrice du podcast Nayeema Raza. « Vous devez convaincre la Food and Drug Administration (FDA) américaine. Et pour y parvenir, il faut accomplir un travail considérable, avec des investissements de l'ordre du milliard de dollars. »
« Pour l'intelligence artificielle, une telle exigence devrait au minimum être instaurée », a ajouté Hinton.
Le contexte de cette solution proposée par Hinton face à la controverse sur la sécurité de l'IA est double : d'une part, les prédictions sur des conséquences catastrophiques de l'IA se multiplient ; d'autre part, OpenAI, après des tests, a mis de côté son tout dernier modèle par crainte que celui-ci n'obéisse aux instructions des utilisateurs et ne respecte les limites de ses autorisations.
IT之家 note que Saachi Jain, responsable des systèmes de sécurité d'OpenAI, avait précédemment déclaré dans une interview au Business Insider que le modèle GPT‑6.1 Astra avait progressé dans le traitement continu de tâches difficiles, mais présentait encore des faiblesses en matière de contrôle des autorisations et de retour des journaux de comportement.
Hinton fait observer que l'intelligence artificielle s'auto-optimise de manière itérative de plus en plus souvent, ce qui peut à la fois accélérer l'amélioration des capacités et amplifier les risques potentiels.
« Le rythme de croissance exponentielle est stupéfiant », a déclaré Hinton. « Nous commençons déjà à voir un phénomène d'auto-amélioration récursive : les gens améliorent l'IA à l'aide de l'IA elle-même, de multiples façons. »
« Bien sûr, ce ne sont là que mes spéculations », a ajouté Hinton. « Mais j'estime qu'il ne reste probablement plus qu'un ou deux ans avant que la situation ne devienne bien pire qu'aujourd'hui. »