IT之家 Le 8 octobre, selon Business Insider, le chercheur Jacob Cannell, ayant travaillé chez Anthropic et OpenAI, a averti que l'IA pourrait bientôt mener des recherches de manière autonome, et que l'humanité pourrait être totalement incapable de contrôler les développements qui en découleraient.
Âgé de 27 ans, Coxson, qui travaillait chez Anthropic sur la recherche sur les capacités des modèles, a annoncé publiquement sa démission le mois dernier. Le 5, heure locale, il a lancé un avertissement aux conseillers municipaux de la ville de New York, déclarant que l'IA pourrait menacer la survie de l'humanité.
Coxson a témoigné lors d'une audience du conseil municipal de New York consacrée aux risques de l'IA que l'objectif premier des meilleurs laboratoires d'IA de pointe estest d'automatiser la recherche en IA« Dans mon précédent emploi, j’étudiais en quelque sorteComment faire pour que l'IA vous remplace. Lorsque j'étais chez OpenAI, nous nous étions fixé des objectifs intermédiaires autour de 2027, 2028 pour le chercheur en IA automatisé, et les progrès de la recherche correspondaient aux attentes, voire les dépassaient. Il ne reste que quelques mois d'ici là, pas des décennies, pas même cinq ans."
Une fois que l'IA pourra mener des recherches de manière autonome, le degré de participation et d'intervention humaine dans la recherche sera bien plus faible qu'aujourd'hui, alors même que la situation actuelle n'est pas idéale. D'après sa propre expérience, la majorité du code est désormais écrit par l'IA, et « les gens ne relisent plus le code avec autant d'attention ».
Coxson a témoigné devant les parlementaires que son expérience de travail chez Anthropic et OpenAI l'a convaincu que ces deux entreprises ne disposent pas de garanties de sécurité suffisantes,poursuit néanmoins la recherche et le développement« La probabilité que l'humanité perde le contrôle au profit de l'IA dépasse cinquante pour cent, ce qui pourrait finalement conduire à l'extinction de l'humanité. D'après ce que j'ai vécu, alors que les enjeux sont si importants, la manière dont les deux entreprises procèdent est extrêmement imprudente. »
Lorsque Cox a annoncé sur X sa démission d'Anthropic, il a publié un message accusant Anthropic et OpenAI d'avoir toutes deux agi de manière irresponsable,Jouer avec la vie des gensLe poste s'est ensuite largement propagé.
Lors de l'audition, Coxson a appelé les laboratoires d'IA à plus de transparence et à ralentir le rythme effréné du développement technologique. « Ces entreprises fonctionnent avec la mentalité des start-up :Avancer rapidement d'abord, puis réparer ensuite lorsque des problèmes surviennent. On peut faire ainsi pour une application de partage de photos, mais pas pour développer la technologie la plus puissante de tous les temps."
Selon un précédent reportage d'IT之家, en septembre (le 9) de cette année, Coxson a lancé un avertissement lors de sa démission : « Les personnes qui développent l'IA croient réellement que l'IA pourrait tuer chacun d'entre nous avant la fin des années 20.Ce n'est pas un argument marketing。”
Lectures complémentaires :