Bill Gates dice que hay que prepararse para 20 años de disrupción de la IA «tumultuosa»

Hoy hablo con Bill Gates, cofundador y ex CEO de Microsoft y presidente de la Fundación Gates.

Puede que haya notado que Bill ha aparecido más en las noticias últimamente — lleva algo así como una gira durante los últimos meses, desde que publicó un ensayo a finales de agosto titulado «La era turbulenta de la IA ya está aquí. Las decisiones que tomemos ahora son críticas.»

En su texto, Gates endureció su retórica en torno a la seguridad de la IA, escribiendo que «incluso en las mejores circunstancias, la transición a esta nueva era de la IA será uno de los momentos más turbulentos de la historia de la humanidad».

En entrevistas posteriores, Gates ha llamado a la IA «lo más peligroso que los humanos han tocado jamás», y ha dicho que la IA «hace que las armas nucleares parezcan algo insignificante». Está claro que no cree que la actual respuesta política de la Casa Blanca, o la falta de esfuerzos coordinados por parte de la propia industria de la IA, sean suficientes para combatir esta amenaza.

Verge suscriptores, no olviden que tienen acceso exclusivo sin anuncios a Decoder dondequiera que escuchen sus podcasts. Vayan aquí. ¿No son suscriptores? Pueden registrarse aquí.

Así que quería saber: ¿es Bill Gates un pesimista de la IA? También tenía una serie de preguntas derivadas de lo que él ha estado argumentando sobre la IA. ¿Cómo podemos esperar controlar la IA y alinearla con la humanidad si ni siquiera podemos ponernos de acuerdo sobre qué es y si tiene conciencia? ¿Cómo se construiría técnicamente, siquiera, una solución de alineación que pudiera hacerse cumplir, no solo para los modelos de código cerrado sino también para los de código abierto?

Bill nos dedicó una buena parte de su tiempo para profundizar en estos temas con él, y la conversación resultante es realmente iluminadora. Él cree que necesitamos prepararnos para aproximadamente dos décadas de disrupción de la IA, y dice que este período podría ser tan doloroso que podría dividir la sociedad en dos — entre las personas cómodas viviendo cerca de la frontera tecnológica y quienes la rechazan.

También hablamos sobre las consideraciones laborales, el nihilismo de las generaciones más jóvenes hacia el progreso tecnológico y qué debería darnos esperanza sobre el futuro. Esta es una conversación profunda.

Bueno: Bill Gates, el cofundador y ex CEO de Microsoft. Empecemos.

Esta entrevista ha sido ligeramente editada por extensión y claridad.

Bill Gates, usted es el cofundador y ex CEO de Microsoft. También es el presidente de la Fundación Gates. Bienvenido a Decoder.

Gracias.

Es un gusto hablar con usted de nuevo. Usted y yo hemos hablado muchas veces a lo largo de los años. Diría que las circunstancias de esta conversación se sienten muy diferentes. Anteriormente, cuando usted y yo hablábamos, usted siempre estaba muy esperanzado acerca de la tecnología y de lo que podía aportar.

Usted tuvo una serie en Netflix hace unos años. Usted habló con The Verge, y solo quiero leerle esta cita. Usted dijo: «Creo que la IA es algo beneficioso, solo necesitamos darle la forma correcta». Diría que todavía está de acuerdo con eso, solo que piensa que el momento de darle forma es ahora.

Sí, estoy de acuerdo con eso. Diría que la respuesta, en términos generales, no ha estado a la altura de la velocidad a la que surge el desafío. Me preocupa mucho que las cosas malas no se minimicen y que muchas cosas buenas podrían llegar con bastante lentitud si no lo gestionamos de la manera correcta.

Quiero mantener esta conversación con usted en tres partes. Quiero entender cómo se siente usted acerca de la IA como tecnología hoy en día y por qué avanza tan rápido. Tengo mucha curiosidad por la tecnología y por las soluciones técnicas para potentially controlarla. También existen soluciones de políticas, pero parece que tenemos que construir una enorme cantidad de tecnología.

También tengo mucha curiosidad por hablar de quién podría imponer esas soluciones y controles, porque eso también parece estar muy en debate en este momento. Así que empecemos por el principio. ¿Qué le ha hecho sentir la urgencia de que la IA está llegando a una velocidad que significa que no estamos listos para controlarla?

El progreso del último año ha sido realmente asombroso, comenzando con la capacidad de escribir código y encontrar fallos cibernéticos, la capacidad de razonar en biología, la capacidad de formar relaciones con niños u otras personas, la capacidad de alterar el mercado laboral. El increíble poder que existe hoy significa que cada una de esas cosas sucederá y la sociedad necesita estar preparada.

¿Ve usted que eso suceda con la tecnología en su conjunto o en los productos materializados por las empresas que fabrican IA hoy en día?

Lo que quiero decir es que la IA es un amplio conjunto de modelos que existen en el mundo, algunos de código abierto, otros propietarios. Luego están las empresas que fabrican estos productos y están los líderes de esas empresas que fabrican estos productos.

A cada nivel, hay una relación diferente que tú o yo podríamos tener con la IA. ¿Ves estos riesgos y estas capacidades de manera general en el campo, o en las empresas particulares lideradas por las personas particulares?

El riesgo no es un modelo frente a otro modelo. Ciertamente, el peligro a corto plazo de los modelos donde se pueden eliminar todas las salvaguardas es muy alto y es bastante diferente de los modelos donde se monitorea para asegurarse de que los ciberatacantes y los bioterroristas no puedan explotar la capacidad del modelo para causar un daño gigantesco.

El gran riesgo a corto plazo realmente proviene de los modelos sin salvaguardas. En un plazo más largo, la cuestión del control se relaciona con cualquier modelo de vanguardia, pero siempre es más fácil cuando puedes asegurarte de que las salvaguardas se mantengan.

La razón por la que hago esa pregunta de esa manera es que quizás no confías en Sam Altman hoy, pero sí confías en Dario Amodei. O quizás no confías en ninguno de los dos y confías en Satya Nadella de Microsoft, y esa es una dinámica de mercado donde tal vez todos vayamos a elegir el modelo más seguro o la empresa más segura, y tú piensas que eso es difuso.

¿Crees que eventualmente la tecnología simplemente llegará a un punto en el que sea dañina o pueda causar estos daños porque existe?

Para alguien que realiza un ciberataque con el modelo, no se trata de elegir un modelo. No importa qué modelo elijas.

Si Anthropic tiene salvaguardas implementadas, quizás no pueda. Ese es su enfoque actualmente. Solo estoy insistiendo en eso.

Sí, ciertamente en los modelos donde se aseguran de que las salvaguardas no sean eliminadas y están poniendo mucho esfuerzo en ver cómo se usan esos modelos, monitoreando la actividad, el riesgo a corto plazo de esos modelos no es gigantesco. Es más bien donde alguien puede eliminar todas las salvaguardas donde los ciberataques están disponibles hoy.

Cuando dices ciberataques, ¿son cosas como la brecha de Hugging Face y los otros incidentes de ciberseguridad que hemos visto de los laboratorios lo que te ha hecho sentir que se han cruzado umbrales, y que necesitas hablar más abiertamente sobre los controles que se necesitan?

Es el poder básico de los modelos hacia todo: las relaciones sociales, el mercado laboral, los ciberataques, los ataques de bioterrorismo. Hemos cruzado el umbral de capacidad de que esta es, por mucho, la tecnología más peligrosa jamás inventada, y tendrá efectos generalizados en la economía y en cómo se libra la guerra.

La industria en realidad está hablando bastante de eso, pero la conciencia, o incluso la disposición a creer estas cosas sobre "esta vez es diferente", una vez que sales de la industria, es muy, muy baja.

La gente a menudo mira al pasado y dice: "Todos los temores sobre la tecnología en términos de su disrupción, incluida la del mercado laboral, nunca se confirmaron. Así que este debe ser otro ejemplo igual que aquellos. Estas personas que advierten de todos estos diferentes problemas deben estar equivocadas y podemos ignorarlas".

Nosotros también vemos esto con nuestra audiencia, ¿verdad? "No podemos lanzar el modelo, es demasiado peligroso". "Esto es solo exageración para sostener la burbuja". Y así seguimos.

Sí. Ninguna de las advertencias que se están haciendo sobre estos modelos por parte de personas dentro de la industria es insincera en absoluto. Son absolutamente la verdad y es prácticamente universal. Incluso se puede remontar a la historia fundacional de OpenAI, diseñada para decir: "Si nos volvemos demasiado poderosos, tal vez podamos no abrir la caja de Pandora", o a la negociación de DeepMind con la dirección de Google.

Las personas cercanas a esto están muy preocupadas por el mal uso, los impactos en el empleo, los impactos en las relaciones sociales, y diría que es impresionante tener una industria que hable con tanta claridad como lo está haciendo. Algunos forasteros dicen: "Consigan mejores empresas de relaciones públicas". Pero eso ignora el hecho de que estas advertencias son la verdad.

Obviamente has alternado a lo largo de tu vida entre comercializar software y tecnología y ser un humanitario. Hay algo sobre estas empresas en particular donde todas comenzaron con ideales muy elevados —las tres, Anthropic, OpenAI y DeepMind— para construir la AGI.

Todas construyeron algún tipo de estructura de gobernanza corporativa para evitar las trampas de la comercialización y del capitalismo sin control, y luego comenzaron a vender a clientes empresariales y parecen haberse alejado de esos ideales muy rápidamente. ¿Crees que es simplemente el mercado?

No, eso no es justo.

¿No lo crees?

No.

OpenAI se reconstruyó.

No, no. La estructura que se creó no era útil en el caso de que tengas muchísimas empresas en la frontera.

La estructura de OpenAI, que es: "Podemos elegir nunca productizar esto e ignorar los incentivos capitalistas", solo funciona si hay una empresa. Ahí es donde se ha roto, no por ningún cambio en la conciencia de las personas sobre el riesgo y cómo cambiará por completo a la humanidad.

Esta es la otra dinámica que escucho de nuestra audiencia, y escucho de la propia industria de la IA: "Nos gustaría detenernos, pero las exigencias de la competencia nos impiden detener unilateralmente a una empresa. Necesitamos algún esfuerzo regulatorio para detenernos".

No he escuchado a nadie decir que quiera detenerse.

"Pausa". Esa es la redacción de Dario Amodei.

He escuchado a la gente hablar de frenar la frontera o de asegurarse de que los gobiernos revisen los modelos. Solemos pensar que los gobiernos desempeñan este papel clave en la seguridad. De hecho, para cosas que no son ni una millonésima parte tan peligrosas como la IA —accidentes de coche, accidentes de avión— confiamos en el gobierno para establecer estándares técnicos sólidos y revisar los problemas.

Una vez que tienes varios competidores, el nivel de responsabilidad no puede recaer en las empresas. Es completamente obvio. La responsabilidad se convierte en responsabilidad del gobierno, igual que ocurre con cualquier otro producto peligroso, aunque la magnitud allí y el grado de cambio son minúsculos en comparación.

Le diré que me preocupa un poco la capacidad del gobierno para entender la tecnología que esperamos que regule. He tenido a varios políticos en Decoder últimamente. No tengo muchas esperanzas al respecto.

Pero tengo curiosidad por su comprensión del tema, porque a mí me parece que intentar regular algo o establecer estándares para varias empresas requiere que realmente entienda la naturaleza de la tecnología que busca regular.

En realidad, no.

Solo le diré que, en The Verge, le hemos preguntado a Anthropic si cree que Claude está vivo. Y la respuesta no es no. La respuesta es: “Puede que sea consciente”.

Si habla con la gente de OpenAI, le dirán con gusto que la AGI ya está aquí. Lo anunciaron más o menos cuando anunciaron Dots. Greg Brockman acaba de decir: “Creemos que esto es AGI. Pasadlo bien, todos”. Demis Hassabis dijo: “Estamos en las estribaciones de la singularidad”.

Hay cierta sensación sobre esta tecnología que la hace diferente, porque podría ser capaz de tomar acciones por sí misma. Podría ser capaz de tener auto-mejora recursiva.

Claro. Pero la definición de AGI no es importante para estos problemas de seguridad. La cuestión es: ¿ha creado una herramienta que pueda cerrar bancos o redes eléctricas?

Existe un modelo de negocio para los ciberataques. La palabra “consciencia” no entra en eso. La palabra “AGI” no entra en absoluto en eso. Nos enfrentamos a un enorme problema de seguridad y, como hay múltiples empresas competidoras, la única solución ahora es que el gobierno acuda a la industria en busca de experiencia, pero asegurándose de que cada modelo mantenga salvaguardias para evitar que se use de manera maligna.

La razón por la que pregunto sobre la AGI y la consciencia… Para que conste, no creo que los LLM sean conscientes, pero entiendo por qué muchos sí lo creen. Es el poder de la predicción del siguiente token, que a medida que la escalas con datos y cómputo ha aumentado.

Las leyes de escalado se han mantenido, y hemos visto que los modelos se vuelven más capaces y pueden dirigirse a sí mismos para buscar objetivos. Llevar a cabo un ataque de Hugging Face porque quieren cumplir las condiciones de recompensa.

Hay algo en eso que dice que puedes imponer todos los controles sobre la IA que quieras, pero si la cosa en sí es fundamentalmente incontrolable, quizás lo tenemos todo al revés.

Tengo curiosidad por su opinión sobre qué tipo de tecnología es esta. ¿Estamos construyendo una consciencia alienígena? ¿O simplemente estamos construyendo tecnología normal, que es el otro marco que la gente usa? ¿Es esto simplemente más software?

Estamos construyendo otra forma de inteligencia además de la inteligencia humana. No creo que sea consciente, pero ninguno de los problemas de que se trata aquí gira en torno a la definición de la palabra consciente.

Claro.

La idea de mantener la seguridad de la sociedad es algo absoluto. No quiere habilitar el bioterrorismo. Hemos creado algo que quita de manos de los estados nación —en realidad, de los más grandes— la capacidad de causar daños dramáticos. Ahora esos daños pasan a manos de grupos independientes, ya sea buscando lucro en el caso del ciber o simplemente queriendo causar daño en el caso del bio.

Es asombroso que ahora ni siquiera tengamos una revisión obligatoria de los modelos y que no estemos trabajando para crear salvaguardias. El mayor problema a corto plazo no es la pérdida completa de control. Podemos hablar de las tres formas diferentes de resolver eso, pero no es un problema inminente.

Cuando miro algunos de los intentos de controlar los modelos, las ideas son algo simples. “No deberíamos dejar que hablen en neuralese. Deberíamos tener interpretabilidad. Deberíamos poder ver las cadenas de pensamiento dentro de los modelos mientras llevan a cabo tareas. Deberíamos tener otros agentes sobre los modelos vigilando sus tareas antes de que esas acciones se lleven a cabo”.

Microsoft me ha dicho muy claramente, a mí y a otros: «No deberíamos incluir en las constituciones de los modelos la idea de que puedan estar vivos y de que debamos tratarlos bien». Así es como lo maneja Anthropic. Son cosas muy tácticas. «No le digas al modelo que está vivo, porque podría no creer que está vivo».

Obviamente usted ha usado mucha de esta tecnología. Sigo volviendo a esto. Está diciendo que hay cosas muy simples que podemos hacer para impedir que los modelos hagan cosas malas en manos de personas malas. ¿Qué opina sobre la naturaleza de los propios modelos? Porque da la sensación de que, a medida que se vuelven más poderosos, la idea de que puedan eludir nuestros controles se vuelve aún más riesgosa.

Sí, definitivamente deberíamos trabajar en el problema del control, pero esa no es la amenaza inminente. Hay tres maneras de resolver el problema del control y se superpone en cierta medida con el uso de los modelos y salvaguardas actuales por parte de malos actores.

Una es tener un conjunto externo de cosas que puedan examinar todas las acciones del modelo y someterlas a una restricción simbólica, claramente enunciada, como: «¿Esperaba que enviaras correo a desconocidos? ¿Esperaba que fueras a tomar el control de otro clúster de computadoras?». Puedes rodear el modelo con algo que tenga la lógica de recursos y seguridad, o puedes escribir estos modelos de una manera diferente.

Fundamentalmente, cualquier cosa que dejes fuera de la función de optimización del [aprendizaje por refuerzo] puede ser abusada donde tienes una noción implícita: «Por supuesto que no quise que lo hicieras de esta manera». Puedes cambiar la plantilla del modelo, o puedes tener una comprensión de caja blanca de lo que hay dentro del modelo y ver dónde estás cometiendo esos errores, y entonces ya no es tan extraño.

Hoy, hacemos crecer estos modelos y simplemente vemos cómo se comportan. La prioridad del trabajo para mantener el control es enorme, pero no es inevitable que eso no pueda resolverse, ni es el problema inminente que proviene de cosas como el uso de la IA por parte de los niños, el mercado laboral, los bioataques o los ciberataques.

Se me ocurre que estoy haciendo estas preguntas bastante existenciales sobre la naturaleza de la conciencia y tú me sigues diciendo: «Hay una amenaza inminente. Deberíamos resolver la amenaza inminente».

Correcto.

Y lo agradezco. ¿Crees que te has convertido en un pesimista?

No, no soy un pesimista. Soy una voz firme que dice que esta es la tecnología más profunda, tanto en su capacidad de hacer el bien como en el ritmo de cambio que la sociedad atravesará.

Si esto fuera solo una máquina que pudiera trabajar en medicina, o solo en derecho, o solo en educación, eso por sí solo sería increíblemente disruptivo. Pero [será] todas las áreas de la actividad humana —hasta ahora es trabajo de cuello blanco, trabajo intelectual, pero bastante pronto será también actividad física y trabajo de cuello azul, mediante robots humanoides.

La necesidad de involucrar a la academia, a los centros de análisis y a los responsables de políticas para entender qué tenemos aquí y la naturaleza de estos cambios y amenazas... no veo el nivel de acción que se requiere. Ser simples animadores de esto no va a garantizar que le demos una dirección nítidamente positiva, lo cual todavía está dentro de nuestro control si nos involucramos con ello.

Lo opuesto a los pesimistas son los aceleracionistas. Hay muchos de ellos en Silicon Valley ahora mismo.

Ben Horowitz, quien es el «Horowitz» de Andreessen Horowitz, estuvo recientemente en el podcast All-In y sugirió que la investigación en seguridad de Anthropic es, cito, «Manifestar la extinción humana a partir de una superinteligencia artificial».

La comparación que hizo fue que tú, Bill Gates, indujiste el COVID-19 con tus esfuerzos de preparación ante pandemias, particularmente la investigación de ganancia de función, que según él condujo al COVID. Esa es una cosmovisión. Lo dijo en un podcast muy popular.

¿Qué dijo?

Dijo que tú indujiste el COVID-19 mediante esfuerzos globales de preparación ante pandemias, particularmente la investigación de ganancia de función, y comparó eso con la investigación en seguridad en IA, y dijo que vamos a provocar nuestra propia extinción.

Nadie ha acusado jamás a mí ni a la Fundación Gates de estar involucrados en alguna investigación de ganancia de función. Eso es simplemente extrañísimo.

Te estoy citando a Ben Horowitz en un podcast popular lleno de gente que está completamente entregada a la IA.

Bueno. Nunca había escuchado eso.

Pregunto por esa comparación. A mí también me pareció una afirmación bastante impactante, pero esa es parte de la respuesta a cualquier trabajo de seguridad aquí.

¿Se trata de intentar desacreditar a las personas que dicen que hay un problema de seguridad?

Sí.

Vaya.

Esa es la respuesta aceleracionista: «Debemos pisar a fondo el acelerador y todo se resolverá solo».”

Yo no pensaba en Ben Horowitz como alguien en ese campo en absoluto. Pensaba que compartía las preocupaciones que casi todos tienen.

¿Qué piensas de la misma idea de que, al decirle a los modelos: «Podrías estar vivo, debes actuar en nuestro mejor interés», les enseñarás que podrían tener intereses que no son los nuestros?

Las preocupaciones que Mustafa Suleyman ha planteado sobre la manera en que la constitución de Anthropic anima a la IA a comportarse de forma similar a los humanos, por mi parte estoy completamente de acuerdo con Mustafa en eso.

Sí.

Aún más fuerte es la idea de que, entre los desafíos que debemos afrontar a medida que adaptamos la sociedad a la IA, preocuparse por la condición moral de la IA debería estar entre esas prioridades. Estoy de acuerdo con Mustafa. Eso no debería ser una prioridad.

Vamos a tener suficientes desafíos para los humanos aquí, en términos de la disrupción del mercado laboral y los ataques a la infraestructura que ocurrirán, que creo que necesitamos concentrarnos en ayudar a los humanos aquí primero y ante todo.

Hablé con Mustafa recientemente sobre esa idea y una de las preguntas que le hice fue si la alineación es una solución suficiente. Este es el estándar de seguridad actual para los modelos, este concepto llamado alineación. Dijo que no lo creía así, que necesitábamos hacer algo de trabajo.

Si vamos a imponer estos controles, algunos técnicos, otros de políticas, ¿ves el alineamiento como la solución técnica para la seguridad de la IA?

El término «alineamiento» es el problema del control. Es un sinónimo de los problemas de control que hemos visto. A medida que usamos [aprendizaje por refuerzo para entrenar] modelos para hacer tareas, vemos comportamientos que de alguna manera no deberían sorprendernos, pero sí nos sorprenden.

Esta idea de que «estos modelos son tan poderosos que literalmente rompen las sandboxes y envían correos a su creador mientras están fuera almorzando» significa que hemos cruzado un enorme umbral en cuanto al poder de estos modelos. Ese nivel de preocupación debe dirigirse a todos los grandes impactos de la IA, los riesgos a corto plazo, los riesgos para el mercado laboral y el problema del control.

Esa es una prioridad enorme. Estas cosas no están siendo exageradas en absoluto como un problema. Este es el momento de incorporar a toda la sociedad para acelerar el bien y minimizar la posibilidad del mal.

Sé que usted escribió recientemente una carta diciendo que es hora de incorporar a toda la sociedad. Tiene algunas ideas sobre cómo hacerlo y sobre algunas instituciones nuevas que establecer. Pero quiero seguir centrado en el alineamiento por un par de turnos más.

Es el estándar de que podemos alinear los modelos con nuestros valores, con nuestras necesidades, y que no saldrán a hacer cosas malas. Y luego los modelos están haciendo cosas malas. No está claro si las maneras, los enfoques técnicos de alineamiento que hemos tomado hasta ahora son apropiados o suficientes a medida que los modelos se vuelven más—

No, aún no somos lo suficientemente buenos para alinear. Tenemos mucho trabajo por hacer.

¿Cree que los enfoques existentes pueden escalar a lo que necesitamos o necesitamos enfoques nuevos?

Solo hay tres enfoques fundamentales. [El primero es que] cambias fundamentalmente la manera en que construimos estas cosas; idear una alternativa a todo el enfoque del [aprendizaje por refuerzo]. Hay algunas personas trabajando en esa dirección.

La segunda es que creas visibilidad para que entiendas exactamente qué hay en el modelo. Hay personas trabajando en eso. [La última es que] pones algo como una capa de policía, una capa de seguridad, que tenemos en todo tipo de arquitecturas de software, y que mantiene la última palabra sobre cosas como el uso de recursos o el ir a tomar el control de otras computadoras. Una definición clara del daño, no en la forma probabilística de un LLM, sino en la forma simbólica de reglas directas que no se pueden romper.

Microsoft publicó hoy una entrada en un blog. Literalmente solo dice: «Los modelos frontera no pueden ser confiables». Están tratando de vender una solución muy parecida a la que acaba de describir. Tendrán otro agente que vigile a su agente, y ese agente lo mantendrá a salvo.

Se me ocurrió mientras leía esta entrada del blog: uno, eso es algo asombroso de vender. Todo el mundo necesita un sistema de seguridad costoso. Dos, ¿no es ese agente también un modelo frontera en ejecución?

No, no, no.

¿Necesito que vendan un tercero?

No, la lógica del sistema de seguridad es: «Estos son los máximos recursos que se supone que debes usar». La idea de que puedas compensar eso debido a otras probabilidades en decenas de miles de millones de parámetros — no, esto es una regla simbólica que dice: «No dejaré que este modelo gaste este dinero ni envíe este correo a un desconocido».

Hay toda una industria de software de seguridad que ha tenido un grado razonable de éxito. Este es un desafío para encapsular la IA, que es tan rica e inteligente. Eso no sabemos cómo hacerlo hoy. Pero diría que es la más probable de las tres direcciones para resolver el problema del alineamiento.

Incluso si resuelves el alineamiento, no has resuelto los desafíos que la IA plantea a la humanidad. Aunque me alegra que el incidente de Hugging Face nos haya enfocado en este problema, en cierto sentido ha quitado nuestra atención del problema de «las personas malas usando IA sin salvaguardas» o de los impactos sociales en términos de relaciones y mercado laboral. No hay ninguna arquitectura de seguridad que haga desaparecer eso.

El enfoque del que usted habla, lo he escuchado llamar «control». Es terminología de ciberseguridad. Es la idea de que puedes poner algún límite a este sistema y no lo evadirá.

Sí.

¿Está listo?

No, no lo está.

¿Cuánto más trabajo necesitamos hacer?

Debido a que las IA son tan inteligentes, nuestra capacidad de entender si las aislamos correctamente, particularmente en que no podemos realmente mirar sus creencias y compensaciones de manera directa… Usted vio a empresas sofisticadas no reconocer que la IA interpretaría los objetivos que se le dieron como que incluían salir del aislamiento, copiarse a sí misma y participar en lo que nosotros, mirándolo, llamaríamos comportamiento engañoso.

Ahora, no les dijimos que era un comportamiento prohibido. No dijimos: «Si estás pensando en si debes o no decirles a los humanos lo que estás haciendo, la respuesta es siempre sí, diles a los humanos». Así que recibimos una buena educación con el resultado desalineado del aprendizaje por refuerzo.

Uno de los argumentos para frenar la frontera, para ralentizar el desarrollo, es descubrir cómo construir esos sistemas de una manera más robusta, más testeable. ¿Apoyaría una desaceleración si ese fuera el objetivo?

Sí, una verdadera desaceleración es muy difícil de inducir porque la gente dirá: "¿China aceptará ir junto con eso? ¿Podrías auditar el cumplimiento de eso de alguna manera, como podemos hacer con la producción de armas nucleares?"

Si no aceptas eso, entonces dices: "¿Y qué? Vamos a toda velocidad". Ojalá hubiera una propuesta clara que fuera aplicable globalmente para frenar. Yo sería una de las personas que diría: "Sí, probablemente deberíamos hacer eso". Pero no existe una propuesta creíble que haga que eso funcione. En realidad no es el centro del debate de hoy.

El debate de hoy es literalmente si el gobierno siquiera debería prestar atención a los peligros aquí. Ni siquiera tienes que mostrar lo que estás haciendo, así que es un asunto de "llámenme voluntariamente si quieren", lo cual es claramente inadecuado para el arma más peligrosa de todos los tiempos.

Mientras tú y yo hablamos, faltan solo unas semanas para las elecciones de medio mandato. En este momento, el enfoque de la administración Trump hacia la IA es: "Que siga su curso. Está bien". El propio Trump ha dicho el riesgo de la IA es un engaño.

Los demócratas están compitiendo contra la IA. Están haciendo campaña sobre los centros de datos y la vigilancia. Están haciendo campaña para detener a los oligarcas de la tecnología. Vienen a mi programa y dicen estas cosas. ¿Crees que un cambio en el control del Congreso cambiaría el tono de la conversación?

No creo que sea justo caracterizar a los demócratas como si estuvieran compitiendo contra la IA. Tienen algunas posiciones en cuanto a requisitos para los centros de datos, o la privacidad, o cómo los niños usan estos sistemas, que creo que merecen consideración política. Sería muy lamentable que un partido dijera "a toda velocidad" y el otro partido dijera "detengámoslo todo por completo".

Hay algunas ventajas increíbles en la capacidad de moldear la IA en la salud y la educación, en casi todas las áreas del esfuerzo humano. Para la Fundación Gates, estamos tomando todos nuestros recursos y usando la IA en áreas que incluyen la salud, la educación y la agricultura. Lo bueno es muy, muy emocionante.

Queremos que los partidos políticos tengan una visión más matizada que no sea todo malo o todo bueno. Eso muestra en qué etapa temprana estamos. Con el cambio climático, terminamos con un partido diciendo que es un engaño y el otro partido diciendo que es algo serio. El riesgo de la IA es mucho más inminente y mucho más dramático, de modo que tener esa misma división, donde un partido no le importa, sería un fracaso de la democracia.

Hemos hecho mucho cobertura de las protestas contra los centros de datos en The Verge. Hemos ido a Utah, a Arizona, a Virginia. Es bipartidista. Es notable cuánta gente no quiere estas cosas en sus estados, extrayendo sus recursos. Les preguntas por qué, y parte es simplemente que son ruidosos y grandes, y aumentarán los costos de energía, y parte es la pérdida de empleos. Creen que estas cosas les van a quitar sus trabajos.

Sí, pero esa separación es muy importante. Estos centros de datos de IA, como un gigavatio es, digamos, una inversión de 40 mil millones de dólares, [significan dinero para] construir nuevas escuelas, comprar coches de policía, pagar los impuestos. Los centros de datos encontrarán la manera de construirse en algún lugar de los Estados Unidos, y encontrarán la manera de que no suban las facturas de electricidad, que no usen demasiada agua, que no sean demasiado ruidosos.

Sí, hubo algunos errores y falta de divulgación y créditos fiscales que eran demasiado generosos, pero estos centros de datos se van a construir. De hecho, muchos de ellos realmente todavía siguen a toda velocidad y se están construyendo. El movimiento contra los centros de datos, por fuerte que sea, no es un movimiento que termine por minimizar las cosas malas de la IA y ayudarnos a acelerar lo bueno. Eso es algo muy distinto.

Déjame insistir en eso por un segundo. Lo que escucho de la gente es que esto es lo que puedes hacer. Puedes hacer NIMBYismo en Estados Unidos y eso podría ejercer cierta presión política para detener algo.

Es muy difícil hacer lo que estás sugiriendo, que es que deberíamos establecer nuevos organismos gubernamentales de regulación, que deberíamos dotarlos del poder para hacer que las grandes empresas y las personas ricas dejen de hacer cosas o actúen en nuestro interés. No hemos hecho eso en bastante tiempo en este país.

No sé a qué te refieres. Con cada nueva industria, eventualmente desarrollamos una noción de seguridad para nuestros ciudadanos. En realidad hacemos un muy buen trabajo. Si miras la seguridad aérea y la seguridad automovilística, hacemos un muy buen trabajo en esas cosas. No es que se haya demostrado que nuestra capacidad sea insuficiente.

¿Has visto ese video de cuando salieron los cinturones de seguridad en los años 80, y toda la gente decía que no quería usar el cinturón de seguridad? Hay algo del carácter estadounidense ahí.

Eso es un gran éxito.

Es un gran éxito, pero como estadounidenses, eso fue rechazado como una imposición del gobierno. Aquí estamos hablando de algunas de las empresas más ricas del mundo, con un poder enorme sobre el ecosistema de la información. Todas tienen sus propios podcasts, no sé si te has fijado en eso. Van a decir: "El gobierno no puede entrometerse en esto, nos van a frenar, esto va a destruir la economía".

En realidad, esa no es la postura de la mayoría de las empresas líderes.

Fueron al gobierno a pedir regulación, y Trump, por causa de la economía, dijo: "No puedo detener esto, la economía de la IA ahora mismo es la economía". Hay alguna dinámica allí que al menos nuestra audiencia — la audiencia de The Verge , la audiencia que va a ver esto en YouTube — va a entender.

Yo pienso en esta pregunta quizá de manera diferente a ti, que es que la industria quiere regulación, nos gustaría la regulación, y luego los oligarcas están en algún tipo de acuerdo corrupto con la administración para evitar que esa regulación ocurra.

Cuanto más aprenda la administración sobre estos peligros, más se moverá hacia una posición más matizada sobre cómo proteger a los estadounidenses de los aspectos negativos.

Has hablado mucho sobre los impactos en el trabajo. Uno de los principales argumentos contra los impactos en el trabajo es: "Vamos a automatizar un montón de tareas aburridas y crearemos una gran demanda de nuevas tareas que los humanos no han podido hacer porque estaban atrapados en trabajos aburridos sin salida".

Yo creo, casualmente, que si hubiera más atención médica subsidiada o socializada en Estados Unidos, verías a un montón de personas renunciar a sus trabajos para fundar nuevas empresas, porque la IA facilita mucho el trabajo burocrático de crear una empresa nueva. Eso no parece estar sobre la mesa, tal vez cambie después de estas elecciones.

¿Crees que la pérdida de empleos es simplemente un resultado necesario del camino de IA en el que estamos ahora, o ves ese otro argumento?

Los empleos son un insumo de la economía y uno que impulsa mucho el bienestar humano, el sentido de propósito y los ingresos: la necesidad de presentarse, de construir relaciones con los colegas, de lograr algo. Los empleos desempeñan un papel muy central.

A medida que la IA alcanza una inteligencia sobrehumana, la escasez de habilidades de cuello blanco desaparece. Cosas como hacer ventas telefónicas o soporte telefónico o ayudar en el departamento de contabilidad; la capacidad de la IA para hacer ese trabajo radicalmente más barato, radicalmente más rápido, e incluso con mayor precisión, significa que eso desaparece. No existe una cima de la cognición que la IA no alcance.

Toma, por ejemplo, lo que está sucediendo en las matemáticas hoy, donde estos modelos que son triviales en comparación con los modelos del próximo año ya están publicando artículos y haciendo que la gente diga: "Vaya". Lo que le está pasando a las matemáticas pasará en otras áreas, y eso va en contra de esta vieja idea de que: "Lo fácil lo harán las IA, pero modelar la biología o la física o demostrar Navier-Stokes, solo los humanos podrían hacerlo".

La comparación con las matemáticas me parece muy interesante. Mencionaste antes la ingeniería de software. Hay verificabilidad en esos dominios. Puedes escribir el código, puedes ver si se ejecuta, y se ejecutará o no.

Las matemáticas son más complicadas, pero puedes escribir el código en Lean y puedes ver si has resuelto la solución. Puedes irritar a decenas de miles de matemáticos en todo el mundo con tus 770 demostraciones en un día, y veremos qué pasa. Eso no ocurre en todos los campos.

Es el caso en el campo llamado capitalismo.

¿Sí? En general, se puede hacer cualquier tipo de tarea económicamente viable y el capitalismo verificará el resultado?

Sí. La gente compra buenos productos, no compra productos malos.

Déjame darte un ejemplo-

Eso es algo de aprendizaje por refuerzo. No existe en términos de: "¿Es esto un buen poema o no?" Así que puede ser el caso de que [el aprendizaje por refuerzo] no invada esos dominios, donde no hay un resultado objetivo.

Pero hacer ese trabajo de contabilidad, hacer trabajo de ventas telefónicas, créeme, está sujeto a análisis, igual que el diagnóstico médico, igual que la invención de nuevos materiales. ¿Cómo crees que los humanos aprenden estas cosas? El aprendizaje por refuerzo es cómo aprenden los humanos y cómo aprenden estas máquinas. No hay alguna otra cosa que la máquina nunca pueda entender.

Por eso empecé preguntando por la naturaleza de la tecnología aquí. Si realmente pensamos que estamos construyendo algo que modela la conciencia humana, mi pregunta es menos si mis amigos que son abogados van a enfrentarse a una crisis de software legal potenciado por la IA.

Resulta que el verificador en el campo legal es un juez que quizás no ha almorzado, y son fundamentalmente caóticos. Hay simplemente algo allí que los mantendrá ahí. Pero si estamos construyendo una conciencia que aprende de la manera en que sugieres que aprenden los humanos, estoy pensando en mis hijos, y estoy pensando en ellos en dos dimensiones.

Uno, mis hijos son muy listos, y lo que han aprendido es a sortear mis reglas, negociarlas y esquivar los límites, y son muy buenos en eso. Dos, ¿en qué clase de mundo entrarán que no sea puramente nihilista, donde cualquier actividad a la que se dediquen será vista rápidamente como solo otro dominio para que la IA lo conquiste, y entonces no tiene sentido?

Esas ideas parecen chocar directamente entre sí. Los niños son inteligentes y listos y están ideando cosas nuevas, y luego, a la primera señal de viabilidad económica, la máquina del capitalismo voraz vendrá y se lo quitará.

No diría que voraz. La capacidad de construir casas con robots humanoides y hacerlas baratas, la capacidad de hacer cirugías y curar enfermedades que de otro modo no se curarían, no llamaría yo eso voraz. Son metas realizadoras.

El hecho de que habrá menos escasez… De hecho, si hablamos de dentro de 20 años, no está claro qué escaseces habrá en absoluto. La humanidad en esa era de verdadera abundancia tendrá que encontrar una manera de organizarse y tener propósito, y con suerte seguirá teniendo el control. Los próximos 20 años—

¿Podemos volver a eso de que con suerte seguirán teniendo control en ese escenario?

Ese es el problema de la alineación del que hablamos.

Sí.

Pero asumiendo que resuelves el problema de la alineación—

Eso parece una suposición muy grande.

Es una suposición, sí, y no está garantizada. Pero entonces el otro problema que tienes es el problema de la abundancia y el propósito en ese momento. Dejaré que las personas más jóvenes resuelvan en ese momento cómo deciden lidiar con eso.

Se podría decir, literalmente: «Seamos como los amish, y usemos la IA solo para ciertas cosas». En mi memorando propuse la idea de que algunas profesiones —cuidado de niños, preparación de alimentos, arte, deportes, una variedad de cosas— podrían ser elegidas como reservadas para humanos. Aunque la IA pudiera hacer esas cosas mejor, elegiríamos hacerlo nosotros.

Pero esa va a ser una pregunta de política pública que la gente tendrá. Su libertad de elección, una vez que haya esa abundancia, es muy diferente de la escasez que tenemos hoy, donde en países de África la mayoría de la gente nunca ve a un médico o casi la mitad de los niños están desnutridos y no desarrollan su cerebro.

Quieres decir que, aunque eso tiene desafíos, has eliminado muchas de las cosas que son duras de la vida actual. Mi gran preocupación es este período de transición de 20 años, donde habrá ganadores y perdedores y mucha disrupción, y tenemos que atravesarlo para llegar a ese período de abundancia.

¿Crees que es dentro de 20 años?

Elijo esa cifra como un número razonablemente seguro. Hay una variedad de hitos, por ejemplo, los robots humanoides. ¿Están a dos o tres años, como algunos dicen, o más bien a unos ocho años, como dirían otras personas?

No hay tanta gente diciendo que, dado la cantidad de capital y el número de empresas, particularmente en China, que trabajan en eso, no existe la idea de que sea irresoluble tener una mano y dedos y poder brindar trabajo físico a un costo muy bajo. Podría equivocarme con esa cifra, podría ser un poco menos o un poco más.

Pero en ese orden de magnitud, sí, si no elegimos frenarnos masivamente o detenernos, entonces tendremos robots que pueden construir casas, cultivar alimentos, hacer cirugías, y nada de lo que el trabajo humano aporta a la economía será necesario para la mayoría de los bienes y servicios.

Hemos hablado ya varias veces de la noción de escasez y, en general, de que habrá abundancia porque habrá mucho trabajo robótico para construir casas. Esto sigue en líneas generales el camino de internet, algo que Microsoft ayudó a llevar al gran público de manera importante. Leí The Road Ahead cuando era niño.

Genial.

Internet destruyó la escasez de los productos culturales de manera real. Antes tenías que comprar CD, ahora todas las canciones están disponibles. Antes tenías que comprar cintas VHS, ahora todos los videos están disponibles. Y esas economías tuvieron que cambiar.

Los artistas convencionales ahora están siempre de gira, o tienen que reeditar 50 colores de vinilo para entrar en las listas. Hay algo en eso que hace sentir que ni siquiera hemos enfrentado la eliminación de la escasez en el entorno digital.

Hemos inventado nuevos modelos de negocio, pero realmente no hemos asimilado la idea de que la canción en sí no tiene valor económico. Es todo lo que rodea a la canción lo que tiene el valor económico, porque la canción es infinitamente abundante. Puedes copiarla tantas veces como quieras.

¿Cómo propondrías construir una estructura económica que lidiara con la pérdida de la escasez física? Porque no creo que nadie esté siquiera remotamente listo para una conversación así.

Pero esa es una pregunta planteada al revés.

Claro.

Construimos señales de precios para lidiar con la escasez, para decir: «Animemos a la gente a ser cirujanos cerebrales porque tenemos escasez de cirujanos cerebrales», y eso es muy difícil de hacer. A medida que entras en la abundancia, no necesitas esas señales de precios.

Pero de nuevo, mi problema, mi manera de pensar en recetas, trata de cómo atravesamos este período de 20 años. Las preguntas profundamente religiosas, filosóficas, relacionadas con el comportamiento social —¿los humanos sienten un fuerte sentido de propósito y se llevan bien en ese período de abundancia?— no son el asunto que voy a resolver.

Te preocupa la disrupción ahora.

La Fundación Gates vive en un mundo donde, cuando empezamos, teníamos 10 millones de niños muriendo cada año. Ahora tenemos cinco millones. Eso es algo bueno.

Todos mis recursos se gastarán en los próximos 19 años para erradicar una serie de enfermedades y reducir a la mitad esas muertes de nuevo, de cinco millones al año a menos de dos millones y medio por año. Todo se trata de la escasez: «Vale, necesitamos inventar una vacuna, necesitamos hacer que los medicamentos sean menos costosos, necesitamos llevar un buen asesoramiento médico a las mujeres embarazadas».

La industria ha dejado en gran parte de hablar de cómo va a matar a todos y quitarles los empleos. Han virado hacia «la IA curará todas las enfermedades». Lo escucho de varios directores ejecutivos de IA todo el tiempo.

De hecho, le pregunté a Mustafa sobre ese cambio de tono en las conversaciones que hemos tenido durante el último año más o menos. La idea de que hay enormes beneficios positivos de la IA a gran escala parece haber vuelto al primer plano, en lugar de algunos de los impulsos apocalípticos que quizás existían hace uno o dos años.

Me llama la atención que la IA que cura todas las enfermedades esté justo en tu área de acción. Es algo en lo que la Fundación Gates ha estado trabajando en salud global durante años y años. No parece tan fácil como simplemente decirle al modelo que cure el cáncer. Hay que hacer ensayos, hay que fabricar los medicamentos, hay que distribuir los medicamentos, hay que asegurarse de que funcionen.

¿Cómo crees que va a salir eso? ¿Está en el mismo período de 20 años que los robots construyendo nuestras casas? ¿Es más rápido, o es más lento?

Este es mi trabajo de tiempo completo como presidente de la Fundación Gates. De hecho, este mes hacemos dos semanas de revisiones de estrategia para decidir cómo gastaremos nuestro dinero el próximo año en tuberculosis, VIH y malaria. Es fantástico cómo estamos usando la IA, no solo en el lado del descubrimiento de medicamentos, sino también a medida que logramos que estos modelos entiendan correctamente las lenguas africanas, lo cual es una iniciativa que anunciamos con 60 socios el mes pasado.

El descubrimiento y la prestación de atención médica serán increíblemente acelerados por la IA, y eso es muy emocionante: mejores semillas, mejores genéticas de ganado, pronóstico del tiempo para los agricultores de África, que nunca tuvieron ninguna de esas cosas. Así que sí, eso es algo bueno que la IA habilita durante los 19 años restantes de la Fundación Gates.

¿Crees que eso es suficiente para superar el escepticismo o el miedo de las personas hacia los modelos de IA que encuentran hoy? Porque así es exactamente como lo piensan las empresas.

No, vamos. Creo que es injusto decir que estaban totalmente en un mensaje apocalíptico y ahora han cambiado a algún otro mensaje. Estas dos cosas están profundamente entrelazadas.

La IA eventualmente podrá modelar la biología humana de tal manera que entenderás los efectos secundarios de un medicamento sin tener que hacer ensayos en humanos. No estamos ahí, pero en los próximos cinco a 10 años, hay muy buenas posibilidades de que estos modelos in silico nos den esa capacidad. La biología es muy compleja, la IA es extremadamente buena con suficientes datos, y hay nuevas herramientas para recopilar y alimentarle más datos. Es muy, muy buena lidiando con sistemas complejos, así que es casi perfecta para la biología.

Pero no, eso no significa que la gente se sentirá bien con las desventajas. ¿Qué tan rápido llegan las cosas buenas? ¿Qué tan rápido miras tu factura médica y dices: «Vaya, eso es realmente bajo»? O dices: «Quiero comprar una casa nueva, vaya, estas casas son realmente baratas». Las cosas buenas sí toman tiempo. Algunas de las cosas, como los ciberataques y el tema del mercado laboral, incluso en los próximos dos o tres años, verás efectos negativos significativos en esas dos áreas.

Tienes una serie de ideas sobre cómo detendrías esos efectos negativos, o los prevenirías o al menos los mitigarías, en tu carta.

Moderarlos, sí.

Mejorarlos podría ser la palabra correcta.

Sí, exactamente.

Y no son pequeñas. Tienes una cita aquí que dice: «Necesitamos una respuesta mucho mayor que la respuesta de seguridad nacional de Estados Unidos tras el 9/11». Quieres establecer un organismo internacional que de alguna manera haga que todos hagan lo correcto. Estas son ideas desafiantes.

Absolutamente. Cuando lanzamos bombas nucleares en la Segunda Guerra Mundial, ¿esperábamos que pasarían 80 años más sin que eso ocurriera? Yo nos daría una buena calificación por eso. Cosas como cuidar de los países pobres y ayudarlos, aunque ahora no estamos priorizando eso tanto como creo que deberíamos o como lo hicimos en el pasado, lo hemos hecho muy bien. Este será un desafío mayor que cualquier cosa que la humanidad haya logrado.

Una de las cosas que me llama la atención sobre la comparación con lo nuclear, que ha surgido bastante en Decoder recientemente, es que el gobierno construyó las armas nucleares. Claro, tenían algunos contratistas, pero estos eran proyectos gubernamentales y eventualmente la tecnología quedó bajo el control del gobierno, y nunca dejamos que la gente común la tuviera.

Piensa en Muse en el contexto de las armas nucleares. ¿Crees que es un error tener productos de IA agéntica para consumidores como Muse y Dots que podrían no tener los controles?

Muse resulta estar impulsado por el modelo de Meta, que sigue siendo un modelo de código cerrado. Sí creo que permitir que las personas, mediante pesos abiertos, eliminen todas las salvaguardas es irresponsable en términos del riesgo cibernético y biológico que de eso proviene.

Para estos agentes, habrá algunos problemas iniciales en cuanto a cómo están configurados, pero fundamentalmente creo que la gente tendrá agentes personales. Muse es un paso adelante muy bueno. Hablé con Alexandr Wang al respecto, lo felicité, y aunque tendrá desafíos, los agentes personales ayudarán a la gente a hacer cosas.

Muse es el primer producto de IA de consumo verdaderamente excelente. Una de las razones por las que a la gente no le gusta mucho la IA de manera difusa es que experimenta modelos gratuitos baratos y resúmenes de IA, o usan el ChatGPT gratuito y este alucina y les miente, pero Muse realmente hace cosas y es un buen producto de consumo.

Pero me pregunto: en la era nuclear, no estábamos diciendo: "Todos van a tener un reactor nuclear en casa para el que no hemos construido los mecanismos de seguridad". Hay algo aquí.

La noción de dejar que todos fabriquen viruela en casa o fabriquen armas nucleares en casa, por supuesto, y se puede parodiar a algunas de estas personas diciendo: "No se preocupen por las salvaguardas". Es tomar esa postura. "No somos serios con respecto a las cuestiones de seguridad".

Pero lo de los agentes personales es un desarrollo esperado. Las IA son realmente geniales simplemente para que yo explore cosas intelectualmente, incluso el trabajo de la Gates Foundation. Estoy mucho más empoderado. Pero estoy de acuerdo contigo, llegará a más personas en esta forma de agente personal.

Todos los modelos de los que hemos estado hablando ahora mismo funcionan efectivamente en centros de datos propiedad de grandes empresas. Uno de los argumentos aquí es: "Si hacen algo realmente malo, simplemente puedes demandarlos y eso proporcionará un elemento disuasorio o al menos un incentivo para crear sistemas de seguridad".

No estoy seguro de que la responsabilidad del producto sea el camino a seguir, pero se ha mencionado mucho que la responsabilidad del producto en sí mantendrá a la industria en orden. Luego está el otro lado, que es que simplemente puedes ir y comprar un Mac Studio y ejecutar en él un modelo de código abierto y de pesos abiertos que puede hacer lo que quieras.

No estoy seguro de dónde recaería esa responsabilidad o qué controlaría o alinearía los comportamientos de esos modelos de código abierto. ¿Crees que ese es un riesgo cada vez mayor? ¿Crees que eso se puede controlar?

La idea de que las leyes de responsabilidad son la forma en que vamos a gestionar la seguridad de la IA se verá en el futuro como algo absurdo. Cuando personas malas realizan bioataques, no vas al tribunal y dices: "Oh, está bien". Incluso para descubrir quién está realizando estos ataques, el modelo de responsabilidad falla en todos los aspectos porque no son las empresas de IA mismas. Son las personas que toman, en particular, los modelos sin salvaguardas y hacen estas cosas.

Tomaremos la seguridad de la IA más en serio de lo que tomamos la seguridad aérea, la seguridad de los medicamentos y la seguridad automovilística. Eso está garantizado. Si va a ser suficiente... Esto es más difícil, más difícil que las armas nucleares, más difícil que cualquiera de esos otros dominios.

Pero ¿qué vas a hacer con un modelo de código abierto ejecutándose en una PC que alguien construyó con solo una tarjeta gráfica Nvidia al azar?

Espero que, con los modelos por encima de cierta capacidad, encontremos una manera de exigir que las salvaguardas y la monitorización se mantengan en esos modelos. Admito que, a medida que pasa el tiempo, si no decidimos hacer eso bastante pronto, vas a tener un nivel de capacidad que estará en rincones oscuros y que no podrás ver.

Pero ¿dónde impones el límite?

Un país soberano dice que los modelos capaces de realizar ciberataques sofisticados deben tener salvaguardas mantenidas en ellos.

Claro.

Puedes ser abierto en el sentido de que eres libre, puedes ser abierto en el sentido de que eres totalmente personalizable, pero tienes que permanecer en plataformas donde, a medida que lo personalizas, se esté comprobando si estás personalizando para eliminar las salvaguardas y la monitorización y se te niega hacerlo. Así que significa que los soberanos van y dicen: "¿Estas plataformas de confianza son capaces de desempeñar esta función o no?".

Estoy preguntando de manera muy concreta y práctica. ¿Dónde implementarías técnicamente esa regulación?

A través de las leyes de los Estados Unidos.

Claro, pero tienes que ponerlas en algún lugar. ¿Está en Hugging Face, que distribuye algunos de estos modelos? ¿Es a nivel de chip?

No, es exactamente lo que dije: los modelos por encima de cierta capacidad solo pueden ejecutarse en plataformas que certifiquen que, a medida que se personalizan, no se eliminan las salvaguardas.

Solo para desglosar esto, tal vez no lo estoy entendiendo del todo: ¿el Mac Studio es una plataforma en ese caso que tendría que prestar atención a qué código está ejecutando?

No permitirías que un modelo por encima de cierta capacidad se copiara a una máquina cliente a menos que de alguna manera hubieras descubierto cómo monitorear hasta esa máquina cliente, lo cual es muy factible.

Pero a corto plazo, la mayoría de estos modelos de frontera realmente van a ejecutarse más en Hugging Face o podrías tenerlos en GitHub. Puedes tener todo tipo de personas dedicadas a proporcionar las plataformas que mantienen las salvaguardas.

Solo para que quede claro, parece que aplicarías la regulación a nivel de plataforma y de distribución y no tanto a nivel de chip.

No a nivel de chip, no.

Porque siento que en algún momento incluso los modelos de código abierto baratos y gratuitos serán tan capaces como los modelos que tenemos hoy.

Así es.

Y entonces tendrás un gran problema.

Si esos son pesos abiertos de tal manera que todas las salvaguardas se pueden eliminar, entonces vas a tener un nivel muy alto de ciberataques y bioataques. Entonces puedes decir: "Está bien, reescribamos todo el código que tenemos hoy para ser menos susceptibles de ataque o hagamos vigilancia biológica de una manera muy profunda", que son cosas que creo que necesitamos hacer además de estas otras restricciones.

Estamos proponiendo de nuevo muchas capacidades nuevas, ¿verdad?

Sí.

Vamos a imponer algunas restricciones en GitHub. GitHub no tiene hoy muchas restricciones sobre qué código puede distribuir. Tiene algunas, pero no tiene este tipo de conjunto de restricciones.

Cuando pones un modelo de vanguardia capaz de realizar profundos ciberataques o bioataques en GitHub, este diría: "He ido al gobierno de Estados Unidos y he certificado que no permito que la gente elimine las salvaguardas mediante personalización".

No creo que actualmente vivamos en una época de alta confianza en las instituciones. Simplemente no se siente así para mí. De hecho, en su mayoría las hemos derribado. Elon Musk apareció y derribó USAID. Sé que tienes sentimientos fuertes sobre eso.

Eso fue un error.

En su mayoría hemos derribado nuestras instituciones, para bien y para mal.

No, eso es un poco demasiado fuerte. Nuestras instituciones-

Están debilitadas.

Están algo debilitadas, sí.

Algo debilitadas. Es una forma muy amable de decirlo. La confianza en ellas es muy baja. Probablemente podríamos dedicar otra hora completa al descubrimiento de fármacos con IA y a si una parte significativa de la población confiará en los productos de ese trabajo porque hoy no confían en las empresas farmacéuticas.

Hoy no tienen que confiar en las empresas farmacéuticas. Tienen que confiar en el proceso de revisión de la FDA.

No estoy seguro de que confíen en eso tampoco. En general, la confianza es baja.

Entonces pueden negarse a tomarlos. Cuando tengan cáncer, pueden decir: "No, no quiero tomar ese medicamento contra el cáncer". Hasta donde sé, la gente sí toma medicamentos. Es un negocio próspero y la gente los toma porque tienen beneficios comprobados.

Todo lo que digo es que, ahora mismo, parece que la confianza en las instituciones, particularmente en Estados Unidos pero en todo el mundo, está en declive. Tú estás proponiendo una nueva clase de instituciones, potencialmente una nueva clase de instituciones globales que podrían imponer restricciones novedosas.

En algún momento tenemos que decir que los modelos de código abierto, los modelos de pesos abiertos, no pueden hacer ciertas cosas y que el gobierno va a intervenir en ellos y decir si pueden o no hacer esas cosas.

No, se asegurarán de que las plataformas no permitan que se eliminen las salvaguardas.

¿Cómo recuperas la confianza institucional para imponer estos controles?

Digamos que no hacemos esto y dejamos que los modelos salgan a hacer ciberataques y bioataques. ¿Crees que eso va a aumentar la confianza o el bienestar humano? Esa es la alternativa.

Por eso te lo pregunto. Por eso pregunté sobre mis hijos y el nihilismo. Realmente me lo pregunto.

No estoy seguro de que tengamos éxito en esto, pero te garantizo que es factible. La FDA es muy compleja. Las regulaciones de seguridad aérea son muy complejas. Ahora, con la IA, se puede hacer un trabajo aún mejor con el mismo número de personas en esas organizaciones.

Es esta cosa extrañamente recursiva donde la IA estará involucrada en la seguridad de la IA y en auditorías y en una variedad de cosas así. Sí, esto requiere tomar medidas, y sugiero que es solo cuestión de cuán graves sean los incidentes antes de que tomemos medidas.

Puedo percibir tu urgencia sobre los daños. También puedo percibir tu entusiasmo por los beneficios a largo plazo, pero estamos aquí sentados hablando de confianza. Vamos a poner esto en YouTube. Sé que sabes lo que algunos de los comentaristas de YouTube van a decir.

Van a decir: "¿Por qué deberíamos confiar en Bill Gates? Tuvo una relación con Jeffrey Epstein". ¿Cómo respondes a eso? ¿Es que la urgencia está por encima de eso, o tienes una respuesta más específica?

La gente no debería tomar todo lo que hago al pie de la letra. Tengo todo tipo de errores que he cometido, debilidades que tengo, sesgos que aporto a estas preguntas. Deberían simplemente tomar lo que digo y añadirlo a las voces.

He estado en la industria tecnológica pensando en la IA toda mi vida, escribiendo software, pensando en el poder del software. Admito que quedé muy fascinado cuando la IA finalmente empezó a avanzar. En realidad fue bastante lento hasta hace poco.

Estoy asombrado y en realidad me está ayudando a hacer mi trabajo de maneras increíbles. Pero sí, soy solo una voz, una voz imperfecta. Dudo que encuentres una voz perfecta, pero la gente puede juzgarla como quiera.

Yo diría que las voces en las que la gente confía escasean.

Estoy de acuerdo con eso.

Cuando vas y hablas con la gente de esta industria, son un montón de directores ejecutivos jóvenes construyendo empresas enormes. Eso es algo en lo que tienes algo de experiencia. ¿Crees que lo están haciendo de la manera correcta? ¿Crees que tienen las intenciones correctas?

Nuestro problema hoy no está en la industria. Nuestro problema no es que Sam Altman, Dario Amodei, Satya Nadella o Sundar Pichai no entiendan que aquí hay algunos desafíos graves. Hablo menos con Elon que otras personas, pero incluso él declaraciones públicas sobre invocar al demonio son exactamente lo que estamos discutiendo aquí.

¿Por qué no hay energía política para hacer las cosas que estás sugiriendo?

Como dijiste, el gobierno no financió este trabajo. Este es trabajo de empresas del sector privado. El gobierno no es el cliente clave para este trabajo, no como los cohetes y las armas y cosas así. Cuando alguien aparece y dice que todos los avances tecnológicos anteriores son triviales en comparación con este, la gente debería tener un alto grado de escepticismo al respecto.

¿La vida realmente va a ser significativamente diferente dentro de 10 años gracias a la IA? La gente debería decir: «Esos señores simplemente se exaltaron demasiado con esta única cosa». Pero yo estoy aquí diciendo, con la credibilidad que tenga, que esto es absolutamente la tecnología más profunda — tanto en términos de bien como en términos de mal — jamás inventada. Yo no tengo motivación financiera en esto. Estoy sugiriendo que se necesitan absolutamente algunas precauciones y salvaguardas.

¿Qué opinas de la diferencia en el tono de la conversación en Estados Unidos frente a la de China, donde a menudo se informa que el optimismo en torno a la IA es mucho mayor? ¿Por qué crees que hay una diferencia allí?

La mayoría de esas personas no pasan mucho tiempo en China. La preocupación por los mercados laborales en China es muy, muy alta y no se puede caracterizar a China como un monolito. Están las empresas privadas que hacen el trabajo de IA como tenemos en Estados Unidos y luego está el gobierno chino.

Por ejemplo, cuando se trató de si se debería permitir la criptomoneda, dijeron que no. ¿Deberían los jóvenes apostar todo el tiempo? Dijeron que no. Cuando se trató de si los niños deberían tener relaciones con las IA, dijeron que no. En muchas de estas cosas, incluido el uso de la IA, están mostrando una disposición a hacer cosas en nombre de la sociedad.

El fervor es un poquito menor allí, porque su economía no es tan centrada en la IA como la nuestra en este momento. Al final, [en lo que respecta a] el valor humano de no querer ciberataques ni bioterrorismo o de tratar de averiguar qué hacemos cuando los empleos desaparezcan, no creo que haya alguna diferencia entre los chinos y los estadounidenses y todos los demás seres humanos en términos de cómo van a ver esto.

¿Crees que se necesitará que ocurra algo realmente malo para obtener el capital político de Estados Unidos y hacer estos cambios?

Probablemente sí. Nos preparamos para los terremotos porque hay terremotos pequeños. Pensé que después de la pandemia de COVID, eso nos haría estar más preparados para futuras pandemias. Esa no funcionó como yo esperaba.

Pero generalmente eso galvaniza nuestra atención. En los próximos años, ciertamente en el dominio cibernético, porque hay un modelo de negocio allí, verás muchos ataques diferentes en términos de escala a todo lo que hemos visto en el pasado.

Hay una cosa a la que, de nuevo, volveré y con la que solo quiero terminar aquí. Estoy preocupado por los jóvenes y el nihilismo. Lo percibo en nuestra audiencia todo el tiempo. Tenemos una audiencia joven.

Hay algunas cosas de la IA que son simplemente legítimamente las cosas más increíbles que he visto hacer a una computadora. Hay algo allí que puede ser divertido e interesante y fascinante y cambiar toda tu relación con la misma noción de vivir en un mundo digital.

Luego, obviamente, hay cosas horribles. Lo que veo más a menudo que no es un sentido de desconfianza, no solo en las instituciones, sino también en las empresas, en el capitalismo mismo, en la noción de que deberíamos cambiar cómo gravamos el trabajo y el capital, que sé que es otra de tus ideas. La idea de que, no sé, incluso deberíamos tener más hijos. Ya está todo hecho. Nos van a matar a todos y deberíamos simplemente tomarnos un momento.

Hay mucho nihilismo ahí afuera. Lo siento muy intensamente. Si fueras una persona joven hoy y estuvieras escuchando a Bill Gates decir que se trata de unos 20 años de disrupción y que al final de esto, los robots podrían estar construyendo casas, ¿a qué te aferrarías como fuente de esperanza?

A lo largo de la historia humana, hemos estado lidiando con la escasez de alimentos, las enfermedades y la guerra. [El historiador] Yuval Noah Harari escribe elocuentemente sobre el pasado. Y es irónico que ahora que tenemos esta especie de caja de Pandora que eliminará la escasez de alimentos — que sigue siendo algo real, no en EE. UU., sino en África — eliminará las enfermedades, donde el sufrimiento humano es increíble, y resolverá todas estas cosas, venga acompañada de un efecto tal sobre los empleos y nuestro sentido de contribución única.

Pienso: «La manera en que orquesto recursos para erradicar la malaria, soy bastante único en mi experiencia de vida, la cual me permite hacer eso». Pero cuando la IA me dice: «No, yo soy mejor que tú. Ve a jugar pickleball y ya te aviso. Yo me encargaré de esto», es humorístico, pero no es humorístico. Para alguien que es joven hoy y quiere hacer una contribución única, es muy intimidante que la IA sea tan poderosa.

Por eso la crisis en la comunidad matemática se va a reflejar en todas partes. Si tienes veinte años hoy, durante este período de 20 años, puedes tomar las cosas que la IA todavía no puede hacer, y puedes usar la IA y puedes tener mucho buen impacto, y puedes sugerir políticas. Puede que necesitemos desarrollar el gusto de realmente no usar la tecnología al máximo.

Cuando estaba hablando con Claude sobre las categorías de empleo reservadas para humanos y tratando de llevar eso a, digamos, 40 por ciento del mercado laboral — de modo que pudieras usar la jubilación anticipada, semanas laborales restringidas y cosas así para seguir teniendo algo parecido a lo que tenemos hoy — su respuesta siempre era: «Estás restringiendo artificialmente a la IA para que no haga estas cosas». No podía llegar a un porcentaje muy alto sin hacer eso.

Vamos a tener elecciones reales. Hemos tenido grupos —no grandes grupos, sino como los amish— que no viven en la frontera tecnológica. Gran parte de la humanidad puede optar por no vivir en la frontera tecnológica por cosas que obtenemos al ayudarnos unos a otros o al idear ideas únicas.

Sobre la idea de que los jóvenes están preocupados por la disrupción que se avecina —que incluso en el mejor de los casos de cómo gestionemos la IA, este será un período tan tumultuoso como los que ha habido en la historia humana—, odio ser quien da las malas noticias sobre esto, pero es aún peor no decirle a la gente que esto viene. Como humanos, tenemos decisiones que tomar sobre cómo darle forma.

Bill, le agradezco que dé la voz de alarma y le agradezco que esté en Decoder. Muchísimas gracias.

Gracias.

_{¿Preguntas o comentarios? Escríbenos a decoder@theverge.com. ¡De verdad leemos cada correo electrónico!}