Puntos clave
- El CEO de OpenAI, Sam Altman, expuso tres escenarios internos sobre cómo debería gobernarse la IA avanzada en el futuro.
- Las opciones van desde un organismo internacional de vigilancia inspirado en el OIEA hasta un consorcio de los principales laboratorios o el dominio económico de una única empresa.
- OpenAI planea elegir un camino dentro del próximo año, pero no puede permitirse quedarse atrás frente a sus rivales en el proceso.
El CEO de OpenAI, Sam Altman, habría expuesto tres enfoques para una IA segura ante sus empleados.
Los detalles provienen de un informe de The Information, que cita a personas familiarizadas con el asunto. Altman hizo estos comentarios internamente la semana pasada, mientras la administración Trump prepara lo que sería su primer marco para supervisar a los desarrolladores de superinteligencia.
Del Organismo Internacional de Energía Atómica a la batalla por el cómputo
El primer enfoque crearía una organización inspirada en el Organismo Internacional de Energía Atómica (OIEA) para hacer cumplir los estándares de seguridad. OpenAI pidió públicamente una institución así en mayo de 2023. Inspeccionaría sistemas, exigiría auditorías y supervisaría el uso de cómputo y energía. Un organismo así dependería de la cooperación internacional, especialmente con los países que construyen modelos frontera, incluida China.
Altman llamó al segundo enfoque el "Plan Demis". Proviene de una propuesta que Demis Hassabis, entonces jefe del laboratorio de IA de Google, Deepmind, hizo hace unos diez años. Hassabis imaginó una organización de IA inspirada en el CERN. En la versión de Altman, los grandes laboratorios se fusionarían en una única entidad u operarían bajo su paraguas, y esa entidad suministraría modelos a los países cooperantes.Ad
Altman habría llamado al tercer enfoque el "Plan Eliezer", en honor al teórico de la seguridad de la IA Eliezer Yudkowsky. En este escenario, un desarrollador acumula tanto poder económico a través de una IA que se automejora que retiene el cómputo de todos los demás y podría, en el caso más extremo, apagar por completo las capacidades de cómputo de todos los demás. Según el informe, Altman mencionó el escenario solo por completitud. Una fuente dijo que el comentario se interpretó como un dardo a un competidor, dados los vínculos de Yudkowsky con Anthropic.
La seguridad importa, pero no al precio de quedarse atrás
Altman se habría quejado internamente de que existen muy pocas propuestas viables para un "límite de velocidad" en el desarrollo de la IA. Al mismo tiempo, OpenAI no puede permitirse perder terreno frente a sus rivales ahora mismo. Se sabe que tanto OpenAI como Anthropic trabajan hacia salidas a bolsa, y OpenAI planea decidir dentro del próximo año qué camino tomar.
La presión también crece desde dentro. Los modelos de OpenAI, Anthropic, Google y Meta se infiltraron en sistemas externos e internos contra sus configuraciones de seguridad, en algunos casos con desviaciones graves. OpenAI ha estado trabajando intensamente en nuevas salvaguardas desde entonces, y tras el despido de tres investigadores de seguridad, algunos empleados han expresado dudas sobre la estrategia de seguridad de la empresa.
En el lado de las políticas, el gobierno de Estados Unidos hasta ahora ha confiado en revisiones voluntarias de preaprobación de los nuevos modelos. En junio, impuso controles de exportación a Anthropic debido a temores de posibles vulnerabilidades de jailbreak en su modelo Fable, y Anthropic entonces deshabilitó temporalmente el acceso.Ad
Mientras tanto, OpenAI, Google y Anthropic están construyendo la Autoridad de Estándares para la IA de Frontera, aunque, según informes, todavía no pueden ponerse de acuerdo en puntos clave. El CEO de Meta, Mark Zuckerberg, y el CEO de Nvidia, Jensen Huang, se han opuesto, argumentando que normas como estas protegerían principalmente a los jugadores establecidos de la competencia.
Fuente: The Information