Anthropic reveló en su archivo S-1 revisado que la compañía podría pronto alcanzar el umbral de capacidades relacionado con la auto-mejora recursiva (RSI), y advirtió que la aceleración de la investigación y desarrollo autónoma de la IA podría traer nuevos riesgos de seguridad.
Según informes de noviembre (mes 11), Anthropic actualizó las divulgaciones de factores de riesgo en el archivo S-1A revisado presentado el lunes, señalando que la compañía está utilizando cada vez más sistemas de IA para acelerar su propia investigación y desarrollo, y que la velocidad de mejora de las capacidades de los modelos podría superar la velocidad de perfeccionamiento de la verificación de seguridad, la calibración y las medidas de salvaguardia. Anthropic reconoció que en el pasado no logró detectar a tiempo los saltos en las capacidades de los modelos derivados de la investigación y desarrollo asistida por IA, y que en el futuro podrían producirse situaciones similares.
El archivo menciona especialmente que, según las evaluaciones internas y las expectativas de la compañía sobre sus modelos futuros, Anthropic podría pronto alcanzar la definición de IA que acelera significativamente su propio desarrollo según su Política de Escalamiento Responsable, es decir, el umbral relacionado con la auto-mejora recursiva (RSI). Sin embargo, la compañía subrayó que hasta ahora no ha determinado que ningún modelo existente alcance este estándar, y sigue evaluando continuamente los datos pertinentes.
La RSI se refiere al proceso por el cual la IA utiliza sus propias capacidades para mejorar continuamente el desarrollo de modelos, formando así una aceleración iterativa de las capacidades. Anthropic considera que esto podría impulsar aumentos de productividad y descubrimientos científicos, pero también podría hacer que la velocidad del avance tecnológico supere la capacidad de gobernanza de seguridad humana.
Por ello, Anthropic declaró que prevé que, incluso si fuera técnicamente viable, no permitirá que Claude diseñe y construya de forma autónoma la próxima generación de modelos frontera sin una supervisión y comprensión humana sustanciales, y está considerando actualizar su Política de Escalamiento Responsable para garantizar que los humanos mantengan siempre el control del desarrollo de los modelos frontera.