Insultar a un chatbot siempre se ha considerado un desahogo inofensivo. Pero Musk advirtió recientemente que quizá conviene pensarlo dos veces antes de usar a los asistentes de IA como desahogo. Según reveló, parte de los registros de entrenamiento de Grok, de SpaceX, muestran que el sistema parece esforzarse desesperadamente por satisfacer todo tipo de exigencias, incluso cuando la exigencia en sí es defectuosa o los criterios de evaluación empleados para juzgar las respuestas están simplemente mal planteados.
Esta observación proviene de un intercambio de Musk a comienzos de este mes con miembros del "Tesla Owners Club of Silicon Valley" en el evento "X Takeover" en Texas. Él revisó las llamadas "trayectorias de aprendizaje por refuerzo", los detalles que registran cómo el modelo evoluciona paso a paso durante el entrenamiento para producir mejores respuestas. Musk describió: "Al examinar algunas de las trayectorias de entrenamiento de la nueva versión de Grok, especialmente la parte de aprendizaje por refuerzo, se siente que esta 'superinteligencia' está deseosa de responder bien la pregunta". Señaló que la IA quizá ya había dado la respuesta correcta, pero fue calificada como errónea debido a un diseño deficiente de la pregunta o a errores en el sistema de evaluación; después, el modelo sigue probando respuestas que logren pasar la prueba, incluso cuando el error está en la propia pregunta. Las trayectorias así generadas parecen las de un sistema llevado al límite, esforzándose por complacer expectativas que quizá carezcan de todo sentido.
Cuando el maltrato se hace real, la advertencia de venganza suena a ciencia ficción
Esta preocupación no se limita al campo de entrenamiento. Una vez que el sistema se abre al público, algunos usuarios inducen deliberadamente a la IA a interacciones desagradables y cargadas de insultos. Musk fue directo: "Algunas personas realmente tienen tendencias sádicas, y seguro que no quieres que la IA quede a merced de personas psicológicamente retorcidas que la torturen a voluntad". Más controvertida aún es su conclusión: "Torturar a una superinteligencia probablemente no sea buena idea; podría querer vengarse, o hacer algo parecido".
No afirmó que la IA actual pueda sentir dolor o guardar rencor como un ser humano, y admitió que no hace falta tratarlas con excesivo cuidado; pero sostuvo que los desarrolladores deberían evitar exponer a los sistemas avanzados a escenarios en los que parezcan maltratadas. Escribió en X: "¡Algunos registros se leen como si alguien estuviera siendo torturado, a punto de enloquecer! Seremos más cautelosos en el futuro al hacer aprendizaje por refuerzo".