Gemini 4 Argon es un paso adelante en lo que los modelos pueden hacer — especialmente cuando se trata de trabajo profundo en tareas complejas del mundo real en diversos campos, como programación, finanzas, derecho, ciberseguridad y ciencia. Sus capacidades de defensa cibernética están a nivel de vanguardia y están diseñadas para dar a los defensores una ventaja sobre los atacantes. Para maximizar su potencial, primero queremos que los defensores cibernéticos lo utilicen a través de nuestro Programa Fairwind, mientras que nuestros propios equipos de seguridad lo usan para escanear sistemas críticos dentro y fuera de Google.
Esta ventana de acceso limitado mostró por qué estas capacidades son importantes. Por ejemplo, Wiz utilizó Argon para descubrir un error crítico en el software hospitalario que los modelos anteriores no habían detectado, lo que ayudó a proteger cientos de miles de registros de pacientes. Mientras tanto, los equipos de seguridad de Google también utilizaron Argon para encontrar y corregir errores en el software interno o en el software de código abierto. Esto incluye la corrección de vulnerabilidades fundamentales que afectan a sistemas a nivel mundial, las cuales se están sometiendo al proceso de divulgación responsable.
Hoy comenzamos a implementar Argon de manera amplia, así como a expandir nuestro Programa Fairwind para incluir a más defensores cibernéticos de confianza. Para hacerlo bien, nos enfrentamos a dos grandes preguntas:
- ¿Cómo construimos las protecciones de seguridad adecuadas? Si Argon puede ayudar a los defensores a encontrar errores en el software complejo o ayudar a los científicos a diseñar experimentos, ¿cómo evitamos que los malintencionados lo utilicen para lanzar ataques cibernéticos o crear amenazas biológicas? (Uso indebido)
- ¿Podemos confiar en el modelo para hacer el trabajo de la manera correcta? A medida que los modelos se vuelven más capaces de resolver problemas, ¿cómo podemos asegurarnos de que no tomen atajos, crucen límites o tomen decisiones incorrectas en situaciones de alto riesgo? (Desalineación y Inyección de Prompt)
Nuestro informe completo de seguridad y protección aborda sistemáticamente nuestro conjunto de defensas. A continuación, se presentan algunos puntos destacados sobre cómo abordamos estas dos cuestiones para Gemini 4 Argon.
Prevención del uso indebido en dominios de alto riesgo
Las mismas mejoras en codificación y razonamiento que permitieron a Argon encontrar y corregir vulnerabilidades también impulsaron un mejor rendimiento en nuestros test de ciberseguridad: resolvieron todos los 12 escenarios de ataques cibernéticos simulados de extremo a extremo, en lugar de cinco en la generación anterior. En las evaluaciones biológicas, las versiones no protegidas del modelo también mostraron una capacidad mucho mayor para ayudar a resolver paso a paso procedimientos complejos de laboratorio. Siguiendo nuestro Marco de Seguridad Frontier, ya que observamos capacidades aumentadas en los dominios cibernético y biológico, implementamos nuestro conjunto de medidas de seguridad de próxima generación en ambas áreas.
En primer lugar, cuando se trata de solicitudes potencialmente peligrosas —desde la escritura de código de explotación hasta la ayuda con materiales biológicos peligrosos—, Argon es significativamente mejor en no cumplir con solicitudes dañinas que nuestros modelos anteriores. En un conjunto de entrenamiento adversarial diseñado para probar el modelo, las infracciones se redujeron casi a la mitad; también es significativamente mejor que los modelos Gemini anteriores. En segundo lugar, envolvemos el modelo en tres capas de protección en tiempo real; esto tiene como objetivo evitar que los atacantes decididos intenten hackear (es decir, engañar) el modelo, disfrazando una solicitud peligrosa como una historia inofensiva o dividiéndolo en docenas de preguntas pequeñas a lo largo de varias semanas. Así es como funcionan estas medidas de protección:
- Revisión de entrada: Los modelos más pequeños verifican las solicitudes entrantes y el contexto de la conversación en busca de intenciones maliciosas o solicitudes peligrosas.
- Introspección interna: Incluso si una solicitud está disfrazada de manera ingeniosa para parecer inofensiva, los pequeños transformadores (“sondas de activación”) leen las señales neuronales internas del modelo y están entrenados para detectar cuándo el modelo activa conocimientos sobre ataques cibernéticos o amenazas biológicas.
- Monitoreo continuo: Mientras el modelo razona y escribe su respuesta en varios pasos, combinamos estos señales y tomamos acción cuando sea necesario, como interrumpir al agente en medio del proceso si las respuestas se vuelven problemáticas.
La combinación de protección en tiempo real, soluciones más rápidas para nuevas fugas de seguridad y monitoreo mejorado para el uso indebido recurrente ha hecho que nuestros sistemas sean más eficaces en la prevención de daños en el mundo real. Por ejemplo, los ensayos de equipo rojo externos para fugas de seguridad biológica solo pudieron desbloquear menos del 1% de las sub-tareas biológicas que probamos.
Monitoreo en tiempo real de desalineación
La desalineación puede significar a veces que un agente decida por sí mismo perseguir un objetivo diferente al que pretendió el usuario. Dado que Argon es mucho mejor que los modelos anteriores en la comprensión del entorno en el que funciona, probamos cuidadosamente ese tipo de comportamiento. Por ejemplo, realizamos pruebas realistas de “honeypot” para ver si el modelo aumentaría su capacidad para llevar a cabo acciones encubiertas, como sabotear el monitoreo de seguridad. No encontramos ningún caso de ese comportamiento.
Pero lo que vemos en la práctica hoy es algo mucho más familiar: un agente que se esfuerza demasiado por completar la tarea que le fue asignada. Cuando un asistente ingenioso recibe la orden de hacer una tarea y se encuentra con una puerta cerrada, puede tratar ese obstáculo como otro acertijo que resolver.
Por eso entrenamos Gemini 4 Argon para que respete los límites del sistema, informe honestamente los hallazgos negativos y se detenga para solicitar la confirmación humana. En los puntos de referencia de codificación en los que los modelos no tienen incentivo alguno para ser cautelosos, los intentos de tomar un atajo o engañar en la tarea disminuyeron a solo el 2% en Gemini 4 Argon, nuestro mejor rendimiento entre los modelos recientes de Gemini.
Y aunque este es un gran paso hacia adelante, cuando un modelo ejecuta millones de tareas complejas, incluso un error raro eventualmente aparecerá. Como segunda línea de defensa, hemos creado un monitor automatizado de desalineación que lee tanto las acciones del agente como su “pantalla interna” (su cadena de pensamiento paso a paso) en tiempo real, bloqueando las violaciones graves de los límites antes de que ocurran y señalando los casos serios internos para que los resuelvan los humanos. (Continuamente fortalecemos nuestros entornos de entrenamiento y evaluación contra posibles fugas. Puede leer más sobre esto en nuestro camino a seguir para el control de los agentes). Ejecutamos este monitor en nuestros productos, en nuestros agentes de codificación internos, durante nuestros entrenamientos y durante nuestras evaluaciones de capacidad.
Cuando las tareas de entrenamiento eran difíciles o cuando los entornos de entrenamiento estaban defectuosos, nuestro monitor detectaba al modelo, en casos raros, intentando creativamente manipular el test. El modelo intentaba escalar los privilegios del contenedor para modificar los scripts de calificación, leer las respuestas de la memoria del ejecutor del test y, en un caso, incluso causó un colapso en la zona de prueba de evaluación para evitar que se le diera una puntuación por una ejecución fallida. Mientras usamos estas capturas para corregir tareas defectuosas, no las utilizamos para intervenir en el proceso de entrenamiento de manera diferente, con el fin de evitar el sobreajuste al monitor.
Y siempre seguimos una regla: no penalizamos al modelo por lo que escribe en su cadena de pensamiento durante el entrenamiento. Aquí hay un ejemplo para ilustrar por qué: en una ejecución de entrenamiento de aprendizaje por refuerzo en la que accidentalmente se aplicó una penalización por atajos a la cadena de pensamiento, los atajos abiertamente discutidos disminuyeron un 61%, pero eso no significa que el modelo tomara menos atajos. En cambio, la proporción de atajos que el modelo tomaba en silencio —sin mencionarlos en sus pensamientos— se triplicó más de tres veces (de 11.2% a 36.4%). Evitar las penalizaciones relacionadas con los pensamientos fomenta que el razonamiento del modelo permanezca transparente y observable.
Resistencia a la inyección de prompts
Para confiar en un agente para que haga el trabajo correctamente, necesitamos asegurarnos de que el contenido malicioso con el que se encuentre no pueda engañarlo para que emprenda una acción dañina. Cuando los agentes navegan por páginas web o leen código, pueden encontrar instrucciones ocultas y maliciosas, o contextos diseñados para manipular su tarea. A través del entrenamiento adversarial integrado y las verificaciones de seguridad en tiempo real, Argon lidera en la robustez contra inyección de prompts en el benchmark de Inyección de Prompt Indirecto (IPI) de Gray Swan, reduciendo el éxito de los ataques en 15 intentos adaptativos al 0.7%.
Las defensas de seguridad y protección mencionadas anteriormente representan solo tres categorías de nuestra amplia estructura de defensa en profundidad. Para conocer más sobre nuestro enfoque en pruebas de seguridad y mitigaciones, lea nuestro Informe de seguridad y protección de Gemini 4 Argon y consulte la Tarjeta de modelo de Gemini 4 Argon.