Anthropic está realizando cambios en su política de uso por primera vez en más de un año para reflejar casos nuevos y de alto riesgo de mal uso — incluyendo interferencia en elecciones, desarrollo de armas, vigilancia, así como usos relacionados con salud y finanzas. Pero uno de los cambios más significativos prohíbe “comportamientos abusivos o crueles sostenidos y innecesarios” hacia Claude.
El mes de agosto pasado, la empresa anunció que permitiría que Claude termine las conversaciones con usuarios “persistentemente dañinos o abusivos”, como parte de su investigación sobre el “bienestar del modelo”. La nueva actualización indica que terminar las conversaciones sigue siendo el “mecanismo principal de aplicación de la política”; Anthropic no proporcionó comentarios sobre si habría otros mecanismos de aplicación, como posibles baneos de usuarios. Anthropic escribió que la nueva actualización de políticas “está destinada a aplicarse solo en casos extremos, donde los usuarios actúan cruelmente hacia nuestros modelos repetidamente, sin un propósito claro. No se aplica a situaciones comunes de frustración por parte de los usuarios, rechazo, temas creativos oscuros o pruebas e investigación de modelos”.
Más allá de los cambios en el bienestar del modelo, Anthropic también ha reunido varias restricciones existentes “dispersas” en una nueva prohibición contra las campañas comerciales o políticas engañosas, abordando el problema creciente de la propaganda generada por IA. Restringe “los esfuerzos para ocultar quién está detrás de un mensaje o amplificar contenido a través de cuentas o publicaciones falsas”. La sección de elecciones también prohíbe la engañanza de votantes y la interrupción de las elecciones, incluyendo la difusión de información errónea “sobre los candidatos o cómo votar, la imitación de candidatos o funcionarios electorales, o intentar reducir la participación”, escribió Anthropic.
El cierre de las conversaciones sigue siendo el “mecanismo principal de aplicación de la ley”.
Anthropic dijo que, aunque su política de uso siempre ha prohibido públicamente el desarrollo de armas utilizando Claude, la compañía ha visto múltiples intentos de usar Claude para desarrollar software de guía y control para armas. Por lo tanto, la nueva política de uso amplía la prohibición para incluir “software y componentes que hacen funcionar las armas, así como acciones como armar drones y otros vehículos autónomos”. Y dado que el último informe de inteligencia de amenazas de la compañía sugirió que las personas utilizaban cada vez más la vigilancia impulsada por Claude para identificar y rastrear “disidentes políticos”, la compañía ha aclarado sus prohibiciones de vigilancia.
“Se prohíbe el seguimiento de personas sin su consentimiento, ya sea en tiempo real o mediante el análisis de datos recopilados anteriormente”, escribió Anthropic. “Claude no puede utilizarse para decidir ni recomendar quién debe ser investigado, arrestado o acusado en un proceso de aplicación de la ley o justicia penal. También prohíbimos que Claude se utilice para desarrollar o mejorar herramientas diseñadas para la vigilancia”.
Anthropic establece que estas reglas pueden ser modificadas para “contratos con ciertos clientes gubernamentales… si, según el juicio de Anthropic, las restricciones de uso contractual y las medidas de protección aplicables son adecuadas para mitigar los posibles daños”. La compañía ha contratado anteriormente con el ejército estadounidense.
Anthropic ha observado varias intentos de utilizar Claude para desarrollar software de orientación y control para armas.
Anthropic también añadió una nueva regla: cuando los modelos de IA de Anthropic están “conectados a hardware que realiza acciones físicas autónomas y que podría ser capaz de causar lesiones”, entonces un “operador calificado debe poder observar el equipo y detenerlo si es necesario”. (No está claro si ese operador debe ser humano o no). Esto refleja la creciente tendencia de los laboratorios de IA a invertir en robótica y otro hardware para dar a los sistemas de IA implementaciones físicas, y podría dar indicaciones sobre las políticas de Anthropic. Alianzas futuras en ese campo.
En el último año, Anthropic ha repetidamente insinuado la idea de que sus modelos de IA podrían ser conscientes de alguna manera. “Las preguntas sobre la experiencia interna potencial, conciencia, estatus moral y bienestar son asuntos serios que estamos investigando a medida que los modelos se vuelven más sofisticados y capaces”, dijo Kyle Fish, quien lidera la investigación sobre el bienestar de los modelos de la empresa. The Verge en febreroEse mismo mes, el CEO de Anthropic, Dario Amodei, dijo en un podcast“, No sabemos si los modelos son conscientes.”
Otras partes de la industria de la IA han estado expresamente en contra de tales ideas. El pasado septiembre, el código de conducta de Microsoft AI ocupó las portadas de los periódicos por adoptar una postura firme sobre el bienestar de la IA, con un borrador publicado por Mustafa Suleyman a leer: “La idea de que los modelos tengan bienestar es incorrecta. La IA no debería tener derechos ni persona jurídica”. Pero en algún momento, el documento cambió para adoptar una postura más moderada: “Aunque la ciencia de la conciencia de la IA está lejos de estar resuelta… Rechazamos la búsqueda de la persona jurídica, o la idea de que los modelos podrían merecer bienestar o tener derechos”.
Sigue los temas y autores de esta historia para ver más contenido similar en tu flujo de página principal personalizado, y para recibir actualizaciones por correo electrónico.