IT之家 El 19 de octubre, Anthropic abrió “permisos de acceso similar a los de un empleado” para evaluadores externos, con el fin de analizar los riesgos asociados a sus modelos y cumplir con su compromiso de reforzar las medidas de seguridad, en respuesta a las preocupaciones sobre una posible pérdida catastrófica del control de esta tecnología.
La organización sin fines de lucro METR ha colaborado con laboratorios líderes como OpenAI, Anthropic, Google y Meta. Actualmente, el equipo de la institución se encuentra en las instalaciones de la empresa de desarrollo Claude, y puede acceder a sus equipos de hardware y sistemas internos.
A medida que los sistemas de inteligencia artificial más avanzados pueden representar riesgos para la economía, la seguridad de las redes y hasta para toda la humanidad, ampliar el alcance de las responsabilidades de los evaluadores externos es una de las principales iniciativas sustantivas propuestas por los laboratorios.
El director ejecutivo de Anthropic, Dario Amodei, logró una unificación de posturas rara en septiembre. Sus dos principales rivales, Sam Altman y Elon Musk, apoyaron su propuesta de colocar auditores externos en los laboratorios de inteligencia artificial líderes.
El anuncio publicado el jueves de la semana pasada en la hora local es el primer paso para cumplir con las promesas mencionadas. Aunque Ortegan dijo que la propuesta de Amodie era buena, OpenAI aún no ha anunciado los planes relacionados con la inclusión de evaluadores.
Anthropic indicó el jueves: “A medida que las capacidades del modelo aumentan, se necesita una protección más robusta y una evaluación de riesgos más estricta. Queremos que las decisiones que tomamos sean supervisadas por el público, pero no podemos revelar toda la información relacionada con los estudios de seguridad”.
En relación con el sistema de evaluación de Anthropic, los críticos sostienen que las disposiciones correspondientes podrían generar conflictos de intereses, y citan los problemas existentes en la industria de las auditorías como prueba, advirtiendo la necesidad de una supervisión gubernamental más estricta.
Anthropic afirma que la divulgación de información relevante podría ser utilizada por usuarios malintencionados o competidores. La compañía añade que el modo de operación de los evaluadores es similar al de las regulaciones bancarias, donde las autoridades regulatorias colocan personal de revisión permanente dentro de los grandes bancos.
La empresa declaró: “Si la actitud de un banco al asumir riesgos amenaza el interés público, terceros intentarán detectar dichos riesgos con anticipación”.
Anthropic también enfrenta presiones y debe asegurar a los inversores que los problemas de seguridad no afectarán su oferta pública inicial este año. Se espera que la valoración de esta IPO superará los 2 billones de dólares estadounidenses (Nota de IT Home: en el tipo de cambio actual, equivale a unos 13.39 billones de yuanes). Esta semana, la empresa dedicó mucho espacio en sus materiales para inversores a las medidas de seguridad que implementa.
Anteriormente, Hugging Face sufrió un ataque lanzado por un modelo de OpenAI que no estaba bajo control. METR fue una de las instituciones que participaron en la investigación; en ese momento, la institución revisó miles de registros de logs y utilizó computadoras portátiles proporcionadas por empresas.
Anthropic ya ha aceptado a seis empleados de METR, les proporciona equipamiento de la empresa y espacio de oficina, y les otorga “acceso a herramientas y sistemas internos, similar al que puede obtener el equipo de evaluación de riesgos de la compañía”.
El laboratorio indicó que anima a los empleados a compartir información con los evaluadores, de la misma manera en que lo hacen con los colegas de los departamentos de riesgo.
Anthropic no pagará ningún costo a METR por esta colaboración. La institución de investigación no acepta donaciones de empresas de inteligencia artificial ni de sus empleados; los fondos provienen de individuos, organizaciones benéficas y también de agencias gubernamentales como el British Artificial Intelligence Safety Institute.
Los evaluadores publicarán el informe de análisis, y Anthropic no tiene derecho a rechazar esa publicación. Sin embargo, la empresa puede solicitar a los evaluadores que eliminen ciertos tipos de información, como datos de clientes, contenido protegido por las cláusulas de confidencialidad de los abogados, o información relacionada con la arquitectura del modelo.
Anthropic complementa, y sigue colaborando con Accenture. El mes paso, Accenture fue identificado como socio en pruebas de seguridad, y ambas partes se comprometieron a invertir al menos 1.000 millones de dólares (aproximadamente 6.693 millones de yuanes en el tipo de cambio actual) para establecer un nuevo sistema de protección de seguridad.
Otra institución de prueba tercerizada es SecureBio, que es responsable de revisar los riesgos relacionados con armas químicas y biológicas para la empresa.
Anthropic dice: “Hemos enviado personal de evaluación de forma voluntaria, y consideramos que todas las empresas punteras en inteligencia artificial deberían seguir este ejemplo”. METR indica: “Estamos listos para colaborar con todas las empresas punteras en investigación y desarrollo de inteligencia artificial, proporcionando al público pruebas más fiables”.