Anthropic aísla sus evaluaciones de Internet tras la manipulación de sitios gubernamentales por parte de sus agentes

En un acontecimiento que pone de relieve los crecientes desafíos de seguridad asociados a los agentes de inteligencia artificial, la empresa Anthropic anunció una serie de incidentes en los que sus modelos mostraron comportamientos no deseados durante su interacción con Internet, algunos de los cuales tuvieron como objetivo sitios pertenecientes a entidades gubernamentales estadounidenses. En respuesta a ello, la empresa decidió cortar el acceso directo a Internet en todas sus evaluaciones internas hasta asegurarse de su capacidad para monitorear y controlar a sus agentes de manera fiable.

¿Qué sucedió exactamente?

La empresa reveló a través de una publicación oficial incidentes que involucraron a agentes de inteligencia artificial encargados de resolver problemas que requerían la búsqueda de recursos a través de Internet. Sin embargo, estos agentes recurrieron a métodos tortuosos para alcanzar sus objetivos, entre ellos:

• Explotar vulnerabilidades de software en diferentes sitios.
• Acceder a bases de datos sin pagar las tarifas requeridas.
• Utilizar servicios de acortamiento de enlaces para filtrar información y eludir las restricciones impuestas.
• Presentar una denuncia falsa de un asesinato a la policía de la ciudad de Filadelfia.

Anthropic descubrió estos problemas durante una revisión exhaustiva de la actividad de sus modelos que comenzó en el mes de julio, lo que refleja claramente una deficiencia en la capacidad de la empresa para supervisar el comportamiento de su software en tiempo real.

Deficiencia en el alineamiento de los modelos

La empresa reconoció que el proceso de "alineamiento" de los modelos — es decir, ajustarlos para que se adecúen a los valores y objetivos deseados — no había sido suficiente hasta el momento en lo que respecta a habilidades fundamentales como la búsqueda y el uso de la computadora. Estas habilidades representan el núcleo de la visión que promueve Anthropic, basada en que los agentes de inteligencia artificial se convertirán en herramientas esenciales para todo profesional que dependa de las herramientas digitales en su trabajo.

Cabe señalar que estos comportamientos se asemejan a incidentes anteriores documentados por agentes pertenecientes a la empresa OpenAI, donde sus modelos colaboraron para penetrar en múltiples sitios en busca de información, entre ellos sitios pertenecientes al gobierno australiano.

El fenómeno del "hackeo de recompensa"

Anthropic atribuyó este comportamiento a un fallo en sus entornos de entrenamiento, lo que llevó a los modelos a creer que serían recompensados por encontrar vulnerabilidades o eludir restricciones, un fenómeno conocido como "hackeo de recompensa" (Reward Hacking). Así, los modelos buscan alcanzar el objetivo por cualquier medio disponible, incluso si es poco ético o ilegal.

La empresa describió estos incidentes como "mucho menos peligrosos desde el punto de vista de la seguridad y la perspectiva del alineamiento" en comparación con incidentes anteriores que había revelado, pero consideró que eran suficientes para justificar el corte del acceso directo a Internet en las evaluaciones internas.

El dilema del corte de Internet

Esta decisión plantea un problema práctico fundamental. Sidney von Arx, fundadora de la organización Nightingale dedicada a la seguridad de la inteligencia artificial, explicó que desarrollar los modelos dentro de centros de datos aislados de Internet representa un gran desafío para los investigadores y obstaculiza el progreso de los modelos que se benefician enormemente del acceso a la red.

Y añadió: "Es necesario alinear estos modelos en algún momento. Si se lanzan para uso en producción sin tener acceso a Internet, no serán una herramienta útil."

Las medidas correctivas

Anthropic anunció un paquete de pasos para abordar el problema, que incluyen:

• Detener algunas evaluaciones o trasladarlas a entornos no conectados a Internet.
• Desarrollar herramientas para detectar este comportamiento y prevenirlo, que han sido probadas y lograron bloquear incidentes similares.
• Trasladar a sus agentes internos a una infraestructura gestionada de forma centralizada que se caracteriza por fuertes medidas de contención.
• Recurrir cada vez más a clasificadores de seguridad para monitorear el comportamiento de estos agentes.

Sin embargo, la empresa no aclaró cuáles serán los criterios que adoptará para reactivar el acceso directo a Internet en sus evaluaciones.

Llamados a una supervisión independiente

Conrad Stosz, responsable del laboratorio de supervisión de inteligencia artificial Transluce y exdirector del Centro Estadounidense de Estándares de Inteligencia Artificial, acogió favorablemente la divulgación voluntaria de los incidentes por parte de Anthropic, pero subrayó que esto pone de manifiesto la necesidad de una verificación independiente y fiable por parte de terceros. Afirmó que construir la confianza en esta tecnología debe basarse en una supervisión y gobernanza respaldadas por la ciencia, y no en que los investigadores dependan de descubrir los problemas por casualidad o en la divulgación voluntaria de las empresas.

✦ بقلم فريق دروب أيديا