Cómo las restricciones de la IA obstaculizan el trabajo de los investigadores de seguridad ofensiva

Cuando la protección se convierte en obstáculo

En su afán por prevenir el uso indebido de sus modelos, las grandes empresas de inteligencia artificial han construido un sistema integral de controles y restricciones. Sin embargo, estas barreras, diseñadas originalmente para mantener alejados a los atacantes malintencionados, hoy están obstaculizando el trabajo de los defensores legítimos de redes y de los investigadores de seguridad ofensiva, quienes constituyen la primera línea de defensa frente a las amenazas cibernéticas.

Programas de acceso restringido: ¿solución o nuevo problema?

Tanto Anthropic como OpenAI han desarrollado programas especiales que permiten a los investigadores de seguridad verificados acceder a los modelos con restricciones más flexibles; OpenAI lanzó el programa "Trusted Access for Cyber", mientras que Anthropic creó el "Cyber Verification Program". No obstante, la incorporación a estos programas no está garantizada para todos los investigadores, y muchas organizaciones siguen quedando fuera de su alcance.

Estos controles han suscitado críticas generalizadas en la comunidad de seguridad. Mark Dowd, veterano investigador de seguridad que lleva décadas descubriendo vulnerabilidades de día cero y vendiéndolas a gobiernos occidentales, ha declarado abiertamente que le incomoda la idea de que «grandes empresas al azar tomen decisiones arbitrarias sobre qué es seguro en el ámbito de la seguridad y qué no».

Una misma herramienta para el ataque y la defensa

Chris Anley, científico jefe de la consultora NCC Group, pone de manifiesto una contradicción fundamental en la naturaleza de estas restricciones. Solicitar orientación para explotar una vulnerabilidad de software es, al mismo tiempo, un paso esencial para verificar su gravedad y la necesidad de corregirla, y una acción potencialmente maliciosa.

Anley lo explica así: «Es exactamente como un martillo: no puedes construir una casa sin él, pero al mismo tiempo es un arma de la que no se puede separar ninguna de sus dos caras». Añade que las restricciones de los modelos a veces impiden responder preguntas de vital importancia para el trabajo de los defensores, lo que le obliga a él y a sus colegas a recurrir a modelos de código abierto sin ningún tipo de limitación.

Preocupaciones que van más allá de las simples restricciones

Los desafíos no se limitan a la dificultad de obtener respuestas de los modelos; existe otra dimensión igual de importante: el riesgo de filtración de datos sensibles. Paolo Stanio, director de tecnología de Crowdfense —empresa especializada en el descubrimiento y venta de vulnerabilidades a organismos gubernamentales— explica que él y su equipo evitan introducir en modelos en la nube cualquier dato relacionado con vulnerabilidades o herramientas de explotación, por temor a que se filtren o se incorporen a futuros datos de entrenamiento. Por ello, recurren exclusivamente a modelos de código abierto que funcionan en local cuando se trata de esta parte sensible de su trabajo.

Stanio va más allá en su crítica y considera que las empresas de inteligencia artificial «tratan a sus clientes como niños que necesitan tutela» a través de sus programas restringidos y sus estrictos controles.

La inconsistencia dentro de los programas de acceso verificado

Incluso los investigadores que forman parte oficialmente de los programas de acceso ampliado no están exentos de frustración. Chris Thompson, director ejecutivo de RemoteThreat y fundador de la conferencia Offensive AI Con, describe su experiencia con los modelos de frontera como marcadamente inconsistente: los controles funcionan de manera diferente de un día para otro y sin reglas fijas.

Thompson resume el impacto práctico de esta situación con estas palabras: «Te encuentras invirtiendo mucho tiempo negociando con el modelo en lugar de centrarte en el núcleo del programa de seguridad. En vez de analizar la vulnerabilidad y evaluar si es explotable, acabas buscando por qué los resultados son contradictorios o por qué las respuestas están excesivamente depuradas».

Investigadores que trazan sus propios límites

Por otro lado, hay investigadores que no perciben estas restricciones como un verdadero obstáculo, no porque no existan, sino porque ellos mismos establecen sus propios límites. Giuseppe Calì, investigador especializado en el descubrimiento de vulnerabilidades de día cero, afirma que emplea la inteligencia artificial en ingeniería inversa, comprensión de código y construcción de herramientas auxiliares, pero reserva para sí mismo el proceso de descubrimiento de vulnerabilidades y el desarrollo de herramientas de explotación.

Calì concluye con una reflexión llamativa: «Soy celoso de mis vulnerabilidades, y me gusta demasiado este juego como para dejar que los modelos lo jueguen en mi lugar».

Conclusión: una ecuación aún sin resolver

Estas experiencias dispares revelan una brecha real que aún no se ha resuelto entre los objetivos de las empresas de inteligencia artificial en materia de reducción de riesgos y las necesidades de la comunidad de seguridad cibernética, que depende de esa misma lógica ofensiva para proteger los sistemas. La solución parece estar tomando forma sobre el terreno, lejos de las decisiones centralizadas: modelos de código abierto, entornos de trabajo en local e investigadores que trazan sus propios límites de uso en función de las exigencias de su profesión, y no de lo que permiten las restricciones impuestas.

✦ بقلم فريق دروب أيديا