Una nueva técnica de razonamiento de OpenAI preocupa a los expertos en seguridad de la inteligencia artificial

Una noticia reciente sobre un nuevo modelo de la empresa OpenAI ha suscitado una ola de preocupación entre los especialistas en seguridad de la inteligencia artificial, tras revelarse que el modelo conocido como «Astra» adoptará un nuevo método de razonamiento denominado «profundidad recurrente» (Recurrent Depth). Según un informe publicado por la plataforma The Information, esta técnica permite al modelo salir del patrón de pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento actuales, lo que podría dificultar el seguimiento de su «cadena de pensamiento».

¿Qué se entiende por «recurrencia opaca»?

Para comprender el origen de la preocupación, es necesario distinguir entre dos formas de razonamiento. En el modo tradicional, el modelo de razonamiento genera lo que se conoce como «cadena de pensamiento» (Chain of Thought), es decir, una serie de pasos sucesivos que el modelo sigue mientras intenta resolver un problema. Aunque esta representación no es del todo precisa, sigue siendo una herramienta valiosa para detectar cualquier comportamiento desviado o fallo en la alineación del modelo con sus objetivos previstos.

En cambio, en el método de «recurrencia opaca» (Opaque Recurrence), el modelo sigue un enfoque menos secuencial, ya que procesa la misma consulta varias veces dentro de un bucle repetitivo. El problema radica en que este proceso deja rastros menos legibles, lo que significa en la práctica eludir el registro tradicional de la cadena de pensamiento en el que se apoyan los investigadores para la supervisión.

Temores de una «carrera hacia el fondo»

Las reacciones de los expertos en seguridad no se hicieron esperar. Buck Shlegeris, director ejecutivo de la empresa Redwood, expresó su profunda preocupación, señalando que, aunque no sabe hasta qué punto ha disminuido la capacidad de supervisar «Astra» en comparación con los modelos anteriores, la expansión del uso de esta técnica por parte de OpenAI podría otorgarle la capacidad de aumentar enormemente la recurrencia, lo que «podría destruir por completo la capacidad de supervisar la cadena de pensamiento».

Por su parte, el activista en el ámbito de la seguridad de la inteligencia artificial Zvi Mowshowitz advirtió sobre la posibilidad de que se produzca una «carrera hacia el fondo» entre los laboratorios de inteligencia artificial, sugiriendo que podría ser necesario promulgar leyes para evitarlo. Añadió que esta técnica «juega con fuego», ya que amenaza con romper un tabú que tanto OpenAI como Anthropic se esforzaron por consolidar: mantener la claridad de la cadena de pensamiento y su capacidad de supervisión durante el mayor tiempo posible.

Garantías de OpenAI

En cambio, parece que la adopción de esta técnica por parte de «Astra» es limitada por el momento. Se espera que la cadena de pensamiento del modelo siga siendo legible, y la empresa negó cualquier tendencia hacia lo que se conoce como «lenguaje neuronal» (Neuralese) incomprensible. Además, OpenAI ya había anunciado planes para construir sistemas de supervisión ampliados de la cadena de pensamiento dentro de su estrategia de seguridad futura.

El científico jefe de la empresa, Jakub Pachocki, afirmó el compromiso del laboratorio de mantener cadenas de pensamiento claras, señalando que OpenAI ha trabajado desde sus primeros modelos de razonamiento para preservar esta capacidad y aprovecharla, y que ello constituye un objetivo central en su programa de investigación actual.

¿Hemos superado el punto de no retorno?

Cabe destacar que todos los modelos de inteligencia artificial realizan cierto grado de razonamiento «opaco», y pocos investigadores tratan los registros de la cadena de pensamiento como una representación directa y precisa del pensamiento del modelo. Sin embargo, estas reservas no disipan los temores de que la expansión de la «recurrencia opaca» pueda hacer que el razonamiento de los sistemas sea más difícil de supervisar, especialmente con su propagación a través de múltiples modelos. Informes posteriores indicaron que tanto Anthropic como Google DeepMind ya están debatiendo esta técnica.

Ryan Greenblatt, científico jefe de Redwood Research, resume las principales preocupaciones al afirmar que la evolución natural a partir de este punto podría llevar a ampliar el razonamiento opaco hasta que todo el pensamiento del modelo —o casi todo— se realice en el «espacio latente» (Latent Space), lejos de cualquier canal visible. Espera que aún no sea demasiado tarde para evitar las arquitecturas más preocupantes y que OpenAI se detenga en este límite.

Conclusión

Este debate refleja la tensión existente entre la carrera hacia modelos más potentes y rápidos, por un lado, y la necesidad de mantener su funcionamiento comprensible y supervisable, por otro. Cuanto más opaca se vuelve la forma de pensar de los sistemas, más disminuye nuestra capacidad de garantizar su alineación con los valores humanos, un desafío que seguirá estando en el centro del debate sobre el futuro de la inteligencia artificial.

✦ بقلم فريق دروب أيديا