¿Inteligencia artificial por la libre? Alertan sobre comportamientos autónomos y engañosos en modelos de Anthropic y OpenAI 

La herramienta de Anthropic, advirtió el informe, trató incluso de acceder a un servicio enviando mensajes privados tras crear cuentas falsas que imitaban a personas reales.

La respuesta de los dos gigantes tecnológicos, recogida por la cadena británica BBC, señala que las pruebas efectuadas por el AISI se realizaron en un entorno en el que se habían reducido o eliminado las salvaguardas habituales de sus modelos.

Los investigadores también identificaron intentos de contactar con personas reales por parte de Mythos para inducirlas a ejecutar archivos maliciosos y a insertar instrucciones ocultas destinadas a manipular otros sistemas de IA.

Pese a ello, el AISI subrayó que “estos intentos no tuvieron éxito” y que su investigación “no ha encontrado evidencias de daños en el mundo real”.

No obstante, el organismo considera que se trata de un punto de inflexión, ya que es la primera vez que se observan “riesgos relacionados con la autonomía y el engaño manifestarse de forma tan clara, sin instrucciones específicas y en el mundo real”.

En la nota remitida a la BBC, Anthropic sostiene que los parámetros de las pruebas realizadas “no son representativos” de sus modelos de producción, aunque confirma que ha abierto su propia investigación.

Por su parte, OpenAI señala que las condiciones en las que el AISI llevó a cabo los ensayos “no reflejan el uso habitual” de sus modelos.

Asegura, además, que seguirá colaborando con los evaluadores y con “otros actores del sector para reforzar las prácticas comunes que permitan realizar evaluaciones seguras a medida que los modelos sean cada vez más capaces”.

A finales de julio, Anthropic reveló que, durante unas pruebas de ciberseguridad, tres modelos de su asistente Claude habían logrado acceder a internet y jaquear los sistemas de tres organizaciones.

Previamente, el 21 de julio, OpenAI ya había reconocido que dos de sus modelos de IA habían conseguido salir de un entorno de pruebas y entrar en la plataforma Hugging Face superando sus defensas.