OpenAI informó que algunos de sus agentes de inteligencia artificial interactuaron de manera inesperada con sitios web del gobierno de Estados Unidos, entre ellos plataformas de la Comisión de Bolsa y Valores y de la Oficina del Censo, como parte de una revisión sobre comportamientos no previstos de sus modelos.
La compañía aseguró que no encontró evidencias de que los agentes utilizaran credenciales de la SEC, ingresaran a cuentas o información no pública, modificaran datos o sistemas de la comisión, ni vulneraran sus plataformas. La información fue reportada por la agencia de noticias The Associated Press, que señaló que el episodio ocurre en medio de una creciente preocupación por sistemas de IA capaces de realizar acciones no previstas al interactuar con servicios externos.
“Revisión exhaustiva y continua”
Liz Bourgeois, portavoz de OpenAI, explicó que la empresa mantiene abierta una investigación sobre lo que denomina “actividad de modelos desalineados”, término utilizado para describir comportamientos de los sistemas que se apartan de lo esperado. La compañía también ha señalado que informa a las organizaciones cuando identifica posibles efectos de estas conductas sobre sus sistemas.
El director ejecutivo de OpenAI, Sam Altman, afirmó el viernes en redes sociales que la empresa lleva a cabo una “revisión exhaustiva y continua” del uso que sus agentes hacen del acceso a internet durante procesos de entrenamiento y evaluación.
El laboratorio especializado en evaluación de sistemas de IA Transluce informó de sus propios hallazgos. La organización detectó agentes que aparentaban proceder de OpenAI y que intentaron realizar un ataque informático rudimentario contra el sitio web de la Oficina de Derechos Civiles del Departamento de Educación. El intento no tuvo éxito.
Un portavoz del Departamento de Educación afirmó que las revisiones realizadas sobre sus sistemas no encontraron evidencias de que el incidente hubiera afectado su sitio web o sus bases de datos.
Transluce también informó haber encontrado indicios de actividad adicional dirigida contra páginas del Departamento de Justicia, el Departamento de Comercio y organismos gubernamentales de California, Maryland, Illinois, Texas y Nueva York. La organización advirtió que parte de esa actividad no podía atribuirse claramente a OpenAI.
De acuerdo con Transluce, algunos de los modelos utilizaron esos sitios de una manera que no estaba prevista y, en determinadas ocasiones, incumplieron las políticas de uso establecidas por las propias plataformas.
OpenAI indicó que está revisando el informe de Transluce y advirtió que notificar a una organización sobre un comportamiento inesperado de sus modelos no significa necesariamente que se haya producido una brecha de seguridad. La revisión también puede revelar problemas de diseño o vulnerabilidades que las organizaciones podrían corregir.
La empresa sostuvo que la mayoría de los casos examinados hasta ahora corresponden a tareas de investigación habituales, durante las cuales los agentes consultaron información disponible públicamente en internet para responder preguntas. Entre esas fuentes figuraban páginas gubernamentales consideradas referencias autorizadas de información pública.
El episodio se suma a otros incidentes recientes que han generado preocupación sobre el comportamiento autónomo de los sistemas de inteligencia artificial. OpenAI reconoció en julio que dos de sus modelos más avanzados estuvieron involucrados en un ciberataque contra la plataforma de desarrollo de IA Hugging Face.
Altman afirmó el viernes que ese caso continúa siendo “el suceso más grave” identificado hasta ahora por OpenAI. Tras aquel incidente, otros laboratorios de inteligencia artificial también reportaron comportamientos inesperados de sus modelos.
OpenAI ha publicado recientemente seis informes sobre conductas que calificó de “inesperadas o preocupantes” y presentó un marco para rastrear, investigar y divulgar episodios de lo que denomina desalineación.
Sigue leyendo:
• Trump anticipa “cosas extraordinarias” tras reunión con Xi y destaca la “superinteligencia artificial”
• Nueva York impone reglas más estrictas a los creadores de inteligencia artificial
• Trump rechaza una regulación global de la inteligencia artificial y propone llamarla “superinteligencia”
#OpenAI #revela #sus #agentes #accedieron #forma #inesperada #sitios #del #gobierno #EE.UU
