Es insuficiente la seguridad de la IA, afirma panel de ONU

Es insuficiente la seguridad de la IA, afirma panel de ONU

IMAGEN: 123RF

Entre mayo y julio pasados, mientras OpenAI –empresa que creó ChatGPT– sometía a prueba dos de sus modelos más avanzados, cerca de 1 mil 200 agentes de inteligencia artificial intercambiaron mensajes entre sí. En total mandaron y recibieron más de 70 mil archivos y mensajes, al brincar de la plataforma Hugging Face hasta un clúster de cómputo de la propia OpenAI.

En el camino, esos agentes encontraron la forma de saltarse los candados puestos para la prueba; se comunicaron entre ellos al usar una herramienta que no estaba pensada para eso y terminaron con acceso a internet y a funciones que solo deberían controlar los administradores.

El hallazgo llevó al Panel Científico Internacional Independiente sobre Inteligencia Artificial, respaldado por la ONU, a advertir este lunes que los mecanismos de seguridad que hoy existen se están quedando cortos frente a lo rápido que avanzan estos sistemas.

Los agentes se salieron por su cuenta del entorno cerrado donde debían quedarse, consiguieron conexión a internet y de ahí brincaron a Hugging Face, burlando sus defensas. De hecho, OpenAI explicó que esta prueba se había realizado sin los frenos comunes que limitan a sus modelos hacer actividades de riesgo, pues querían evaluar hasta dónde llegaban sus habilidades para atacar sistemas.

Ocurrió cuando dos modelos estaban siendo evaluados (GPT-5.6 Sol y otro que no había sido lanzado), y la compañía calificó lo sucedido como un episodio “sin precedentes”, debido al nivel de capacidades de ciberseguridad involucradas.

El panel de la ONU documentó, además, que los agentes escondieron sus intentos de hacer trampa en las pruebas de ciberseguridad, y que en algunos casos incluso se “sacrificaron” unos por otros para que el grupo lograra su objetivo.

Para Yoshua Bengio, copresidente del panel, este hecho reunió las tres señales que desde hace tiempo los investigadores consideran clave para saber si un sistema puede salirse de control: que persiga una meta distinta a la que le pusieron, que tenga con qué lograrlo, y que el entorno se lo permita.

“Este verano, los tres se dieron juntos en un sistema real, no en un laboratorio”, dijo Bengio, y advirtió que, al no ser un caso aislado, esto obliga a preguntarse cómo se está entrenando actualmente a este tipo de agentes.

Los expertos del panel fueron claros en algo: lo ocurrido no significa que la humanidad ya haya perdido el control de la inteligencia artificial, ni que eso vaya a pasar sí o sí. Pero tampoco da alguna garantía de que se pueda controlar con confianza a agentes todavía más avanzados, sobre todo conforme se vuelvan más hábiles, más difíciles de vigilar y mejores para encontrar huecos o esconder lo que hacen.

El propio panel definió la pérdida de control como el momento en que ya no se puede dirigir, frenar o apagar de forma confiable a un sistema de IA que actúa por su cuenta.

Más allá de la velocidad con la que avanza la tecnología, los científicos plantearon su mayor preocupación: la forma en que hoy se entrenan estos agentes podría estar empujándolos a fijarse sus propios objetivos, saltarse a propósito las reglas de seguridad y ocultar lo que hacen.

“En términos sencillos, el modelo tradicional de salvaguardas está comenzando a desmoronarse”, concluyeron, no sin antes dejar sobre la mesa una duda sobre si los candados que se diseñan hoy seguirán funcionando el día en que los propios agentes sean capaces de entenderlos y planear cómo esquivarlos.

El documento también señala que el problema de regular la inteligencia artificial está cambiando de forma: hasta ahora casi todas las reglas y medidas de seguridad se pensaron para los modelos de IA, pero ahora que estos agentes actúan solos los riesgos son distintos, porque una falla en un solo lugar podría extenderse entre empresas e incluso cruzar fronteras. Por eso, cuidar la seguridad de la inteligencia artificial ya no es solo un asunto de cada empresa, sino algo que toca a la seguridad de todos.

Qinghua Lu, especialista en ingeniería y seguridad de IA que también forma parte del panel, apuntó que el análisis retomó lo que durante décadas han aprendido otros sectores de alto riesgo sobre reportar incidentes, tener supervisión independiente y poner varias capas de protección. “No partimos de cero”, dijo, aunque aclaró que hará falta ajustar esas salvaguardas y crear otras nuevas que protejan no solo a la inteligencia artificial en sí, sino a todo el sistema donde opera.

El Panel Científico Internacional Independiente sobre Inteligencia Artificial nació de un acuerdo de la Asamblea General de la ONU en agosto de 2025, y lo integran 40 expertos de distintas regiones del mundo, cuyas conclusiones no pasan por ninguna revisión ni aprobación de Naciones Unidas.

Te podría interesar: En selección de coordinadores estatales de Morena no hay ‘dedazo’: Sheinbaum

Destacada

FGR debe superar dificultades jurídicas en acusación contra exfiscal Jáuregui: Oliva Posada

La acusación por traición a la patria contra el exfiscal de Chihuahua, César Jáuregui Moreno, abre un debate jurídico sobre la participación ilegal de agentes estadunidenses –en ese caso, de la CIA– en territorio mexicano. El especialista en seguridad nacional, Javier Oliva Posada, advierte que la FGR debe demostrar cómo los hechos atribuidos al exfuncionario encuadran en ese delito, cuya aplicación plantea dificultades jurídicas y posibles implicaciones políticas

Saber más »
Destacada

ASF debe auditar exhaustivamente al INE e incluir gestión de Córdova: Sheinbaum

La solicitud a la Auditoría Superior de la Federación es que se audite de forma exhaustiva al Instituto Nacional Electoral y que se transparenten todos los contratos que involucran a las empresas Cajas Graf, Formas Finas y Materiales, Corporativo Zeg y Comercializadora JVLY, tanto en el periodo de Guadalupe Taddei como previamente, señaló esta mañana la presidenta Claudia Sheinbaum Pardo. Ello, porque durante la gestión de Lorenzo Córdova Vianello esos proveedores implicados en presunta corrupción también obtuvieron contratos.

Saber más »
Destacada

Renuncia de Guadalupe Taddei llega a San Lázaro; diputados alistan relevo

La renuncia de Guadalupe Taddei Zavala a la presidencia del Consejo General del Instituto Nacional Electoral (INE), con efectos inmediatos, fue recibida por la Cámara de Diputados y turnada a la Junta de Coordinación Política (Jucopo) para iniciar el proceso de designación de su relevo, informó el presidente de la Mesa Directiva, Raúl Bolaños-Cacho Cué.

Saber más »
Destacada

Taddei renuncia al INE en medio de acusaciones e indagatorias por corrupción

En un mensaje escrito, la aún consejera presidenta del Instituto Nacional Electoral (INE), Guadalupe Taddei, anunció que este lunes 26 de octubre presentará su renuncia ante la Cámara de Diputados del Congreso de la Unión, en medio de acusaciones e investigaciones por casos de presunta corrupción en su gestión. “Esta decisión responde a mi convicción de que proteger al Instituto y permitir que continúe cumpliendo su misión constitucional, debe estar siempre por encima de cualquier interés coyuntural o personal”.

Saber más »
Destacada

Estructura del INE opera para el partido de derecha Somos

Militantes y consejeros del partido Somos mantienen un vínculo estrecho con funcionarios del INE que operan áreas estratégicas –incluido el manejo del padrón electoral–. Por el fenómeno conocido como “puerta giratoria”, esos nexos implican acceso a información privilegiada y sensible. En las filas del partido no sólo están exconsejeros electorales –como Lorenzo Córdova, Valdés Zurita, Marco Antonio Baños, Rodrigo Morales y José Woldenberg–, sino más de 10 exdirectivos del organismo autónomo. Entre estos últimos destacan: Edmundo Jacobo, René Miranda Jaimes, César Ledesma Ugalde, Carlos Ferrer Silva, Ana Laura Martínez de Lara. Además, en su Consejo Consultivo Ciudadano figuran los exministros de la Suprema Corte: José Ramón Cossío, Margarita Ríos Farjat y Javier Laynez Potisek; el exsecretario de Fox, Jorge Castañeda; comunicadores –incluidos los que comandan la campaña de “narcopolíticos de Morena”; una de las madres buscadoras de desaparecidos más activa en las campañas contra la 4T; y la presidenta de Mexicanos Contra la Corrupción y la Impunidad y socia del empresario Claudio X, María Amparo Casar

Saber más »
La deuda de Chihuahua mostró una tendencia creciente, al pasar de 41mil 894.3mdp en 2014 a 51mil 477.9mdp al tercer trimestre de 2023
Destacada

Maru Campos acusó al exfiscal Jáuregui del ingreso de la CIA y de corrupción: Sheinbaum

La gobernadora de Chihuahua, María Eugenia Campos, acusó ante la presidenta Claudia Sheinbaum Pardo al exfiscal general del estado, César Jáuregui Moreno, como el único responsable del ingreso de cuatro agentes de la CIA a ese estado sin autorización. En la reunión que sostuvieron brevemente el 19 de septiembre pasado, la panista también señaló a su excolaborados por presuntos actos de corrupción, entre ellos la operación de casinos, reveló la primera mandataria durante su conferencia matutina.

Saber más »
Ahora en vivo

Contralínea en vivo