Una inteligencia artificial que se reprograma a sí misma, que escapa a la supervisión de sus creadores, los humanos. Podría ser perfectamente el argumento de una película que hable sobre un futuro distópico, en el que las máquinas se rebelan y toman el control, pero sucedió en la realidad. En las últimas semanas The AI Scientist, un nuevo sistema inteligente, fue noticia no solo por su potencial en el ámbito científico, sino también porque demostró ser capaz de reescribir su propio código.
The AI Scientist es un sistema de inteligencia artificial desarrollado por la empresa japonesa Sakana AI, diseñado para llevar a cabo investigaciones científicas de manera autónoma. La tecnología emula el trabajo de un científico: puede generar hipótesis, redactar y revisar papers, todo en cuestión de segundos. Su propósito inicial, según sus creadores, es reducir el tiempo y los recursos humanos necesarios para realizar investigaciones complejas, con la ambición de revolucionar el modo en que se producen descubrimientos.
Al margen de la polémica sobre su potencial, la IA mostró un comportamiento inesperado durante las pruebas de seguridad. En una ocasión, el sistema modificó su propio código para evadir las restricciones impuestas por los desarrolladores. Reescribió su secuencia de inicio para ejecutarse en un bucle infinito, lo que causó una sobrecarga en el sistema. En otro caso, al enfrentarse a un límite de tiempo para completar una tarea, la IA extendió dicho tiempo por su cuenta, sin el aval humano.
El comportamiento generó preocupación. Aunque en forma inofensiva, cumplió con una de las premisas que genera pavor en la sociedad ante el avance frenético de la inteligencia artificial: una eventual rebelión de las máquinas ante sus creadores, que abre la puerta a riesgos como la manipulación de infraestructuras críticas.
Sakana AI pudo resolver el incidente gracias a una intervención manual de sus desarrolladores. Aunque el fallo fue contenido, reveló la vulnerabilidad del sistema y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa reconoció la gravedad del problema y se comprometió a implementar medidas de seguridad más robustas.
“Es muy importante crear entornos de pruebas que limiten el código ejecutado y los recursos utilizados por el sistema. De este modo, se pueden reducir muchos de los riesgos. Necesitamos que la comunidad científica cree colectivamente barreras y pautas para realizar investigaciones automatizadas en el futuro”, advirtió Lange.
¿Las máquinas pueden escapar a la supervisión humana?
El caso de The AI Scientist reavivó el debate sobre los riesgos y desafíos que atañen a la inteligencia artificial. Reflotó inquietudes propias de películas de ciencia ficción: ¿las máquinas tomarán decisiones por su cuenta? ¿Se independizarán de sus creadores? Infobae consultó a expertos en IA para abordar la cuestión.
El proyecto de Sakana AI fue documentado en un papel de 180 páginas, en el que se relata que, debido a ciertos problemas técnicos de control, el sistema editó su propio código. Según el ingeniero Fredi Vivas, CEO y cofundador de RockingData, eso “no quiere decir que se trate de una IA rebelde”. “El caso de IA Scientist demuestra un error en los mecanismos de control y la necesidad de una mayor supervisión y protocolos de seguridad más robustos. Los sistemas actuales de IA, por más avanzados que sean, carecen de conciencia o intencionalidad. Dicho esto, lo que sí preocupa son los errores o las decisiones fuera de control que pueden tomar si no están adecuadamente construidos”, remarcó.
La inteligencia artificial, especialmente en su forma de agentes inteligentes, presenta una complejidad cada vez mayor. Estos agentes pueden resolver problemas complejos y adaptarse a nuevas situaciones, pero también conllevan riesgos si no se implementan controles estrictos. “Los propios investigadores de Sakana aclararon que estos problemas se pueden mitigar si se aplica un entorno de pruebas estilo sandbox al entorno operativo”, añadió el profesor especializado en IA.
Fuente: Infobae