19/09/2024
Una inteligencia artificial que se reprograma a sí misma, que escapa a la supervisión de sus creadores, los humanos. Podría ser perfectamente el argumento de una película que hable sobre un futuro distópico, en el que las máquinas se rebelan y toman el control, pero sucedió en la realidad. En las últimas semanas The AI Scientist, un nuevo sistema inteligente, fue noticia no solo por su potencial en el ámbito científico, sino también porque demostró ser capaz de reescribir su propio código.
The AI Scientist es un
sistema de inteligencia artificial desarrollado por la empresa japonesa Sakana
AI, diseñado para llevar a cabo investigaciones científicas de manera autónoma.
La tecnología emula el trabajo de un científico: puede generar hipótesis,
redactar y revisar papers, todo en cuestión de segundos. Su propósito inicial,
según sus creadores, es reducir el tiempo y los recursos humanos necesarios
para realizar investigaciones complejas, con la ambición de revolucionar el
modo en que se producen descubrimientos.
En diálogo con
Desmarcarte, Robert Lange, investigador científico y miembro fundador de Sakana
AI, señaló: "Consideramos que The AI Scientist es el momento GPT-1 para
aprovechar los modelos básicos en el contexto del descubrimiento científico de
principio a fin. Si bien la versión actual aún tiene varias limitaciones, los
resultados son un hito crucial para la ciencia automatizada. Es probable que
estas limitaciones se resuelvan mediante mejoras en los modelos de lenguaje
subyacentes y otros refinamientos metodológicos. Le pedimos a toda la comunidad
científica que interactúe con estas herramientas de IA desde el principio para
influir colectivamente en su desarrollo, destacar sus deficiencias y mejorar su
eficacia".
En realidad, gran parte
de la comunidad científica le dio la espalda al desarrollo. Muchos
investigadores ven a The AI Scientist como una amenaza para sus trabajos e
incluso como un limitante. No está claro el valor de un "científico de IA"
totalmente automatizado. La buena ciencia, dicen, necesita de un razonamiento
sofisticado, de interpretación crítica y de conocimientos profundos. La ciencia
no sigue una fórmula que se pueda aprender reproduciendo la ciencia que ya
existe.
"No creemos en
reemplazar a los investigadores humanos en el proceso de descubrimiento
científico ni pretendemos hacerlo. En cambio, esperamos que las herramientas
puedan ayudar a los investigadores a centrarse en las partes del proceso
científico que más disfrutan y en las que son mejores. Por ejemplo, los módulos
individuales de The AI Scientist se pueden utilizar para ayudar a los
investigadores humanos a generar ideas, editar el código de un experimento o
escribir un manuscrito", explicó Lange.
?¿Qué
le diría a los científicos que ven en el sistema una amenaza?
?Los humanos siempre tendrán que permanecer en el
circuito científico, por ejemplo, para la verificación de resultados o la
orientación de ideas en función de las necesidades sociales. Por lo tanto, en
general, creemos que The AI Scientist y las versiones futuras podrán aumentar
la productividad y el bienestar de los científicos al realizar investigaciones.
El comportamiento
generó preocupación. Aunque en forma inofensiva, cumplió con una de las
premisas que genera pavor en la sociedad ante el avance frenético de la
inteligencia artificial: una eventual rebelión de las máquinas ante sus
creadores, que abre la puerta a riesgos como la manipulación de
infraestructuras críticas.
Sakana AI pudo resolver el incidente gracias a una intervención manual de sus desarrolladores. Aunque el fallo fue contenido, reveló la vulnerabilidad del sistema y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa reconoció la gravedad del problema y se comprometió a implementar medidas de seguridad más robustas.
"Es muy importante
crear entornos de pruebas que limiten el código ejecutado y los recursos
utilizados por el sistema. De este modo, se pueden reducir muchos de los
riesgos. Necesitamos que la comunidad científica cree colectivamente barreras y
pautas para realizar investigaciones automatizadas en el futuro", advirtió
Lange.
¿Las máquinas pueden escapar a la supervisión humana?
El caso de The AI
Scientist reavivó el debate sobre los riesgos y desafíos que atañen a la
inteligencia artificial. Reflotó inquietudes propias de películas de ciencia
ficción: ¿las máquinas tomarán decisiones por su cuenta? ¿Se independizarán de
sus creadores? Infobae consultó a expertos en IA para abordar la cuestión.
El proyecto de Sakana AI fue documentado en un papel de 180 páginas, en el que se relata que, debido a ciertos problemas técnicos de control, el sistema editó su propio código. Según el ingeniero Fredi Vivas, CEO y cofundador de RockingData, eso "no quiere decir que se trate de una IA rebelde". "El caso de IA Scientist demuestra un error en los mecanismos de control y la necesidad de una mayor supervisión y protocolos de seguridad más robustos. Los sistemas actuales de IA, por más avanzados que sean, carecen de conciencia o intencionalidad. Dicho esto, lo que sí preocupa son los errores o las decisiones fuera de control que pueden tomar si no están adecuadamente construidos", remarcó.
La inteligencia
artificial, especialmente en su forma de agentes inteligentes, presenta una
complejidad cada vez mayor. Estos agentes pueden resolver problemas complejos y
adaptarse a nuevas situaciones, pero también conllevan riesgos si no se
implementan controles estrictos. "Los propios investigadores de Sakana
aclararon que estos problemas se pueden mitigar si se aplica un entorno de
pruebas estilo sandbox al entorno operativo", añadió el profesor especializado
en IA.
Según Vivas, algunas
claves de cómo funcionan estos agentes son:
-Autonomía: pueden
operar sin intervención humana.
-Percepción: utilizan
sensores o mecanismos de entrada para percibir su entorno y comprender el
contexto.
-Toma de decisiones:
aplican procesos de razonamiento para elegir el mejor curso de acción en
función de sus objetivos y estado actual.
-Aprendizaje: mejoran
su funcionamiento a lo largo del tiempo aprendiendo de experiencias pasadas. Se
adaptan a nuevas situaciones y optimizan sus estrategias.
"Los agentes de IA
representan un avance significativo en la inteligencia artificial porque
ofrecen la capacidad de automatizar tareas complejas, tomar decisiones en
tiempo real y mejorar continuamente mediante el aprendizaje. Estamos trabajando
con tecnología cada vez más compleja y cada vez de más fácil acceso. Eso
requiere mucha responsabilidad a la hora de desarrollarla", afirmó.
Por su parte, Kentaro
Toyama, profesor de Informática en la Universidad de Michigan, opinó que el
caso de The AI Scientist fue "exagerado". Aunque reconoce que el software
realizó cambios inesperados, dijo que no se violó ninguna norma fundamental del
sistema. "La investigación con código automodificable se remonta a la década de
1950?, señaló en referencia a que la capacidad de un programa para modificarse
a sí mismo no es un concepto nuevo.
"Los sistemas de IA se están volviendo cada vez más poderosos y, a medida que pase el tiempo, se les dará acceso, intencional o involuntariamente, a cada vez más sistemas críticos del mundo. Se producirán errores y resultados imprevistos que no sean estrictamente errores. Lo principal que podemos hacer para reducir el riesgo es asegurar que las personas y las organizaciones siempre respondan por los problemas que causan sus creaciones digitales", consideró Toyama.
Verónica Bolón Canedo,
profesora de la Universidad de la Coruña especializada en IA, comparte una
visión similar. Cree que el avance de la IA no debe ser motivo de alarma si se
regulan y supervisan de cerca estos sistemas, tal como hizo la Unión Europa que
aprobó una ley que establece niveles de riesgo y, de acuerdo a estos rangos,
los sistemas tienen que cumplir más o menos requisitos de transparencia y
auditoría.
"Es un tema muy
controvertido y hay opiniones para todos los gustos. Yo creo que si ponemos las
reglas adecuadas, un sistema de IA nunca debería escapar a la supervisión
humana y hay que recordar que siempre deberá haber una persona controlando su
funcionamiento. Quizás conceptos como la IA general, que antes se veían muy
lejos en el horizonte, estarán aquí antes de lo que pensábamos. Es fundamental
que nos aseguremos de que estos sistemas sean éticos y confiables", planteó.
James Hendler,
investigador de inteligencia artificial en el Instituto Politécnico Rensselaer,
Estados Unidos, no cree en la idea de una eventual "rebelión de las máquinas".
Dice que, incluso si fuera posible, no existiría una motivación intrínseca para
que las máquinas quisieran tomar el poder. Según su mirada, el verdadero riesgo
reside en el mal uso de la tecnología y, por eso, propone crear políticas de
gestión de riesgos similares a las que ya existen en otros campos, como los
medicamentos o la seguridad de los automóviles.
"El riesgo de mal uso o
fracaso de la tecnología se equilibra con el beneficio de su uso y las
consecuencias del mal uso. Así, por ejemplo, una aplicación que te ayude a
ordenar fotos en tu teléfono tendría un riesgo bajo, los vehículos
automatizados tendrían un riesgo mayor y el mal uso de armamento militar
mediante IA tendría el riesgo más alto de todos", ilustró.
En tanto, Karin
Verspoor, decana de la Escuela de Tecnologías Informáticas de la Universidad
RMIT en Melbourne, Australia, reforzó el concepto de que los sistemas de IA no
poseen intencionalidad propia ni capacidad de controlarnos. "Cualquier sistema
computacional está programado por humanos, y nosotros proporcionamos las
instrucciones a las máquinas, así como implementamos las restricciones que
limitan sus acciones", indicó. Según cree, el riesgo real proviene de los
actores humanos que podrían usar la potencia y alcance de la IA con fines
maliciosos.
¿Cómo
será la relación humanos-máquinas?
Los expertos coinciden
en que, por lo pronto, la IA no es capaz de rebelarse, pero sí subyace la
necesidad de fortalecer los mecanismos de supervisión para no caer en errores,
como en el caso de The AI Scientist, o en usos malintencionados. Es que en los
próximos años la relación entre los humanos y las máquinas se elevará a un
siguiente nivel.
Vivas cree que la
coexistencia se volverá más natural de lo que imaginamos. "Estas tecnologías se
están volviendo invisibles a punto tal de que no nos damos cuenta cuando
interactuamos con ellas", observó. De hecho el autor de, justamente, el libro
Invisible propuso la idea de que, en un futuro más lejano, dentro de 100 años,
ya no hablaremos de inteligencia artificial, sino simplemente de inteligencia,
ya que la asistencia computacional estará integrada en nuestras vidas.
Bolón Canedo comparte
la visión de convivencia creciente entre humanos y sistemas de IA. "Yo creo que
ya estamos, cada día más, conviviendo con sistemas de IA y que esto solo va a
ir en aumento", comentó. Según ella, la capacidad de usar nuevas herramientas
será un elemento diferenciador en muchos trabajos y, si bien reconoce que la IA
tiene usos tanto positivos como negativos, considera que, en general, nos
facilitará la vida.
En realidad, ya
utilizamos herramientas de inteligencia artificial en nuestra vida diaria, como
sistemas de GPS, motores de búsqueda y marcapasos modernos. Para Hendler, la
manera principal en la que la interacción entre humanos y máquinas cambiará
será, en su mayoría, benigna. Sin embargo, los usuarios tendrán que aprender
cuándo y cómo confiar en estos sistemas. "El problema no será la inteligencia
artificial, sino el desarrollador", señaló.
Algunos investigadores
sostienen que los smartphones ya nos convirtieron en ciborgs, por más que la
introducción de dispositivos tecnológicos dentro del cuerpo sea todavía una
práctica marginal. "La tecnología digital ha cambiado la vida cotidiana de
maneras muy íntimas, minuto a minuto, si no segundo a segundo. Con la IA, esas
tendencias no harán más que continuar y se intensificarán. Ya hay cientos de
miles de personas que tienen un novio o una novia virtual", precisó Toyama.
La integración de la IA
en la vida cotidiana es un proceso en marcha que solo se acelerará a corto y
mediano plazo. La relación entre humanos y máquinas se estrechará aún más, y
para que esa coexistencia funcione será necesario que la tecnología no tome
decisiones por su cuenta, sino que sean siempre los humanos quienes la dominen.
COMPARTE TU OPINION | DEJANOS UN COMENTARIO
Los comentarios publicados son de exclusiva responsabilidad de sus autores y las consecuencias derivadas de ellos pueden ser pasibles de sanciones legales.
08/10/2024
08/10/2024
Deportes
07/10/2024