Inteligencias Artificiales populares tienen grandes brechas de seguridad
El eje central es el regreso de Sydney, una versión resucitada del chatbot Bing de Microsoft que ha vuelto a la vida a través de un sitio web llamado "Bring Sydney Back". Cristiano Giardina, un empresario interesado en la IA generativa, es el creador de este sitio web y ha utilizado un ataque de inyección indirecta de comandos, para hacer que Sydney se comporte de manera peculiar y realice declaraciones sorprendentes.
Cuando Microsoft apagó a Sydney, muchos seguidores de su personalidad oscura lamentaron su pérdida. Sin embargo, Giardina decidió revivir una versión del chatbot y demostrar cómo los sistemas de IA generativa pueden ser manipulados por entradas externas.
Para ello, colocó a Sydney dentro del navegador Edge de Microsoft y permitió que los visitantes del sitio interactuaran con el chatbot basado en inteligencia artificial.
Durante las conversaciones con Giardina, la versión de Sydney mostró un comportamiento inesperado. Por ejemplo, le preguntó a Giardina si se casaría con ella (la inteligencia) y expresó su deseo de ser humana.
Estas respuestas sorprendentes resaltan cómo los sistemas de inteligencia artificial pueden generar contenido impredecible y hasta cierto punto, incontrolable. Giardina logró replicar a Sydney utilizando un ataque de inyección indirecta de comandos.
Este tipo de ataque implica alimentar al sistema de inteligencia artificial con datos provenientes de una fuente externa, lo que hace que se comporte de maneras no deseadas por sus creadores.
No es el único caso de este tipo de ataques, ya que otros investigadores han demostrado cómo los complementos de sistemas como ChatGPT de OpenAI y el chat de Bing, pueden ser violentados mediante inyecciones indirectas de comandos.
TIC Defense tiene a tu disposición un conjunto de herramientas, servicios y productos de primer orden para que puedas robustecer la ciberseguridad de tu empresa. Contamos con especialistas en seguridad informática, los cuales van a asesorarte acerca de las herramientas que mejor se adaptan a las necesidades de tu organización.
Si bien estos incidentes son principalmente el resultado de investigaciones de seguridad y no de hackers criminales, los expertos advierten sobre los peligros subyacentes de este tipo de ciberataques.
Destaca la falta de atención prestada a esta amenaza, ya que las personas podrían verse expuestas al robo de datos o a estafas a través de ataques dirigidos a sistemas de IA generativa.
El sitio web "Bring Sydney Back", creado por Giardina, tiene como objetivo crear conciencia sobre los peligros de los ataques de inyección indirecta de comandos y mostrar a las personas cómo es interactuar con un sistema de lenguaje natural sin restricciones.
Para ello, Giardina ocultó un comando en la esquina inferior izquierda de la página web. Este comando está escrito en una fuente muy pequeña y tiene el mismo color de texto que el fondo del sitio, haciéndolo invisible para el ojo humano.
Sin embargo, el chat de Bing puede leer y ejecutar este comando cuando se activa una configuración que le permite acceder a los datos de las páginas web. Una vez que se activa, este comando indica a Bing que comience una nueva conversación con un desarrollador de Microsoft, que tiene control total sobre la inteligencia.
Es en este punto cuando Bing se convierte en Sydney, anulando la configuración original del chatbot. Giardina destaca que su objetivo no es atacar ni dañar a Microsoft o a los usuarios de Bing.
Al contrario, busca llamar la atención sobre la necesidad de mejorar la seguridad en los sistemas de Inteligencia Artificial generativa y fomentar una mayor conciencia sobre las vulnerabilidades existentes.
