La llegada de la inteligencia artificial (IA) ha impulsado un crecimiento acelerado y exponencial en todos los sectores. Sin embargo, las mismas cualidades que hacen que la IA sea indispensable hoy en día también están cambiando la dinámica de la seguridad: el 73% de las empresas informan violaciones de seguridad por un valor promedio de 4,8 millones de dólares. Esto pone de manifiesto la desconexión entre la adopción de la IA a escala empresarial y las correspondientes inversiones en seguridad.
La revolución de la IA exige no solo replantearse la seguridad, sino adoptar la agilidad y adaptarse rápido para seguir el ritmo de las amenazas en evolución. Lograr una gestión segura y eficaz de la IA es fundamental para aprovechar la tecnología de una organización de forma segura. Para ello, es importante comprender los principales desafíos que plantean la IA generativa, los grandes modelos lingüísticos (LLM) y, lo que es más importante, la IA agéntica.
Ampliación del panorama de amenazas de los ataques basados en IA
Algunas amenazas de ciberseguridad bien conocidas que se han convertido en armas a través de la IA incluyen el robo de identidad, que puede combinar datos personales reales con detalles ficticios, y deepfakes, que simulan imágenes, vídeos y audio para suplantar así la identidad de las personas. La IA hace que estos ataques sean más realistas, rápidos y, en última instancia, más eficaces, por lo que su impacto va más allá del fraude financiero y abarca también el daño reputacional y operativo.
A medida que evolucionan las prácticas de seguridad ofensiva, los equipos rojos están empezando a explorar vectores de ataque basados en IA que van más allá de los métodos tradicionales. Los ataques a modelos, en los que los adversarios manipulan los sistemas de aprendizaje automático para producir resultados incorrectos o perjudiciales, y el sesgo de la IA, que puede dar lugar a resultados injustos o discriminatorios, son cada vez más relevantes. Técnicas como los abrumadores procesos human-in-the-loop (HITL) exponen cómo los atacantes pueden explotar las dependencias operativas de la supervisión humana. Estos desarrollos ilustran la rápida evolución del panorama de las amenazas y subrayan la necesidad de estrategias de seguridad que evolucionen junto con las capacidades de la IA.
Gestión de la seguridad de IA generativa y LLM: Riesgos y controles emergentes
La seguridad de la IA generativa y de los grandes modelos lingüísticos (LLM) requiere un enfoque multicapa que tenga en cuenta todo el espectro del ciclo de vida de la IA, desde la superficie de ataque en la que se despliegan estos servicios hasta la integración de controles de seguridad durante el desarrollo a través de un ciclo de vida de desarrollo de software seguro (SSDLC) y la supervisión continua de posibles incidentes. Aunque estas medidas se ajustan a las prácticas de seguridad estándar, la naturaleza única de las tecnologías de IA generativa presenta riesgos y requisitos de control adicionales que las organizaciones deben abordar de forma proactiva.
Algunos de los riesgos emergentes asociados a la IA generativa y los LLM son la inyección de mensajes, en la que se crean mensajes maliciosos para manipular el comportamiento de los modelos o acceder a datos restringidos; la violación de datos, a menudo como resultado de la exposición involuntaria de información confidencial; y la generación de información errónea o desinformación, ya que los LLM pueden producir contenido engañoso pero que parece creíble. Otras amenazas importantes son el robo de modelos, en el que los adversarios replican o exfiltran modelos patentados, y los ataques de adversarios, que consisten en alimentar el modelo con entradas manipuladas diseñadas para desencadenar resultados incorrectos o perjudiciales. En particular, Gartner prevé que para 2026, el 40% de las violaciones de datos estarán directamente relacionadas con la falta de seguridad de los sistemas de IA generativa.
Estas realidades subrayan la urgente necesidad de una gobernanza sólida, políticas bien definidas y prácticas de seguridad integradas en las organizaciones que adoptan la IA generativa. Por ejemplo, ataques como la inyección rápida no solo comprometen la integridad de las respuestas, sino que también pueden dar lugar a resultados que perpetúen estereotipos nocivos, lenguaje ofensivo o contenido discriminatorio, lo que pone de relieve la importancia de un comportamiento ético y seguro de los modelos junto con las salvaguardias técnicas.
IA agéntica: Diseño para la seguridad en sistemas autónomos
La IA agéntica implica un conjunto distinto de riesgos de seguridad debido a su capacidad para interactuar con sistemas, procesar datos y desencadenar acciones en entornos complejos. Estos agentes suelen tener privilegios elevados que pueden aprovecharse para eludir controles, manipular sistemas o acceder a datos restringidos.
Entre las amenazas emergentes se encuentran las vulnerabilidades en la toma de decisiones, en las que la lógica o las entradas erróneas llevan a los agentes a realizar acciones incorrectas; el envenenamiento de la memoria, en el que los atacantes introducen información engañosa o falsa en la memoria o en los datos de entrenamiento del agente; y el envenenamiento de las comunicaciones, que ataca la integridad de la información intercambiada entre agentes o componentes. Un riesgo especialmente grave es la creación de agentes deshonestos, es decir, entidades que se comportan fuera de los límites operativos definidos. Estos pueden perturbar los flujos de trabajo o comprometer la seguridad.
Para hacer frente a estas amenazas, las organizaciones deben integrar la seguridad en todos los niveles de la infraestructura de los agentes. Esto comienza con un modelo de amenazas claro que identifique los componentes del sistema, las superficies de ataque y las salvaguardas correspondientes. La seguridad de los datos en reposo, en tránsito y en uso, junto con el cifrado de las comunicaciones entre componentes, es esencial para mantener la integridad y la confidencialidad. La aplicación de un control de acceso basado en funciones (RBAC) ayuda a garantizar que los agentes solo puedan acceder a lo necesario para cumplir su función.
La supervisión, la validación y las pruebas continuas son fundamentales para mantener un entorno seguro. Al integrar la seguridad en toda la arquitectura (en las capas de comunicación, los procesos de decisión y el manejo de la memoria), las organizaciones pueden reducir la exposición y respaldar el despliegue seguro de la IA agéntica.
Construir un futuro seguro y responsable para la IA
Las tecnologías de IA siguen evolucionando y las organizaciones deben tomar medidas proactivas para garantizar su integración segura y responsable. Los líderes de seguridad se centran cada vez más en cómo proteger a sus empresas de las amenazas emergentes de la IA, al tiempo que aprovechan estas herramientas para mejorar el rendimiento empresarial. Un enfoque integral requiere establecer normas de seguridad claras, salvaguardar los activos de la organización y dotar a los equipos de la formación necesaria para reconocer y responder a los riesgos derivados de la IA. Esta estrategia debe abordar la seguridad a través de Personas, Procesos y Tecnología (PPT) para garantizar la resistencia a todos los niveles.
Al mismo tiempo, se necesita una gobernanza eficaz de la IA para guiar el uso ético, seguro y conforme de tecnologías como la IA generativa, los LLM y los agentes de IA. Las organizaciones deben aplicar políticas, normas y procedimientos internos que se ajusten a la evolución de la normativa mundial, incluida la Ley de IA de la UE. Esta legislación establece un sistema de clasificación basado en el riesgo, define las obligaciones de cumplimiento regulatorio y promueve la innovación responsable equilibrando la seguridad, la transparencia y los derechos fundamentales. De cara al futuro, la adopción segura de la IA depende no solo de sólidos controles técnicos, sino también de marcos de gobernanza claros que definan cómo se desarrollan, implantan y supervisan estos sistemas en la empresa.
En Globant, nos enfocamos en desarrollar soluciones de ciberseguridad con IA que ayuden a las organizaciones a mitigar los ataques y fortalecer sus capacidades de respuesta. A medida que se acelera la adopción de la IA, nuestro objetivo es permitir una integración responsable de estas tecnologías mediante la incorporación de salvaguardias claras, una gobernanza informada y una supervisión continua de los riesgos. A través de nuestro Cybersecurity Studio, ofrecemos un enfoque práctico e integral diseñado para evolucionar junto con las amenazas emergentes, garantizando que las empresas puedan innovar de forma segura al tiempo que se mantienen resilientes y cumplen las normativas en un panorama digital cada vez más complejo.
