O advento da inteligência artificial (IA) impulsionou um crescimento acelerado e exponencial em todos os setores. No entanto, as mesmas qualidades que tornam a IA indispensável hoje em dia também estão mudando a dinâmica da segurança: 73% das empresas relatam violações de segurança no valor médio de US$4,8 milhões. Isso destaca a desconexão entre a adoção da IA em escala empresarial e os investimentos em segurança correspondentes.
A revolução da IA exige não apenas repensar a segurança, mas também adotar a agilidade e adaptar-se rapidamente para acompanhar o ritmo das ameaças em evolução. Conseguir um gerenciamento seguro e eficaz da IA é fundamental para aproveitar a tecnologia de uma organização com segurança. Para isso, é importante entender os principais desafios apresentados pela IA generativa, pelos grandes modelos de linguagem (LLMs) e, principalmente, pela IA agêntica.
Expansão do cenário de ameaças de ataques baseados em IA
Algumas ameaças à segurança cibernética bem conhecidas que foram transformadas em armas por meio da IA incluem o roubo de identidade, que pode combinar dados pessoais reais com detalhes fictícios, e deep fakes, que simulam imagens, vídeos e áudio para se passar por pessoas. A IA torna esses ataques mais realistas, mais rápidos e, em última análise, mais eficazes, de modo que seu impacto vai além da fraude financeira e inclui danos operacionais e à reputação.
À medida que as práticas de segurança ofensivas evoluem, as equipes vermelhas estão começando a explorar vetores de ataque baseados em IA que vão além dos métodos tradicionais. Os ataques de modelo, em que os adversários manipulam os sistemas de aprendizado de máquina para produzir resultados incorretos ou prejudiciais, e o viés de IA, que pode levar a resultados injustos ou discriminatórios, são cada vez mais relevantes. Técnicas como os processos de sobrecarga do tipo “human-in-the-loop” (HITL) expõem como os invasores podem explorar as dependências operacionais da supervisão humana. Esses desenvolvimentos ilustram o cenário de ameaças em rápida evolução e ressaltam a necessidade de estratégias de segurança que evoluam junto com os recursos de IA.
Gerenciando a segurança da IA generativa e dos LLMs: riscos e controles emergentes
A segurança da IA generativa e dos Grandes Modelos de Linguagem (LLMs) exige uma abordagem em várias camadas que leve em conta todo o espectro do ciclo de vida da IA, desde a superfície de ataque na qual esses serviços são implantados até a integração dos controles de segurança durante o desenvolvimento por meio de um ciclo de vida de desenvolvimento de software seguro (SSDLC) e monitoramento contínuo de possíveis incidentes. Embora essas medidas estejam alinhadas com as práticas de segurança padrão, a natureza exclusiva das tecnologias de IA generativa apresenta riscos adicionais e requisitos de controle que as organizações devem abordar de forma proativa.
Alguns dos riscos emergentes associados à IA generativa e aos LLMs incluem a injeção de mensagens, em que mensagens mal-intencionadas são criadas para manipular o comportamento do modelo ou acessar dados restritos; violações de dados, geralmente como resultado da exposição inadvertida de informações confidenciais; e geração de desinformação ou desinformação, pois os LLMs podem produzir conteúdo enganoso, mas que parece confiável. Outras ameaças importantes incluem o roubo de modelos, em que os adversários replicam ou infiltram modelos proprietários, e ataques adversários, que envolvem a alimentação do modelo com entradas manipuladas projetadas para gerar resultados incorretos ou prejudiciais. Em particular, a Gartner prevê que, até 2026, 40% das violações de dados estarão diretamente relacionadas à falta de segurança dos sistemas de IA generativa.
Essas realidades ressaltam a necessidade urgente de uma governança forte, políticas bem definidas e práticas de segurança integradas nas organizações que adotam a IA generativa. Por exemplo, ataques como a injeção rápida não apenas comprometem a integridade das respostas, mas também podem resultar em resultados que perpetuam estereótipos prejudiciais, linguagem ofensiva ou conteúdo discriminatório, destacando a importância do comportamento ético e seguro dos modelos juntamente com as proteções técnicas.
IA agêntica: projetando para a segurança em sistemas autônomos
A IA autêntica envolve um conjunto diferente de riscos de segurança devido à sua capacidade de interagir com sistemas, processar dados e acionar ações em ambientes complexos. Esses agentes geralmente têm privilégios elevados que podem ser explorados para contornar controles, manipular sistemas ou acessar dados restritos.
As ameaças emergentes incluem vulnerabilidades de tomada de decisão, em que a lógica ou as entradas defeituosas levam os agentes a executar ações incorretas; envenenamento de memória, em que os invasores introduzem informações enganosas ou falsas na memória ou nos dados de treinamento do agente; e envenenamento de comunicação, que ataca a integridade das informações trocadas entre agentes ou componentes. Um risco particularmente grave é a criação de agentes desonestos, ou seja, entidades que se comportam fora dos limites operacionais definidos. Eles podem interromper os fluxos de trabalho ou comprometer a segurança.
Para enfrentar essas ameaças, as organizações devem integrar a segurança em todos os níveis da infraestrutura do agente. Isso começa com um modelo claro de ameaças que identifique os componentes do sistema, as superfícies de ataque e as proteções correspondentes. A segurança dos dados em repouso, em trânsito e em uso, juntamente com a criptografia das comunicações entre os componentes, é essencial para manter a integridade e a confidencialidade. A implementação do controle de acesso baseado em funções (RBAC) ajuda a garantir que os agentes só possam acessar o que for necessário para cumprir suas funções.
O monitoramento, a validação e os testes contínuos são essenciais para manter um ambiente seguro. Ao incorporar a segurança em toda a arquitetura – nas camadas de comunicação, nos processos de decisão e no gerenciamento de memória – as organizações podem reduzir a exposição e apoiar a implantação segura da IA agêntica.
Construindo um futuro seguro e responsável para a IA
As tecnologias de IA continuam a evoluir e as organizações precisam tomar medidas proativas para garantir sua integração segura e responsável. Os líderes de segurança estão cada vez mais focados em como proteger suas empresas contra ameaças emergentes de IA e, ao mesmo tempo, aproveitar essas ferramentas para melhorar o desempenho dos negócios. Uma abordagem abrangente requer o estabelecimento de padrões de segurança claros, a proteção dos ativos organizacionais e a capacitação das equipes com o treinamento necessário para reconhecer e responder aos riscos de IA. Essa estratégia deve abordar a segurança em Pessoas, Processos e Tecnologia (PPT) para garantir a resiliência em todos os níveis.
Ao mesmo tempo, é necessária uma governança eficaz de IA para orientar o uso ético, seguro e compatível de tecnologias como IA generativa, LLMs e agentes de IA. As organizações precisam implementar políticas, padrões e procedimentos internos que estejam de acordo com as regulamentações globais em evolução, incluindo a Lei de IA da UE. Essa legislação estabelece um sistema de classificação baseado em riscos, define obrigações de conformidade regulatória e promove a inovação responsável ao equilibrar segurança, transparência e direitos fundamentais. No futuro, a adoção segura da IA depende não apenas de controles técnicos robustos, mas também de estruturas de governança claras que definam como esses sistemas são desenvolvidos, implementados e monitorados na empresa.
Na Globant, nos concentramos no desenvolvimento de soluções de segurança cibernética habilitadas para IA que ajudam as organizações a mitigar ataques e fortalecer seus recursos de resposta. À medida que a adoção da IA se acelera, nosso objetivo é permitir a integração responsável dessas tecnologias, incorporando salvaguardas claras, governança informada e monitoramento contínuo de riscos. Por meio do nosso Cybersecurity Studio, oferecemos uma abordagem prática e abrangente projetada para evoluir junto com as ameaças emergentes, garantindo que as empresas possam inovar com segurança e, ao mesmo tempo, permanecer resilientes e em conformidade em um cenário digital cada vez mais complexo.
