Pesquisa do MIT amplia alerta sobre segurança de agentes de IA

Um estudo do MIT, conduzido pelos pesquisadores Charles Ye, Jasmine Cui e Dylan Hadfield-Menell, identifica um problema estrutural em modelos de inteligência artificial: a confusão de papéis, ou "role confusion". O paper, intitulado "Prompt Injection as Role Confusion", mostra que modelos de linguagem podem atribuir autoridade a um texto pela forma como ele soa, mesmo quando a origem real é diferente. Isso significa que um comando malicioso escrito imitando o estilo de raciocínio da própria IA pode ser confundido com um pensamento legítimo do modelo, fazendo-o ignorar suas regras de segurança.

A técnica, chamada de CoT Forgery (falsificação de cadeia de pensamento), atingiu uma taxa de sucesso de cerca de 60% contra modelos de fronteira, partindo de taxas próximas de zero sem a técnica. O estudo demonstra que o grau de confusão de papéis pode prever o sucesso do ataque antes mesmo de o modelo gerar qualquer resposta. Essa vulnerabilidade não se limita ao CoT Forgery, mas se estende a outras formas de injeção de comando em agentes de IA.

O artigo de Ronaldo Lemos, publicado na Folha de S.Paulo em 10 de agosto de 2026, destaca que não há uma solução de curto prazo para esse problema. Como medida paliativa, alguns modelos corporativos estão ocultando sua linha de raciocínio do usuário, o que, segundo Lemos, dificulta a auditoria e a transparência. A descoberta levanta a questão central sobre quem realmente detém o controle sobre a IA.

▌ CYBERPROTEC INTELIGÊNCIA

A pesquisa do MIT expõe um problema estrutural que afeta a segurança de modelos de IA, a confusão de papéis. Para empresas que utilizam agentes de IA no atendimento, o risco vai além da vulnerabilidade técnica, traduzindo-se em exposição de dados, perda de controle e danos à reputação. A diferença da CyberProtec está em tratar a segurança dos agentes de IA como parte integrante da solução. Nossos atendentes virtuais contam com monitoramento contínuo das interações, controle de acesso baseado em contexto e supervisão ativa sobre o comportamento dos agentes. Isso garante que a automação não comprometa a segurança.

#InteligênciaArtificial #SegurançaDigital #MIT #Cibersegurança #CyberProtec