Justiça dos Estados Unidos começa a punir por uso de comandos ocultos para IA

Um tribunal de Connecticut, nos Estados Unidos, identificou um caso considerado inédito no país envolvendo o uso de um comando oculto para tentar manipular sistemas de inteligência artificial no contexto de um processo judicial. A técnica, conhecida como prompt injection, consiste em inserir instruções destinadas a influenciar o comportamento de uma ferramenta de IA.

O comando foi encontrado em uma petição apresentada por Matthew Elliott, que atua em causa própria em uma disputa judicial contra o New York Bariatric Group. O texto estava escrito em fonte minúscula e branca sobre fundo branco, ficando praticamente invisível para uma pessoa que lesse o documento, mas podendo ser identificado por sistemas automatizados.

O juiz Walter Spader Jr. entendeu que a estratégia ultrapassou os limites aceitáveis e aplicou uma sanção ao litigante. Como punição, Elliott foi proibido, por tempo indeterminado, de protocolar petições e outros documentos eletronicamente pelo sistema de processo judicial.

A partir da decisão, qualquer novo documento apresentado por Elliott deverá ser entregue pessoalmente, em papel, na secretaria do tribunal. O juiz considerou a medida proporcional, destacando que ela não impede o acesso do autor à Justiça, mas busca evitar novos abusos do sistema eletrônico.
Comando tentava influenciar análise

O conteúdo escondido na petição não se limitava a perguntar se o documento seria analisado por uma ferramenta de inteligência artificial. Segundo a decisão, a instrução determinava que, caso o texto fosse processado por uma IA, a resposta deveria seguir o conteúdo da petição e favorecer o pedido apresentado por Elliott.

Para o juiz, a estratégia representou uma tentativa deliberada de interferir no funcionamento de um sistema automatizado em benefício próprio.

Elliott admitiu ter colocado os comandos ocultos, mas negou que tivesse agido de forma desonesta. Segundo ele, a intenção era descobrir se o tribunal utilizava inteligência artificial para analisar as petições apresentadas eletronicamente.

O problema, porém, continuou mesmo depois de a corte identificar a prática. Elliott apresentou outras petições contendo mensagens invisíveis. Algumas eram aparentemente brincadeiras, incluindo uma piada sobre o presidente da parte adversária, uma mensagem relacionada à esterilização e até um link para um vídeo do personagem Bob Esponja.

Apesar das justificativas, o juiz concluiu que o primeiro comando tinha natureza diferente. Para ele, a instrução escondida tinha como objetivo fazer com que uma eventual ferramenta de IA chegasse a uma conclusão favorável ao próprio litigante.
Juiz cita caso ocorrido no Brasil

Na decisão, Spader Jr. também mencionou um caso ocorrido no Brasil envolvendo duas advogadas do Pará que foram multadas em R$ 84 mil após inserirem comandos ocultos em uma petição.

O caso brasileiro envolveu o sistema de inteligência artificial utilizado pelo Tribunal Regional do Trabalho da 8ª Região (TRT-8), no Pará. Os comandos tinham como objetivo fazer com que a ferramenta realizasse uma análise superficial do documento e não questionasse determinadas provas.

Segundo o juiz americano, o episódio brasileiro demonstra que os tribunais precisam considerar os riscos relacionados ao uso de IA no processamento de documentos judiciais.

A diferença apontada por Spader Jr. é que o tribunal de Connecticut não utiliza ferramentas de inteligência artificial para analisar ou decidir os pedidos apresentados nos processos. No caso brasileiro citado por ele, o sistema identificou e bloqueou o conteúdo oculto antes que a tentativa de manipulação tivesse efeito.
O que é prompt injection?

O termo prompt injection é usado para descrever uma técnica em que alguém insere instruções em um conteúdo que será posteriormente analisado por uma inteligência artificial. O objetivo é fazer com que a IA siga comandos inseridos pelo autor do conteúdo, mesmo que essas instruções não façam parte da tarefa originalmente solicitada.

Em documentos digitais, esses comandos podem ser escondidos por meio de elementos que não chamam a atenção de quem lê o arquivo, como textos com a mesma cor do fundo ou formatos praticamente invisíveis.

O caso de Connecticut chama atenção justamente porque demonstra que esse tipo de técnica pode ultrapassar o ambiente tradicional de testes de segurança de IA e chegar a situações com consequências jurídicas.

Para o juiz, permitir que uma parte tente influenciar deliberadamente um sistema automatizado usado na análise de documentos poderia comprometer a integridade do processo. Por isso, a sanção aplicada busca impedir que o sistema eletrônico continue sendo utilizado dessa maneira.

O episódio também reforça um desafio que tende a ganhar importância com a expansão da inteligência artificial em atividades jurídicas: garantir que documentos processados por sistemas automatizados não contenham instruções ocultas capazes de alterar ou distorcer os resultados das análises.

Fonte: Jornal O Sul