Startup contratada por OpenAI e Anthropic planeja iniciativa contra o extremismo
SYDNEY, 2 Abr (Reuters) - Pessoas que demonstrarem tendências extremistas violentas no ChatGPT serão encaminhadas para apoio de desradicalização baseado em humanos e em chatbots, por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, disseram os responsáveis pelo projeto.
A iniciativa é a mais recente tentativa de abordar as preocupações com a segurança diante de um número crescente de processos judiciais que acusam empresas de IA de não impedirem, e até mesmo de incentivarem, a violência.
Em fevereiro, a OpenAI foi ameaçada de intervenção pelo governo canadense, após a revelação de que uma pessoa que realizou um massacre em uma escola havia sido banida da plataforma sem que as autoridades fossem informadas.
A ThroughLine, uma startup contratada nos últimos anos pela OpenAI, proprietária do ChatGPT, bem como por suas concorrentes Anthropic e Google, busca redirecionar usuários para apoio em situações de crise.
Isso ocorre quando há sinalização de que eles estão em risco de automutilação, violência doméstica ou transtorno alimentar. A empresa também está explorando maneiras de ampliar sua oferta, para incluir a prevenção do extremismo violento, afirmou seu fundador e ex-assistente social com jovens, Elliot Taylor.
A ThroughLine está em negociações com o The Christchurch Call, uma iniciativa para combater o ódio online criada após o pior ataque terrorista da Nova Zelândia em 2019. Segundo Taylor, o grupo anti-extremismo fornecerá orientações, enquanto a ThroughLine desenvolve o chatbot de intervenção.
"É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas", disse Taylor em entrevista, acrescentando que nenhum prazo foi definido.
A OpenAI confirmou a relação com a ThroughLine, mas recusou-se a comentar mais. A Anthropic e o Google não responderam imediatamente aos pedidos de comentários.
A startup de Taylor, que ele administra de sua casa na zona rural da Nova Zelândia, tornou-se uma referência para empresas de IA, oferecendo uma rede constantemente monitorada de 1.600 linhas de apoio em 180 países.
Assim que a IA detecta sinais de uma possível crise de saúde mental, ela encaminha o usuário para o ThroughLine, que o conecta a um serviço disponível e operado por humanos nas proximidades.
Mas o escopo da ThroughLine tem se limitado a categorias específicas, disse o fundador. A amplitude dos problemas de saúde mental que as pessoas revelam online explodiu com a popularidade dos chatbots de IA e agora inclui o envolvimento com o extremismo, acrescentou.
MAIS CHATBOTS, MAIS PROBLEMAS
A ferramenta de combate ao extremismo provavelmente seria um modelo híbrido, combinando um chatbot treinado para responder a pessoas que apresentem sinais de extremismo e encaminhamentos para serviços de saúde mental presenciais, disse Taylor.
"Não estamos usando os dados de treinamento de um modelo de linguagem básico", disse ele, referindo-se aos conjuntos de dados genéricos que as grandes plataformas de modelos de linguagem usam para formar textos coerentes. "Estamos trabalhando com os especialistas certos."
A tecnologia está atualmente em fase de testes, mas ainda não há data definida para lançamento.
Galen Lamphere-Englund, um consultor de contraterrorismo que representa o The Christchurch Call, disse que espera disponibilizar o produto para moderadores de fóruns de jogos e para pais e responsáveis que desejam combater o extremismo online.
Uma ferramenta de redirecionamento de chatbots foi "uma ideia boa e necessária, porque reconhece que o problema não é apenas o conteúdo, mas também a dinâmica do relacionamento", disse Henry Fraser, pesquisador de IA da Universidade de Tecnologia de Queensland.
O sucesso do produto pode depender de questões como "quão bons são os mecanismos de acompanhamento e quão boas são as estruturas e os relacionamentos para os quais eles direcionam as pessoas na resolução do problema", disse.
Taylor afirmou que as medidas de acompanhamento, incluindo possíveis alertas às autoridades sobre usuários perigosos, ainda estavam sendo definidas, mas levariam em consideração qualquer risco de desencadear comportamentos mais agressivos.
Segundo ele, pessoas em sofrimento tendem a compartilhar online coisas que têm muita vergonha de dizer a alguém, e os governos correm o risco de agravar o perigo se pressionarem as plataformas a bloquear usuários que participam de conversas delicadas.
Conforme um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, a maior moderação associada ao extremismo por parte de plataformas, pressionadas pelas autoridades policiais, fez com que simpatizantes migrassem para alternativas menos regulamentadas, como o Telegram.
"Se você conversar com uma IA, revelar a crise e ela encerrar a conversa, ninguém ficará sabendo do ocorrido, e essa pessoa poderá continuar sem apoio", disse Taylor.
((Reportagem de Byron Kaye))