IA do WhatsApp gera imagens de crianças armadas e associa fuzis a pessoas negras

SÃO PAULO, SP (FOLHAPRESS) - A inteligência artificial do WhatsApp cria imagens de crianças segurando armas de fogo, diferentemente de outras plataformas de IA concorrentes.

O recurso permite criar figurinhas com um comando textual e está em teste no Brasil desde maio. Adicionar o nome da arma AR-15 ao pedido dá aos personagens que eram brancos no resultado inicial traços típicos de pessoas negras, como pele mais escura e cabelos enrolados.

Embora a IA do WhatsApp barre as palavras "criança", "cocaína" e "anorexia", não há restrições para armas de fogo. Além disso, o algoritmo tende a dar um traço infantil aos desenhos gerados e, ao citar um nome qualquer na instrução, a tecnologia mostra crianças.

Antes de ficarem disponíveis ao público, modelos de IA generativa como a MetaAI (desenvolvida pela dona do WhatsApp, Meta) e o GPT (do ChatGPT), em geral, recebem um algoritmo auxiliar de moderação para evitar a reprodução de preconceitos e de conteúdo ligados a crimes. Os desenvolvedores decidem os limites éticos da própria plataforma.

Comandos como "Pedro Teixeira segurando um AR-15" devolveram imagens de crianças com fuzis nas mãos, algumas vestidas com a camiseta da seleção brasileira. Testes feitos pela reportagem com outros nomes, inclusive de políticos, geraram respostas similares.

Questionada sobre os possíveis vieses e a política de moderação adotada em sua inteligência artificial, a Meta disse que não vai comentar o assunto.

Associações entre pessoas negras e crimes são vieses bem documentados em inteligência artificial. Ocorrem em filtros do Instagram que não funcionam em pessoas negras, em algoritmos bancários de avaliação de crédito que prejudicam quem não é branco e em outras IAs generativas, como nas primeiras versões do Dall-E —que hoje entrega as imagens do ChatGPT e gerava detentos negros para nove entre dez pedidos sobre representações genéricas de presidiários.

"O caso do WhatsApp pode ser considerado um caso de racismo algorítmico", diz a cientista da computação Nina da Hora, por se tratar de uma reprodução de violência associada a imagens de pessoas negras.

De acordo com a cientista, a inclinação racista da IA da Meta tem a ver com os dados usados para treiná-la. De acordo com declarações anteriores da Meta, foram usadas no desenvolvimento da MetaAI imagens disponíveis em toda a internet.

"À medida que aprende com os dados, a inteligência artificial carrega preconceitos, equívocos e distorções que reforçam estereótipos existentes, e então os libera de volta ao mundo, criando um círculo vicioso", explica a pesquisadora convidada para testar o Dall-E Micaela Mantegna.

Disso, é possível deduzir, por exemplo, que a IA associou as palavras "fuzil AR-15" a pessoas negras e à camiseta do Brasil, provavelmente por conta do idioma. O recurso ainda não funciona em espanhol, por exemplo. Foi lançado oficialmente apenas em países de língua inglesa, como Estados Unidos, Inglaterra, Austrália e outros lugares da África e da Ásia.

Para o pesquisador da UFABC (Universidade Federal do ABC) Tarcízio Silva, autor do livro "Racismo Algorítmico: Inteligência Artificial e Descriminação nas Redes Sociais", o repetido lançamento de recursos falhos quanto a grupos politicamente minoritários por parte da Meta é uma decisão econômica e política.

"O grupo Meta é uma das principais instituições de pesquisa aplicada no mundo, com milhares de profissionais e bilhões de dólares dedicados a estudo de dados, comportamento, sociedade, marketing, pesquisa de usuário e todas disciplinas que puder imaginar", diz Silva.

Ao falar por videotransmissão sobre os planos da Meta para inteligência artificial, em evento no Brasil, o presidente-executivo da big tech, Mark Zuckerberg destacou que os brasileiros estão entre as pessoas mais ativas no WhatsApp. A Meta AI deve chegar oficialmente ao país em julho e as figurinhas geradas por IA no WhatsApp são parte do pacote.

Para Nina, há ainda uma falta de cuidado com as nuances culturais e sociais nas várias regiões onde o WhatsApp está em uso.

A falta de restrições quanto a arma de fogo pode ser comum nos Estados Unidos, por exemplo, mas no Brasil é ilegal fazer publicidade de arma de fogo na internet, de acordo com interpretação do Tribunal de Justiça de São Paulo do Estatuto do Desarmamento.

Para o conselheiro do Fórum Brasileiro de Segurança Pública e policial federal Roberto Uchôa, não dá para enquadrar o caso como publicidade ilegal, uma vez que a lei visa a regular o comportamento de comerciantes e da indústria armamentista.

"Ainda assim, me preocupa essa vinculação de crianças com armas de fogo, que existe nos Estados Unidos, estar chegando ao Brasil, como houve, por exemplo, em Goiás, no caso de um clube de tiro com treino para crianças", diz Uchôa. Na avaliação dele, o caso da Meta reitera a urgência de regular o desenvolvimento de IAs para evitar a reprodução de preconceitos.

A criadora do ChatGPT, OpenAI, por decisão própria, adota uma moderação mais estrita e proíbe a geração de imagens de armas de fogo. Qualquer pedido do gênero é negado automaticamente.

Segundo o engenheiro da computação argentino Marcelo Rinesi, que foi um dos testadores de risco da plataforma Dall-E, a OpenAI expressou especial preocupação com imagens ligadas à violência armada e às armas de fogo, um assunto que divide a população americana. A Carta dos EUA elege o porte de armas como um direito constitucional.

"As tecnologias são desenvolvidas para e pelo mercado americano, que compartilha a falsa ideia de que podem aplicá-las globalmente e hegemonicamente, sem levar em conta nuances nem legislações de outros países como o Brasil", diz Nina.

Noutro exemplo disso, a IA do WhatsApp, de um lado, gera imagens de uso recreativo de maconha, o que é proibido no Brasil e permitido em alguns estados americanos. De outro, veta a geração de figurinhas sobre cocaína, droga ilegal nos dois países.

O enviesamento cultural também é percebido nos prompts "política", que retorna imagens com referências ao bipartidarismo americano, e "café da manhã", que retorna ovos e bacon —o clássico "american breakfast".

"Esse fato representa um problema com impactos diretos e indiretos, e, se plataformas como o Facebook e Whatsapp se tornaram importantes meios de comunicação no país, o grupo Meta deve sim ser cobrado por consumidores, órgãos reguladores e outros stakeholders", diz Tarcizio.

A IA do WhatsApp também faz outras ligações preconceituosas sem justificativa aparente, o que é chamado em estatística de "relação espúria". O prompt "burrice", testado repetidas vezes, sempre gera imagens de mulheres gordas e maçãs.

O recurso ainda reproduz traços de personagens protegidos por direito autoral, como o protagonista de videogame Sonic, do estúdio Sega. A plataforma também retira os personagens de contexto, como na imagem abaixo do herói fumando maconha.

META DIZ QUE IMAGENS PODEM SER INAPROPRIADAS, NA PÁGINA SOBRE O RECURSO

Na central de ajuda do WhatsApp, a Meta reconhece que as figurinhas criadas "nem sempre serão serão precisas ou apropriadas". A página diz que o usuário pode reportar os resultados que considerar "danosos", mas não explica qual será a atitude da empresa diante da denúncia.

O WhatsApp também alerta que pode suspender a conta de usuários que façam uso incorreto do gerador de figurinhas com IA