Aplicativo que gera imagens de nudez é encontrado e retirado da App Store

Serviços que usam deepfake para criar imagens de nudez sem o consentimento de terceiros estão se tornando uma dor de cabeça das grandes para a Apple. Ontem, por exemplo, comentamos aqui que algumas dessas ferramentas estavam usando o sistema de logins da Maçã em suas plataformas, apesar de a empresa proibir isso.

Agora, foi a vez de uma reportagem do 404media jogar luz sob um problema muito parecido e tão perigoso quanto: a presença de apps do tipo na App Store. A Apple, é claro, proíbe softwares que ofereçam algum tipo de conteúdo pornográfico na sua loja, mas alguns deles têm conseguido passar batido pelo seu sistema de revisão — do qual a empresa se orgulha muito, por sinal.

O jornalista Emanuel Maiberg esbarrou em um desses apps ao se deparar com um anúncio (em vídeo) um tanto suspeito no Reddit. O app em destaque até parecia inocente em um primeiro momento, apresentando-se apenas como uma ferramenta capaz de trocar o rosto de pessoas em fotos e vídeos, como uma brincadeira. Alguns sinais, entretanto, entregaram o seu verdadeiro propósito.

O anúncio trazia um clipe com mulheres jovens dançando e uma pessoa usando o app para trocar os seus rostos a partir de imagens de outras pessoas na sua galeria — o que por si só já é bastante suspeito. O problema, porém, não para por aí: em certa altura, o anúncio destaca a capacidade do app de trocar o rosto de pessoas em vídeos de plataformas de terceiros, como YouTube e “até os seus sites favoritos”.

É aí que o anúncio mostra um site extremamente parecido com o Pornhub, uma das maiores plataformas de pornografia do mundo. Embora o anúncio não cite o nome do site em nenhum momento, está bastante claro que tipo de público o vídeo está querendo atingir.

Obviamente, o app não fazia nenhuma menção a essa capacidade na sua página na App Store; pelo contrário, afinal ele sequer seria aprovado na loja. Entretanto, bastava alguns toques para criar esse tipo de conteúdo sem muitos problemas, uma vez que ele fosse instalado no iPhone. O app, vale notar, contava com uma assinatura um tanto salgada de US$20 mensais — outra pista do seu verdadeiro propósito.

Maiberg relatou o app para o Reddit, que tirou o anúncio do ar, e para a Apple, que o removeu da sua loja — mas não sem antes pedir pelo seu link, o que só mostra que a empresa realmente não estava ciente do que estava acontecendo. Ambas as empresas disseram que proíbem esse tipo de conteúdo em suas plataformas, com a Maçã inclusive citando o trecho das suas diretrizes que trata desse assunto. Perguntada sobre o estado desses aplicativos na App Store, a Apple não chegou a comentar.

O 404media, entretanto, ouviu Hany Farid, professor especialista em imagens manipuladas da Universidade da Califórnia em Berkeley (Estados Unidos) e, de acordo com ele, a única forma da Maçã solucionar esse problema é banindo esse tipo de app de uma vez por todas, uma vez que “a maioria dos casos de uso [desse tipo de ferramenta] é para criar imagens sexuais não consensuais”. Farid, entretanto, oferece algumas alternativas para a Apple tentar mitigar esse problema (embora elas não sejam nada fáceis de se colocar em prática, é verdade):

Um aplicativo poderia mitigar essa aplicação prejudicial se, por exemplo, eles apenas permitissem que você criasse um deepfake do seu próprio rosto, onde o aplicativo força você a tirar uma foto ao vivo de si mesmo e verifica a sua identidade. Vou ressaltar que a Apple proíbe qualquer aplicativo associado a conteúdo adulto, então isso não seria um desvio muito grande das suas políticas de longa data […] eles [Apple] certamente não podem confiar nos criadores para simplesmente não comercializar explicitamente seus aplicativos dessa forma.

Por enquanto, a Apple parece remover esses apps apenas quando eles são denunciados por usuários ou jornalistas — isso quando o sistema de revisão da App Store falha, é claro. Com a popularização de ferramentas de inteligência artificial capazes de gerar imagens cada vez mais convincentes, porém, essa abordagem terá que mudar.