Des milliers de femmes victimes d’un bot générateur de deep porns sur Télégram

Temps de lecture: 4 minutes

La découverte de l’application DeepNude 1DeepNude est une application apparue le 23 juin 2019 qui permettait de déshabiller les femmes gratuitement. Le principe était simple. Il suffisait de téléverser une photo de femme habillée et l’algorithme générait un deepfake de la même femme, mais nu. L’application gratuite disposait d’un mode payant à 50 $. L’application qui a connu un succès fulgurant — près de 500 000 visiteurs et 95 000 téléchargements — a dû rapidement fermer à cause de la controverse. Son code est désormais disponible en open source sur internet après avoir été mis à disposition par des utilisateurs.en juin 2019 avait fait craindre le pire concernant les deepfakes. Un an plus tard, un rapport 3Rapport à consulter ici « Automating Image Abuse: deepfake bots on Telegram » par Giorgio Patrini, Sensity.ai, le 20 octobre 2020 d’une dizaine de pages publié ce week-end confirme le scénario. Sensity.ai, une société néerlandaise spécialisée dans la détection de médias synthétiques, révèle que près de 680 000 femmes auraient été victimes d’un générateur de Deep porns sur Télégram

Les chiffres donnent le tournis. 680 000 femmes auraient vu leur image utilisée pour réaliser des Deep porns 2Sensity.ai avait publié un rapport en 2019 sur l’augmentation du nombre de deep porn parmi les deepfakes. « Deep-porns : une nouvelle menace pour les femmes« , journalism.design, 2019 à l’aide de cette nouvelle app. Giorgio Patrini, CEO de Sensity.ai a publié ce week-end le rapport et dans une mise à jour indique que ses équipes auraient découvert une page dédiée à l’app indiquant ce nombre de femmes potentiellement touchées. Les estimations publiées dans le rapport de la société basée à Amsterdam s’élèvent à seulement 104 852 soit 6 fois moins.

Un bot Telegram

Le service, dont le nom n’a pas été divulgué pour d’évidentes raisons de sécurité, aurait gagné en influence au cours des trois mois d’été 2020 sur Télégram. Le nombre des images généré aurait cru de 198 % d’après le rapport. Le bot 4Un bot — la contraction de robot — est un service automatisé qu’on retrouve sur les messageries instantanées du type Messenger de Facebook ou ici, Télégram dont les images sont diffusées sur différentes chaines affiliées regrouperait 101 080 utilisateurs dans le monde dont 70 % seraient situé en Russie ou dans les pays satellites de l’ex-URSS 5Ces chiffres purement déclaratifs sont issus d’un sondage réalisé par les créateurs de l’app eux-mêmes d’après le rapport.

La couverture du rapport Automating image abuse par Sensity.ai

La couverture du rapport Automating image abuse par Sensity.ai

La promotion de l’app se ferait sur les réseaux sociaux russes VK à grand renfort de publicité. Les images partagées sur les différentes chaines peuvent ainsi se retrouver au cœur de manœuvres d’extorsion, de chantage ou de harcèlement à l’encontre des victimes.

Le bot semble fonctionner sur la base d’une version open source de l’app DeepNude, c’est-à-dire de G.A.Ns. Après téléchargement d’une photo habillée, le bot extrait le visage de la photo source pour ensuite générer un corps numérique approximatif. Le jeu de données avec lequel l’algorithme de deep learning a été entrainé semble être composé uniquement de photos de femmes confirmant l’usage exclusif par un public d’hommes.

Le modèle de Coréen (et japonais)

Ce mode opératoire n’est pas sans rappeler l’affaire the NTH Room 6 À lire: Nth Room : des deepfakes comme arme d’exploitation sexuelle, Journalism.design, 4 juillet 2020 qui avait secoué la Corée du Sud au printemps dernier. Là aussi, Télégram avait été utilisé pour diffuser des Deep porns de femmes ou de jeunes filles et pour exercer toutes sortes de chantages et de manipulations. La tête du réseau avait été appréhendée et l’affaire avait provoqué un scandale d’ampleur nationale révélant que des stars de la Kpop avaient été victimes du réseau.

Ici nombre de victimes semblent être des femmes ordinaires, cibles d’une masculinité pathologiquement accroc à la pornographie virtuelle 7Un sondage réalisé par les créateurs de l’app montre que 63 % des utilisateurs souhaitent déshabiller des femmes qu’ils connaissent. 16 % seulement sont intéressés par les célébrités.. À l’instar de the Nth Room ou du réseau récemment démantelé au Japon 8Brève à lire, en bas de la lettre, une chaine principale abrite le bot qui permet la conversion des images, les chaines périphériques sont dédiées à la communauté et à l’échange d’images ainsi qu’au développement d’un accès Premium payant.

Il faudrait biensur s’interroger sur le rôle récurent que joue la messagerie en offrant une structure de diffusion adhoc à ce type d’activité criminelle. Ou se demander comment un code privé, retiré du marché, a été librement distribué sur le net et permis ce type d’application. Il faudrait également se pencher sur les raisons qui poussent ces milliers d’hommes, tous utilisateurs du bot, à faire montre vis-à-vis de leur ex-compagne, de leur voisines, de soeurs ou de mères d’un absence totale de respect. Mais avant tout, c’est aux victimes qu’il faut penser. Il faut imaginer le désespoir d’être pris en tenaille dans un chantage abject. Il faut ressentir l’humiliation, la honte que ces femmes peuvent avoir en elle d’apparaitre sur ce type de contenus sans l’avoir jamais voulu. Il est nécessaire également comprendre que ce type d’activité mafieuse ou criminelle est un outil de plus pour unilatéralement installer une terrible angoisse dans la tête de ces milliers de femmes et jeunes filles, pour terroriser, pour empécher l’autre d’exister pleinement, comme un collier d’entraves numérique posé sur le cou de femmes invisibles.

Notes :

DeepNude est une application apparue le 23 juin 2019 qui permettait de déshabiller les femmes gratuitement. Le principe était simple. Il suffisait de téléverser une photo de femme habillée et l’algorithme générait un deepfake de la même femme, mais nu. L’application gratuite disposait d’un mode payant à 50 $. L’application qui a connu un succès fulgurant — près de 500 000 visiteurs et 95 000 téléchargements — a dû rapidement fermer à cause de la controverse. Son code est désormais disponible en open source sur internet après avoir été mis à disposition par des utilisateurs.
Sensity.ai avait publié un rapport en 2019 sur l’augmentation du nombre de deep porn parmi les deepfakes. « Deep-porns : une nouvelle menace pour les femmes« , journalism.design, 2019
Rapport à consulter ici « Automating Image Abuse: deepfake bots on Telegram » par Giorgio Patrini, Sensity.ai, le 20 octobre 2020
Un bot — la contraction de robot — est un service automatisé qu’on retrouve sur les messageries instantanées du type Messenger de Facebook ou ici, Télégram
Ces chiffres purement déclaratifs sont issus d’un sondage réalisé par les créateurs de l’app eux-mêmes d’après le rapport
À lire: Nth Room : des deepfakes comme arme d’exploitation sexuelle, Journalism.design, 4 juillet 2020
Un sondage réalisé par les créateurs de l’app montre que 63 % des utilisateurs souhaitent déshabiller des femmes qu’ils connaissent. 16 % seulement sont intéressés par les célébrités.
Brève à lire, en bas de la lettre
Author avatar
Gerald Holubowicz
http://geraldholubowi.cz
Ancien photojournaliste et web-documentariste passé chef de produit spécialisé en innovation éditoriale, j'étudie l'impact des médias synthétiques (deepfakes) sur la fabrique d'une culture visuelle numérique. Après 10 ans d'interventions régulières auprès de différentes écoles de journalisme (EMI, CFJ/CFPJ, INA, Sciences Po Grenoble), j'interviens désormais à l'École de Journalisme et au Centre des Médias de Sciences Po Paris.