Retour

L’état des deepfakes en 2020

Si 2020 a marqué les esprits, ce ne sera pas à cause d’une arrivée fracassante des deepfakes dans l’actualité. L’infocalypse que certains prédisaient pour l’élection américaine de novembre n’a pas eu lieu. Aucune manipulation n’aura bouleversé le cours des démocraties et la crise du COVID-19 n’aura pas non plus servi de prétexte à l’émergence en masse de ces vidéos truquées. Pourtant, aurait-on raison de baisser la garde ? Peut-être pas.

Cette année marque une étape importante dans le développement des deepfakes. Jusque là cantonnés aux experts de l’imagerie, aux professionnels de la vérification, aux journalistes et aux amateurs passionnés d’intelligence artificielle et de bonnes bidouilles, les médias synthétiques ont gagné en popularité pour désormais faire leur entrée dans le champ lexical du grand public. Ces dernières semaines d’ailleurs, si on en croit les résultats de google trends 1Tendances de recherche sur la requête deepfake et sur la requête fake news, Google Trends, décembre 2020 , la requête deepfake a même largement dépassé la requête fake news.

Les tendances entre les requêtes deepfakes et fake news sur Google se croisent en fin d'année.

Les tendances entre les requêtes deepfakes et fake news sur Google se croisent en fin d’année probablement du fait des deepfakes de la Reine Élisabeth et celui de Luke Skywalker du Mandalorian.

La fausse intervention de la Reine Élisabeth sur Channel 4 en Angleterre ou l’apparition de Luke Skywalker dans le dernier épisode de la saison du Mandalorian (et la publication du deepfake « correctif » réalisé par Sham00k) ont certainement contribué à étendre la sphère d’influence des médias synthétiques à un large public hors des traditionnelles cibles de ce type de production comme le montre ce tweet qui reflète les réactions de beaucoup du les réseaux.

Pour autant, cet intérêt soudain ne tient pas qu’à ces deux productions. Une lente infusion de médias synthétiques met régulièrement des publics non avertis en contact avec des vidéos manipulées et sensibilise petit à petit même les plus réfractaires. Revenons ensemble sur une année chargée qui me semble être un premier tournant pour les médias synthétiques.

🚨 UN TRAFIC DE 120 000 DEEP-PORNS ?
Sensity.ai liste près de 120 000 menaces ciblant 3398 personnalités, dont Scarlett Johansson, Gal Gadot (qui fut l’une des premières victimes), Margot Robbie ou Taylor Swift. Ce chiffre important ne doit pas faire oublier que rien que sur le site pornhub, se sont près de 6,83 millions de vidéos pornographiques qui ont été téléversés sur le site en 2019 uniquement (ce qui représente 14 vidéos par minute, 2,8 heures de contenu) et qu’aucun site pornographique dédié aux deepfakes ne génère le trafic de la plateforme canadienne. Proportionnellement, les deepfakes représentent donc une activité marginale pour l’industrie qui ne s’en soucie certainement que pour des questions d’image et de violation de copyright. Reste que pour les victimes de deepfakes la violence de retrouver son visage sur le corps d’une actrice est bien réelle et mérite qu’on éradique ce type de vidéos. LIRE L’ARTICLE →

Mais tout d’abord, il faut rappeler qu’une majorité des deepfakes produits aujourd’hui sont des deep-porns. En octobre dernier, Sensity.ai, une entreprise spécialisée dans la détection des deepfakes et des médias synthétiques révélait que près de 100 000 femmes avaient vu leur image utilisée dans des deep-porns 2Des milliers de femmes victimes d’un bot générateur de deep porns sur Télégram, journalism. design, 21 octobre 2020 qui circulaient ensuite sur un réseau Télégram. Une affaire qui fait échos à d’autres faits-divers du même genre, en Corée (avec the Nth Room 3The Nth Room des deepfakes comme arme d’exploitation sexuelle, journalism. design, 4 juillet 2020) ou au Japon et qui affecte de très nombreuses femmes, victimes de véritables réseaux criminels. Le reste des deepfakes sont ceux que nous croisons sur le web ou à la télévision. Les deepfakes les plus travaillés, les plus élégants, les plus mémorables.

LES DEEPFAKES SÉDUISENT PLUS LES ONG QUE LES PARTISANS POLITIQUES

On s’attendait à voir les deepfakes débarquer en politique plutôt bruyamment. Certains avaient même parié sur une Infocalypse pré-élections américaines. La catastrophe a été évitée, et de loin. Les campagnes des principaux candidats n’ont pas diffusé de deepfakes ambigus. Joe Biden a bien été victime de deux ou trois productions plus ou moins convaincantes, mais aucune d’entre elles n’étaient en mesure de rebattre les cartes d’une campagne déjà fortement affectée par le COVID-19. En revanche, Donald Trump lui-même en a diffusé quelques-unes, donnant au passage un peu de sa visibilité à ces productions improbables. Pourtant, dès janvier un code de conduite clair 4Members of the House Are on Notice: No Tweeting Deepfakes, Lawfare, Evelyn DouekQuinta JurecicJacob Schulz, 30 janvier 2020 avait interdit les membres de la Chambre des Représentants de tweeter des deepfakes. Une bonne pratique qu’aurait pu suivre le président des États-Unis. Mais non, en avril, Donald Trump retweetait une vidéo moquant un Joe Biden au visage déformé et grotesque.

Deepfake de Joe Biden retweeté par Donald Trump le 26 avril 2020

Deepfake de Joe Biden retweeté par Donald Trump le 26 avril 2020

Quelques mois après, à l’occasion de la mort tragique de George Floyd le 25 mai, Winnie Heartstrong, une obscure candidate à l’investiture pour les primaires des républicains du Missouri, a publié un document mêlant théorie du complot, deepfakes et pseudoscience 5George Floyd et les deepfakes : la folle théorie de Winnie Heartstrong, journalism. design, 27 juin 2020
pour — selon elle — prouver que le fait-divers n’avait jamais eu lieu. Si Heartstrong n’a évidemment pas pu accéder aux médias locaux et nationaux sérieux, elle s’est néanmoins exprimée à ce sujet sur de nombreux sites et podcasts radicaux de droite, familiarisant ainsi de la pire manière qui soit les auditeurs et lecteurs avec les deepfakes. Dans son sillage, de nombreuses mentions aux deepfakes ont pu être relevées sur les réseaux sociaux de la part d’utilisateurs remettant en doute des vidéos de violences policières lors des manifestations de Black Lives Matter, certaines faites par des hommes politiques de second plan.

Sur le continent africain, plusieurs partis ou mouvements d’opposition à des régimes en place ont utilisé directement ou exploité indirectement la publication de grossiers deepfakes pour peser politiquement dans le débat, comme au Gabon en 2019. Cette année, la France par l’intermédiaire de son ambassadeur au Cameroun se retrouvait d’ailleurs au milieu d’une petite passe d’armes entre l’opposition et le président Biya. En Algérie, la récente convalescence du président Tebboune et son retour vidéo 6Le « vrai » Président Tebboune aurait fait « une apparition » surprenante !, le7TV, 13 décembre 2020 a suscité les questions et certains ont plaidé qu’il s’agissait d’un deepfake. En Inde, c’est le leader du Delhi Bharatiya Janata Party, Manoj Tiwari qui a demandé à réaliser deux deepfakes, l’un en anglais et l’autre en Haryanvi, tous deux tirés d’un discours en Hindi, pour toucher plus directement les électeurs.

Dans un autre pan de l’action politique, les associations, groupes d’intérêts et autres regroupements d’activistes s’emparent des deepfakes pour porter leur message avec plus ou moins de succès. En Belgique, le groupe local d’Extinction Rebellion a publié un deepfake de la Première ministre Sophie Wilmès 7Extinction Rebellion s’empare des deepfakes, journalism. design, 15 avril 2020 en avril pour lui faire soutenir un certain nombre de mesures en faveur de la lutte contre le réchauffement climatique.

Portrait mélangé de Vladimir Putin et Kim Jong-Un de la campagne de Represent.UsLes progrès accomplis dans la synthèse vocale et la fabrication de deepfakes HD vont certainement inciter de plus en plus d’agences de communication à proposer des deepfakes convaincants aux ONG ou aux partis politiques de second plan pour développer un message politique pertinent. Represent.us, une ONG activiste américaine a diffusé quelques jours avant le 4 novembre dernier aux États-Unis, deux deepfakes montrant Kim Jung-Un et Vladimir Poutine 8Les deepfakes de Poutine et Kim Jong Un par Represent Us, journalism. design, 3 octobre 2020 se moquant de la démocratie américaine et de son état de délabrement. Des vidéos que les chaines de télévision ont refusé de diffuser et beaucoup ont critiqué du fait de la possible confusion qu’elles pouvaient créer dans l’esprit de certains spectateurs. On le voit, il s’agit donc de trouver la fine ligne entre illusion et manipulation et il faudra être attentif à la réception de ces campagnes dans l’avenir. Elles en diront beaucoup sur notre capacité à accepter des contenus manipulés par des algorithmes.

LES DEEPFAKES POPULARISÉS PAR LA TÉLÉVISION ET LE CINÉMA

Ce sera certainement une leçon de cette année, les médias traditionnels sont encore forts et disposent d’un pouvoir d’exposition non négligeable. Les deux deepfakes qui ont permis de populariser le genre en cette fin d’année sont directement ou indirectement impactés par la télévision. La Reine Élisabeth 2 se place devant Luke Skywalker, c’est le classement (improbable) que Google Trends nous livre. Le deepfake diffusé par Channel 4 avec l’actrice Debra Stephenson sous les traits de la Reine a provoqué de vives réactions outre-Manche par son côté irrévérencieux et provocateur. Il s’agissait de rappeler à tout le monde le pouvoir des images et les dangers de la manipulation raconte Ian Katz au Guardian. Un échec qui aurait pu induire certains à penser qu’il s’agissait de la véritable Reine, comme ce fut le cas par ailleurs avec le deepfake d’Extinction Rebellion en Belgique.

Second dans le classement, la version améliorée de l’apparition de Luke Skywalker dans l’épisode final du Mandalorian saison 2 réalisée par Sham00k. À nouveau, un phénomène de masse entoure ce dernier épisode attendu par les fans. Beaucoup ont vu Mark Hamill 9Mark Hamill est l’interprète de Luke Skywalker tout au long de la saga Starwars s’extasier sur le nouveau visage de Luke interprété par Max Lloyd-Jones, mais il était clair qu’une version deepfake allait très vite « corriger » le casting en reprenant le visage d’Hamill tel qu’il était dans la trilogie initiale.

Dans les deux cas, le matériel de base employé pour réaliser les deepfakes était connu d’un large public, bénéficiait d’une actualité et disposait d’un fort relai de la part d’un média (Channel 4, le commanditaire) ou de la communauté (Star Wars et Mark Hamill). Tout au long de l’année, on a pu voir ici ou là des tentatives d’utilisation des deepfakes par la télévision. L’industrie télévisée ne sert pas seulement de caisse de résonnance aux deepfakes, elle s’en sert également pour de façon régulière à travers des programmes satiriques 10sur TF1, C Cantelou par exemple ou en Italie des émissions satiriques avec Gerry Scotty ou plus récemment pour remplacer une actrice placée en quarantaine à cause du COVID-19. C’est en effet sur France 3 dans Plus Belle La Vie qu’un faceswap entre la comédienne Laura Farrugia et Malika Alaoui, une actrice régulière de la série, a permis de continuer le tournage et la diffusion des épisodes. 11Plus belle la vie : un épisode utilise l’effet spécial du “deepfake”, France 3, 18 novembre 2020.

Sassy Justice 12Sassy Justice, journalism. design Instagram des auteurs de South Park, Matt Stone et Trey Parker a été entièrement développé sur l’utilisation de deepfakes pour moquer Donald Trump et son aréopage de pacotille. Les deepfakes inspirent également quelques réalisateurs comme dans Face-swap ou un couple vit ses phantasmes sexuels à l’aide de projections vidéos de visages numériques 13 Sci-Fi Short Film “Face Swap” | DUST, 3 septembre 2019. Les récentes productions hollywoodiennes Gemini Man avec Will Smith 14Gemini Man—Will Smith—Why in CGI?, Deepfake for Fun ou The Irish Man de Martin Scorcese 15De-aging Robert Deniro in The Irishman [DeepFake], Sham00k pourraient bénéficier des avancées techniques que procurent les deepfakes et nul doute qu’une production de grande envergure va rapidement s’emparer de la technologie pour améliorer ses effets spéciaux.

Peter Cushing dans Rogue One, à gauche l'original, à droite la version améliorée

Peter Cushing, mort en 1994, apparait pourtant dans Rogue One en 2016. Les effets spéciaux utilisés à l’époque déçoivent les fans. La version deepfakes se rapproche davantage de l’acteur.

C’est là que la bascule s’opère puisque l’usage des deepfakes soulève un nombre de questions non négligeable. Pourquoi utiliser les deepfakes ? Pour rajeunir un acteur ? 16David Hasselhof deepfake de-aging, Chris Ume, 16 septembre 2019 | Jim Carrey anti-aging deepfake, Deepfake McFakerson, 9 août 2020 Pour ressusciter les morts ? 17Deepfaking Tarkin & Leia in Rogue One: A Star Wars Story [4K], Sham00k, 8 décembre 2020 Ou pour remplacer un acteur par autre, préserver la continuité des personnages dans les franchises à succès ? 18Harrison Ford in Solo: A Star Wars Story [DeepFake], Sham00k, 16 août 2020

Qui sera propriétaire de l’image ainsi fabriquée ? Les studios seront-ils les seuls maitres à bord ? Les acteurs et actrices auront-ils intérêt à se faire numériser le visage régulièrement pour construire une carrière ubiquitaire à l’instar de ce qui arrive à Robin Wright Penn dans le film d’Ari Folman, The Congress 19The Congress, par Ari Folman d’après un roman de Stanislaw Lem, 2013 dépossédée de son image au profit d’une major américaine ? Et qu’en sera-t-il de la diversité des interprétations, des visages, des incarnations ? Qu’en sera-t-il des histoires que nous nous racontons et de leurs personnages ? Seront-ils d’éternelles répétitions d’actrices et d’acteurs dont les héritiers gèreront les trajectoires posthumes ?

La détérioration des conditions économiques de l’industrie du cinéma et de l’audiovisuel suite à la pandémie de COVID-19 va inévitablement conduire à une réduction des recettes et donc budgets futurs, favorisant ainsi l’adoption de cette technologie émergente et prometteuse à l’origine des deepfakes. Si un amateur éclairé peut réaliser dans son salon des vidéos spectaculaires sur la base d’archives dont il ne possède pas les droits, imaginez ce que peut faire un studio avec l’ensemble de la chaine de production et le catalogue dont il dispose.

La prévisible multiplication des futures productions incluant des médias synthétiques va conduire à une exposition croissante des publics à une nouvelle esthétique dont on mesure à peine les effets. Il faut se rappeler ce qu’ont provoqué les couvertures de magazines féminins photoshopés sur les jeunes femmes pour comprendre qu’on touche ici à quelque chose de vital. C’est l’expression d’un art qui va certainement être violemment impacté, mais aussi nos représentations intimes et collectives.

UN BÉNÉFICE POUR DOCUMENTAIRE ET LE JOURNALISME 

Poster de Welcome to Chechnya

Poster de Welcome to Chechnya, par David France, 2020

Cette année a vu également la sortie de Welcome to Chechnya 20 lire l’article sur Welcome to Chechnya, par David France sorti le 30 juin 2020 le documentaire de David France produit par HBO films qui innove en utilisant les deepfakes comme dispositif de protection des protagonistes. Persécutés et poursuivis par les autorités tchétchènes, des membres de la communauté LGBTQIA tentent de s’échapper de Tchétchénie pour refaire leur vie en sécurité. Tout au long du film, on suit une vingtaine de personnages qui espèrent passer la frontière, caméra à l’épaule, le réalisateur nous transporte dans leur intimité et nous fait vibrer avec eux. Sans masques numériques, il y est certain que l’empathie que le spectateur peut développer au fil des minutes ne serait pas ce qu’elle est avec Welcome to Chechnya. Dans ce cas, le masque numérique non seulement protège, mais crée un intermédiaire qui permet de nous reconnaitre en l’autre, qui nous permet de comprendre les angoisses et les peurs, les peines et les moments de joie. 

Nixon au moment de son supposé discours annonçant la mort des astronautes d'Apollo 11

Nixon au moment de son supposé discours annonçant la mort des astronautes d’Apollo 11.

Bien utilisés, les médias synthétiques permettent donc aux journalistes d’innover. On imagine assez facilement donc le remplacement des voix ou des visages pour protéger les sources qui souhaitent témoigner. On peut également imaginer de reconstituer un évènement qui n’est jamais arrivé comme l’ont fait cette année le MIT et la réalisatrice Francesca Panetta assistée du studio Canny AI dans le film In Event of Moon Disaster 21In Event of Moon Disaster – film complet, par Francesca Panetta, le 20 juillet 2020 qui montre un Richard Nixon réssucité pronocer le discours qui lui avait été préparé en cas d’accident des astronautes Neil Amstrong et Buzz Aldrin sur la lune. Les reconstitutions historiques sur la base de documents, mais aussi les reconstitutions réalistes d’évènements seront très probablement possible (sous réserve que les moyens financiers des journaux le permette). Le champs de la vérification des fausses informations sera bien évidemment bouleversé si d’aventure les vidéos manipulées par réseaux de neurones artificiels devaient se multiplier, se complexifier et rentrer dans le champs de l’information. Le génie étant hors de la bouteille, je doute qu’il ne touche pas ce secteur d’activité.

UN TOURNANT, MAIS POUR ALLER OÙ ?

Cette année 2020 marque donc un premier tournant dans la vie récente des deepfakes et de l’ensemble des médias synthétiques. Leur propagation subtile, encore discrète, au sein d’industrie créatives clefs, a permis de réveiller quelques neurones (tout à fait naturels ceux-là) et il ne fait aucun doute que de plus en plus d’enthousiastes se pencheront sur la façon de fabriquer ces médias d’un nouveau type. Les pionniers d’aujourd’hui seront dans quelques années des vétérans d’un champs créatif nouveau qui maniera quotidiennement algorithmes et créativité pour nous proposer un nouvel imaginaire visuel, un récit moderne, numérique, altéré par des réseaux de neuronnes artificiels sophistiqués, si ce n’est autre chose.

Pour être largement adoptée, une technologie doit être facilement compréhensible, proposer quelque chose de nouveau mais cohérent avec l’existant et pouvoir être employée par le plus grand nombre. Le reste est une histoire de temps et d’opportunité. Il n’existe pas de freins majeur à l’adoption des techniques et des technologies qui permettent de produire des médias synthétiques. Des améliorations qualitatives peuvent être réalisées et les performances des algorithmes suivront sans aucun doute la courbe ascendante des capacités de calcul des ordinateurs et de nos smartphones.

Mais cette évolution qui semble inéductable nous amène où et comment ? Quel sera le paysage médiatique de demain si nous ne pouvons être sûr de l’authenticité d’aucun document ? Comment envisager sereinement cet avenir sans même nous poser la question de ce qu’il sera ? Le prochain grand tournant sera la convergence qualitative des voix de synthèse avec les vidéos truquées. Il serait bon que nous ayons réfléchi entre temps à ce que nous voudrons faire de ces nouveaux pouvoirs qui nous seront donné.

Notes :

Notes :
1Tendances de recherche sur la requête deepfake et sur la requête fake news, Google Trends, décembre 2020
2Des milliers de femmes victimes d’un bot générateur de deep porns sur Télégram, journalism. design, 21 octobre 2020
3The Nth Room des deepfakes comme arme d’exploitation sexuelle, journalism. design, 4 juillet 2020
4Members of the House Are on Notice: No Tweeting Deepfakes, Lawfare, Evelyn DouekQuinta JurecicJacob Schulz, 30 janvier 2020
5George Floyd et les deepfakes : la folle théorie de Winnie Heartstrong, journalism. design, 27 juin 2020
6Le « vrai » Président Tebboune aurait fait « une apparition » surprenante !, le7TV, 13 décembre 2020
7Extinction Rebellion s’empare des deepfakes, journalism. design, 15 avril 2020
8Les deepfakes de Poutine et Kim Jong Un par Represent Us, journalism. design, 3 octobre 2020
9Mark Hamill est l’interprète de Luke Skywalker tout au long de la saga Starwars
10sur TF1, C Cantelou par exemple ou en Italie des émissions satiriques avec Gerry Scotty
11Plus belle la vie : un épisode utilise l’effet spécial du “deepfake”, France 3, 18 novembre 2020
12Sassy Justice, journalism. design Instagram
13 Sci-Fi Short Film “Face Swap” | DUST, 3 septembre 2019
14Gemini Man—Will Smith—Why in CGI?, Deepfake for Fun
15De-aging Robert Deniro in The Irishman [DeepFake], Sham00k
16David Hasselhof deepfake de-aging, Chris Ume, 16 septembre 2019 | Jim Carrey anti-aging deepfake, Deepfake McFakerson, 9 août 2020
17Deepfaking Tarkin & Leia in Rogue One: A Star Wars Story [4K], Sham00k, 8 décembre 2020
18Harrison Ford in Solo: A Star Wars Story [DeepFake], Sham00k, 16 août 2020
19The Congress, par Ari Folman d’après un roman de Stanislaw Lem, 2013
20 lire l’article sur Welcome to Chechnya, par David France sorti le 30 juin 2020
21In Event of Moon Disaster – film complet, par Francesca Panetta, le 20 juillet 2020
Gerald Holubowicz
https://geraldholubowi.cz
Ancien photojournaliste et web-documentariste primé, je travaille désormais comme chef de produit spécialisé en innovation éditoriale. J’ai notamment collaboré avec le journal Libération, les éditions Condé Nast, le pure player Spicee et le Groupe les Échos/le Parisien. À travers mon site journalism. design, j’écris sur le futur des médias et étudie l’impact des réalités synthétiques — notamment les deepfakes — sur la fabrique de l’information. Après 10 ans d’interventions régulières auprès des principales écoles de journalisme reconnues, j’interviens désormais à l’École de Journalisme et au Centre des Médias de Sciences Po à Paris.