Chères actrices, chers acteurs, les deepfakes vont changer votre vie

Temps de lecture: 8 min

Mort dans un tragique accident de la route en 1955, James Dean incarnera très prochainement Rogan, dans « Finding Jack », un film adapté du livre de Gareth Crocker parut en 2008. Le temps d’un film, les médias synthétiques vont ramener la légende de la Fureur de vivre d’entre les morts. Plus qu’un évènement, c’est une véritable révolution que le monde du cinéma et la communauté des actrices et acteurs s’apprêtent à vivre. 

Après une année d’interruption, le Festival de Cannes 2021 inaugurera sa première montée des marches le 6 juillet prochain. Rendez-vous incontournable de l’industrie du cinéma du monde entier, les actrices et acteurs sont naturellement les plus attendus sur le tapis rouge du Palais des Festivals. Nombre d’entre eux ignorent cependant que tout ce petit monde va probablement subir un profond bouleversement dans les années à venir.

L’adoption massive du motion capture, des virtual sets et des CGI 1 Motion capture : une technique de capture du mouvement des acteurs par détection de traceurs dans un environnement virtuel en trois dimensions (Le virtual set) — CGI: Computer Generated Images ou effets spéciaux qui ont servi à réaliser tous les plus grands films de science-fiction des 20 dernières années, d’Avatar de James Cameron aux Avengers du Marvel Universe ou Star Wars et bien d’autres a d’ores et déjà modifié en profondeur la façon dont on joue la comédie aux États-Unis sur certaines productions hollywoodiennes.

Depuis quelque temps déjà, les médias synthétiques intéressent les studios d’effets spéciaux et les deepfakes (définition) en particulier font leur apparition dans quelques productions ou mixée avec des techniques de création numérique plus traditionnelles. L’objectif avoué des studios spécialisés vise à reproduire le plus fidèlement possible les performances de leurs acteurs/trices (voire de nos amis à poils qui les accompagnent) pour repousser encore plus loin les limites de la créativité.

Les outils se développent, notamment dans l’industrie du jeu vidéo, pour générer des humains synthétiques 2 Metahuman, un nouveau visage artificiel par UnReal, journalism. design, 4 mars 2021 qui génère des versions ressemblantes certes, mais pas complètement bluffantes. En revanche, les tentatives se multiplient de par le monde pour générer des humains synthétiques capables de se substituer à de véritables individus. Les débuts du présentateur synthétiques ont eu d’abord lieu en Chine, en 2018 ou l’agence d’information Xinhua a propulsé un présentateur anglophone sur le devant de la scène 3 China’s Xinhua agency unveils AI news presenter, BBC, 8 novembre 2018 .

Début 2020, l’agence d’information britannique Reuters s’est par exemple associée à Synthesia, une entreprise basée à Londres spécialisée dans la fabrication d’humains de synthèse, pour créer un présentateur complètement artificiel 4 Reuters and Synthesia unveil AI prototype for automated video reports, Reuters, 7 février 2020. En Corée, la chaine câblée MBN a également développé son propre présentateur (trice) synthétique AI Kim 5South Korean News Channel Introduces An AI-Powered News Anchor, ubergizmo.com, 16 novembre 2020.

Hollywood cherche son double synthétique

Des plateaux du 20 h aux plateaux de cinéma, il n’y a qu’un pas. Le 7e art version synthétique va très surement s’enrichir dans les prochaines années de techniques de création assistée par les mêmes outils que ceux qui fabriquent les deepfakes aujourd’hui. La quête du sosie numérique parfait agite le Tout-Hollywood et donne lieu à quelques superproductions encore un peu hésitantes. En 2019, Gemini Man met en scène Will Smith en prise avec son double de 20 ans son cadet. Le jeune Will Smith a des allures de Fresh Prince of Bel-Air sous stéroïdes. La ressemblance est parfois bluffante, parfois très loin de ce qu’on attend, mais sur la longueur, l’effet fait mouche.  Fini le botox, l’antiride, les cures de vitamines ou le bêta-carotène, le rajeunissement synthétique devient un art dans lequel Weta Digital, le leader Néo-Zélandais des effets spéciaux excelle. 6 Weta Digital a réalisé les effets spéciaux du Seigneur des Anneaux de Peter Jackson | Body of Work : Weta Digital on the art of face replacement, Before and After, 26 juin 2020. .

Plus récemment, Matt Stone et Trey Parker ont inauguré leur studio Deep Voodoo et réuni les plus grands noms de la création de deepfakes. La production de leur nouvelle série Sassy Justice fait appel à un double synthétique plus vrai que nature de Donald Trump. Un des créateurs du studio, Chris Umé, a également fait parler de lui sur les réseaux en créant @deepTomCruise 7 Chris Umé : le deepfake @deeptomcruise est fait pour alerter le public, journalism. design, 5 mars 2021 , un double synthétique porté à l’écran par un certain Miles Fisher, acteur à ses heures et imitateur officiel de Tom Cruise, le vrai. Les studios Disney développent depuis quelques années, dans leur Disney Research Hub à Zurich en Suisse 8 le site du Disney Research Studio , des algorithmes capables de réaliser des faceswaps parfaits, c’est-à-dire d’interchanger le visage d’un acteur avec un autre sans autre retouche en postproduction. D’autres recherches en intelligence artificielle ou en machine learning renforcent ces travaux sur la vision par ordinateur. L’intérêt de Disney est clair, modéliser parfaitement l’humain pour en faire les meilleures attractions possibles.

Au centre de toutes ces manipulations numériques, ce sont les acteurs, les actrices qui servent de matériau aux algorithmes des GANs. Les deepfakes sont sur le point de bouleverser la profession et ses équilibres et on peine à imaginer les effets collatéraux de ces nouvelles techniques.

Robin Wright éternelle

En 2013, Robin Wright vivait ses derniers moments d’actrice dans The Congress 9Un film que je vous recommande chaudement, The Congress, 2013, Ari Folman. Face à un producteur hollywoodien au cynisme écœurant, l’actrice, qui incarnait son propre rôle, se voyait proposer l’impossible : vendre au studio qui l’employait jusqu’alors, la Miramount Pictures, les droits éternels sur son image scannée. Contrepartie inévitable, l’actrice humaine devait s’effacer à jamais pour que vive son double synthétique. « Nous voulons avoir cette chose qu’on appelle Robin Wright », conclut le fac-similé d’Harvey Weinstein.

Les questions que soulève la première partie du film résonnent terriblement avec notre époque et avec les enjeux qui découlent de l’arrivée des médias synthétiques dans l’industrie cinématographique. Il est désormais possible de ramener une actrice ou un acteur (ou d’ailleurs tout autre individu) à la vie 10 VFX Artists React to Resurrected Actors Bad and Great CGi [Coridor Crew] | Snoop Dogg Had us Bring 2pac Back to Life! [Coridor Crew] On peut également vieillir ou rajeunir un acteur qu’il soit vivant ou mort 11 De-Aging Robert Deniro in The Irishman [Sham00k] | David Hasselhof deepfake de-aging turning back the time [Chris Umé] | De-Aging With Deepfakes (Machine Learning) [DeepCaked]. On peut créer de toutes pièces un dialogue qui n’a jamais eu lieu 12This AI Makes “Audio Deepfakes” [Two Minutes Paper] | RealTalk : We Recreated Joe Rogan’s Voice Using Artificial Intelligence [Dessa] . On peut synchroniser les mouvements des lèvres sur n’importe quelle parole, dans la langue native de l’individu ou dans une autre langue 13 Flawless Ai demo [Flawless] | Google’s LipSync3D Offers Improved “Deepfaked” Mouth Movement Synchronization, Unite.AI, 9 juin 2021. Ou encore, remplacer un acteur au pied levé par un autre 14 [INÉDIT] Un « deepfake » dans Plus belle la vie !, France Télévision, 2020 Toutes ces actions sont d’ores et déjà possibles et bouleversent la façon dont les actrices et acteurs vont vivre leur art, leur métier.

Pour commencer, reprenons l’histoire de Robin Wright et la promesse initiale qui lui est faite dans le film. L’éternité. Une éternité factice bien sûr, seule son image sera éternelle. Mais éternité tout de même, une éternité qui peut séduire les égos tourmentés. À quoi est — on prêt pour devenir éternel, même un peu. De quel levier de négociation dispose celui qui possède la technique de l’immortalité. Être jeune pour le temps que la série de 1 et de 0 qui compose son double synthétique nous le permet, c’est certainement le rêve de beaucoup de comédiens et comédiennes. C’est aussi le rêve des producteurs de Star Wars qui ont ramené Peter Cushing à la vie pour quelques scènes dans Rogue One, ou Carrie Fisher, jeune. Les deux versions ayant été d’abord créées à l’aide d’effets spéciaux traditionnels puis améliorés par Sham00k à l’aide de ses algorithmes 15Starwars se raconte en deepfakes, journalism. design, 2020.

Ramener les personnages célèbres de notre histoire pour les inclure dans un scénario culturel ou commercial, comme Salvador Dali qui accueille les visiteurs de son Musée en Floride 16 Museum creates deepfake Salvador Dalí to greet visitors, Dali Museum , pose quelques questions éthiques. Qui est en mesure d’accepter l’utilisation de l’image du défunt ? Qui possède le droit à l’image d’un défunt ? La gestion de l’image est une chose, mais que faire lorsqu’on lui ajoute la parole ? L’objectif du document créé peut-il soulever des exceptions (éducation, information vs exploitation commerciale ?).

Rajeunir ou vieillir un individu encore en vie pose également tout un tas de questions. Pour tracer un parallèle avec The Congress, un acteur doit tout d’abord donner son consentement à être intégralement scanné. Puis il doit décider de la conservation de ces données dans le temps, par qui ?  Comment ? Les data synthétiques 17 données numériques qui composent le scan 3D de la personne | How synthetic data could save AI, Venturebeat, 20 mars 2021 sont-elles transférables et à qui et sous quel régime ? Cède-t-on les droits complets sur son image ? Garde-t-on une capacité à se produire ou comme Robin Wright, un acteur sera-t-il condamné à disparaitre ?

Cette nouvelle situation pose des questions de marché également. Les acteurs célèbres pourront capitaliser sur leur renommée en cédant leur visage pour des films sur lesquels ils ne pourront physiquement pas être présents. On peut imaginer à ce stade deux cas particuliers. Dans le premier, l’acteur contrôle son double synthétique à distance, l’interprétation est la sienne, le cachet reste inchangé. Second cas de figure, un autre acteur interprète le rôle en respectant un cahier des charges à la façon d’un ghost writer, dans ce cas le cachet est moins important. Quid de l’opportunité de faire émerger de nouveaux talents ? Les opportunités seront-elles toujours aussi nombreuses ? Ne risque-t-on pas de voir apparaitre deux classes d’acteurs. Les marionnettistes, capable d’insuffler vie aux doubles synthétiques, mais privés de reconnaissance publique et les véritables stars, ces comédiens qui apparaitront partout dans une ubiquité parfaite.

La voix ensuite. Les deepfakes annoncent-ils la fin du doublage ? La capacité des algorithmes à reproduire une voix, son timbre, son flot s’améliore chaque jour davantage 18 [AI Voice] Kylo Explains… Return Of The Jedi, Speaking of AI, 2021. Certains algorithmes n’ont besoin que de 5 secondes d’enregistrement pour obtenir un résultat relativement correct 19 This AI Clones Your Voice After Listening for 5 Seconds, Two Minutes Papers , d’autres permettent aux célébrités ou aux influenceurs d’enregistrer des publicités sans être présents 20Generator for Celebrities and Influencers, Voicebot.ai .

La capture numérique de la voix, de l’image, des expressions, des mouvements corporels, de la démarche représente un volume de data synthétiques considérable, mais également un enjeu commercial très important. On peut imaginer sans peine des banques de données où chaque actrice et chaque acteur seront répertoriés et classés en fonction de nouvelle typologie : doublure deepfake ou acteur IRL. Le développement de tels services, s’ils rencontrent le succès, s’étendra rapidement à l’ensemble de la population qui n’hésitera pas à débourser quelques euros pour céder les photos de son album Facebook en échange d’une doublure synthétique crédible. Il s’agit d’ouvrir le débat afin que chacun puisse comprendre les enjeux qui se profilent dans un monde peuplé de médias synthétiques.

Notes :

Notes :
1 Motion capture : une technique de capture du mouvement des acteurs par détection de traceurs dans un environnement virtuel en trois dimensions (Le virtual set) — CGI: Computer Generated Images ou effets spéciaux
2 Metahuman, un nouveau visage artificiel par UnReal, journalism. design, 4 mars 2021
3 China’s Xinhua agency unveils AI news presenter, BBC, 8 novembre 2018
4 Reuters and Synthesia unveil AI prototype for automated video reports, Reuters, 7 février 2020
5 South Korean News Channel Introduces An AI-Powered News Anchor, ubergizmo.com, 16 novembre 2020
6 Weta Digital a réalisé les effets spéciaux du Seigneur des Anneaux de Peter Jackson | Body of Work : Weta Digital on the art of face replacement, Before and After, 26 juin 2020.
7 Chris Umé : le deepfake @deeptomcruise est fait pour alerter le public, journalism. design, 5 mars 2021
8 le site du Disney Research Studio
9 Un film que je vous recommande chaudement, The Congress, 2013, Ari Folman
10 VFX Artists React to Resurrected Actors Bad and Great CGi [Coridor Crew] | Snoop Dogg Had us Bring 2pac Back to Life! [Coridor Crew]
11 De-Aging Robert Deniro in The Irishman [Sham00k] | David Hasselhof deepfake de-aging turning back the time [Chris Umé] | De-Aging With Deepfakes (Machine Learning) [DeepCaked]
12 This AI Makes “Audio Deepfakes” [Two Minutes Paper] | RealTalk : We Recreated Joe Rogan’s Voice Using Artificial Intelligence [Dessa]
13 Flawless Ai demo [Flawless] | Google’s LipSync3D Offers Improved “Deepfaked” Mouth Movement Synchronization, Unite.AI, 9 juin 2021
14 [INÉDIT] Un « deepfake » dans Plus belle la vie !, France Télévision, 2020
15 Starwars se raconte en deepfakes, journalism. design, 2020
16 Museum creates deepfake Salvador Dalí to greet visitors, Dali Museum
17 données numériques qui composent le scan 3D de la personne | How synthetic data could save AI, Venturebeat, 20 mars 2021
18 [AI Voice] Kylo Explains… Return Of The Jedi, Speaking of AI, 2021
19 This AI Clones Your Voice After Listening for 5 Seconds, Two Minutes Papers
20 Generator for Celebrities and Influencers, Voicebot.ai
Author avatar
Gerald Holubowicz
http://geraldholubowi.cz
Ancien photojournaliste et web-documentariste passé chef de produit spécialisé en innovation éditoriale, j'étudie l'impact des médias synthétiques (deepfakes) sur la fabrique d'une culture visuelle numérique. Après 10 ans d'interventions régulières auprès de différentes écoles de journalisme (EMI, CFJ/CFPJ, INA, Sciences Po Grenoble), j'interviens désormais à l'École de Journalisme et au Centre des Médias de Sciences Po Paris.