💌 Bienvenue sur SYNTH, la newsletter d’info critique des médias synthétiques. Voilà un petit aperçu de ce que vous pouvez trouver une fois par mois sur SYNTH. Si le contenu vous intéresse, n’hésitez pas à vous abonner sur synth-media.fr.
MOT D’INTRO
MOT D’INTROAvec le printemps et le retour des beaux jours, laissez-moi vous présenter Synth, la newsletter de journalism. design dédié aux réalités synthétiques. Je vous propose de garder un œil sur les réalités synthétiques, un nouvel horizon numérique qui va changer beaucoup de choses dans nos vies. Synth c’est aussi un moyen de recevoir en avant-première les articles sur les #deepfakes publiés sur journalism. design.
Je vous laisse pour le moment à la lecture de cette première mouture de Synth, qui tombe à point nommé après la première diffusion de la nouvelle émission de Thierry Ardisson sur France 3, L’Hôtel du Temps qui met en scène une Dalida aussi vraie que nature dont la voix notamment a été travaillée par les services de l’IRCAM* grâce au Voice Cloning, « un procédé technologique de reconstitution vocale capable de déterminer et “apprendre” les éléments qui permettent de reproduire automatiquement toutes les émotions et articulations dynamiques d’une voix existante ». En 2022, la voix semble donc être la nouvelle frontière à conquérir pour les créateurs de médias synthétiques et il faut s’attendre à beaucoup d’évolution dans le domaine.
Bonne lecture !
*Institut de Recherche et Coordination Acoustique/Musique
SYNTHETIC BAMBINA
La comédienne Julie Chevallier incarne Dalida dans l’émission de Thierry Ardisson, Hotel du Temps
Et voilà, le premier épisode de l’Hôtel du Temps de Thierry Ardisson a été diffusé sur France ce lundi. Un programme qui a déçu en termes d’audience puisqu’il s’est positionné en quatrième place des programmes les plus regardés avec seulement 1 397 000 téléspectateurs, soit 6,8 % du public, moins bien que le programme de Stéphane Bern diffusé la semaine précédente. Dalida ne fait plus recette.
On ne peut pourtant pas dire que la production avait lésiné avec les moyens. Le faceswap* de Dalida qui vient recouvrir le visage de l’actrice Julie Chevallier est en tous points remarquable et digne d’une très belle production. Le Face Engine de Mac Guff et son autre procédé appelé le Face Retriever (une sorte de trieur de sources vidéos si on en croit les diverses descriptions) ont fait des merveilles. La voix a fait également l’objet d’une attention particulière.
L’Institut de recherche et coordination acoustique/musique (IRCAM) situé près du centre Beaubourg à Paris a travaillé sur le Voice Cloning, un « procédé technologique de reconstitution vocale capable de déterminer et “apprendre” les éléments qui permettent de reproduire automatiquement toutes les émotions et articulations dynamiques d’une voix existante ».
Sur les réseaux, ce n’est pourtant pas cette prouesse qui a retenu l’attention. Les apparitions de Claude François et de Thierry Le Luron ont provoqué les moqueries des internautes qui n’ont pu manquer l’aspect amateur de l’animation. C’est probablement parce que celles-ci étaient réalisées à l’aide d’un procédé permettant d’utiliser une seule photo plutôt qu’un ensemble de vidéos sélectionnées avec attention. Plus simple et moins coûteux en temps et en budget, on le retrouve souvent dans les applications permettant de créer des deepfakes bon marché.
La controverse la plus importante portait bien évidemment sur l’utilisation de l’image des morts pour réaliser le programme. Pour les détails, je vous renvoie à mon intervention sur le sujet dans l’émission de Hugo Travers, @Mashup sur Twitch, mais sachez que la législation française n’interdit pas l’utilisation de l’image d’un mort, le droit à l’image disparaissant avec le décès et n’étant pas cessible aux héritiers, il ne peut pas être invoqué comme préjudice. Probablement un manque qu’il va falloir penser à combler d’autant que l’état de New York aux États-Unis y a déjà pensé.
* Un faceswap, littéralement un échange de visage, est une sorte de greffe numérique du visage d’une actrice ou d’un acteur sur un autre, permettant ainsi de créer une sorte de chimère.
L’HISTOIRE DU FAUX ZELENSKY
Le faux et le vrai Zelensky
Deux semaines après l’invasion de l’Ukraine par la Russie fin février, un deepfake du président ukrainien, Vlodomir Zelensky, est diffusé sur les réseaux sociaux pour annoncer la reddition de l’Ukraine. Une première dans l’histoire des médias synthétiques. Si la source de la vidéo est pour le moment inconnue et pour tout dire difficilement identifiable, elle apparait clairement provenir d’acteurs soutenant l’invasion russe. Le deepfake en lui-même n’est pas particulièrement bien réalisé. Le corps est statique, le cou trop grand comparé à celui du vrai Zelensky et le visage toujours face caméra trahie par sa rigidité les mécaniques de manipulations employées pour réaliser des hypertrucages bon marché.
Si un regard attentif permet de détecter la supercherie, il n’est pas impossible que sous les obus de l’artillerie russe, au fond d’une cave ou entre deux détonations, la vidéo puisse créer une certaine confusion. Dans ce cas précis, le gouvernement avait prévenu à travers différentes campagnes sur les réseaux sociaux de l’imminence d’attaques de cyberpropagande. Elles ont très vite réagi à la publication du deepfake, Zelensky lui-même a posté une vidéo pour démentir les propos tenus dans l’extrait ci-dessous. Les médias occidentaux ont quant à eux rapidement identifié la supercherie. Mais le génie vient d’être libéré. Les deepfakes prennent désormais place dans le panthéon des techniques de propagande en temps de guerre et nul doute qu’ils seront réutilisé, plus tard, dans les mêmes fins.
À LIRE SUR JOURNALISM.DESIGN:
La cyberguerre passe-t-elle par les deepfakes ?
DOUBLE FACE
NPR a publié en mars une remarquable enquête sur la prolifération des faux profils sur LinkedIn. Des faux profils qui ont tous en commun d’utiliser une photo de profil générée par un service du type Thispersondoesnotexist. La technique comporte plusieurs avantages, elle permet de réduire les coûts de représentation (un seul humain pour plusieurs profils), de contourner certaines limites de Linkedin (en créant ces faux profils, il est facile de casser la limite de messages possibles par utilisateurs). Autre point important, d’après une étude récente menée par Sophie J. Nightingale et Hany Farid, tous deux chercheurs à l’université du Texas à Austin, les visages synthétiques sont presque indiscernables des vrais visages et inspirent davantage confiance.
À LIRE L’ARTICLE DE NPR:
That smiling LinkedIn profile face might be a computer-generated fake
AUTRES SOURCES À CONSULTER:
- AI-synthesized faces are indistinguishable from real faces and more trustworthy, | https://doi.org/10.1073/pnas.2120481119
- Illusory faces are more likely to be perceived as male than female | https://doi.org/10.1073/pnas.2117413119
- The shallow of your smile: the ethics of expressive vocal deep-fakes | https://dx.doi.org/10.1098/rstb.2021.0083
LES MOTS POUR LE DIRE
Après l’image, c’est au tour de la voix de faire l’objet de toutes les spéculations et notamment celle des investisseurs. En 2021, Synthesia avait marqué l’actu du secteur en levant près de 60 millions de dollars auprès de Mark Cuban notamment. Cette année, c’est au tour des startups travaillant sur la génération vocale comme Cohere ou AI21 d’être au cœur de toutes les attentions. Forbes examine cet écosystème naissant qui manipule GPT3 et autres algorithmes pour créer les voix synthétiques qui nous guideront demain. En France, l’IRCAM en pointe sur le sujet, accompagne des productions comme la dernière émission de Thierry Ardisson, l’Hôtel du Temps en produisant par exemple la voix de Dalida à partir d’archives de la chanteuse.
À LIRE L’ARTICLE DE FORBES:
A Wave Of Billion-Dollar Language AI Startups Is Coming
UNE PLUME DURE À AVALER
Une campagne DOVE anti photoshop
Dove 🕊 vient de sortir une nouvelle pub où les deepfakes mettent en relief les discours toxiques de certaines influenceuses, discours auxquels sont souvent exposées les jeunes femmes et les adolescentes. Dove a publié les résultats de sa recherche interne sur l’estime de soi et les résultats sont assez parlant. Ils ont révélé que deux filles américaines sur trois passent plus d’une heure par jour sur les médias sociaux.
Dans ces résultats, la moitié d’entre elles affirment que le contenu de beauté idéalisé sur les médias sociaux est à l’origine d’une faible estime de soi. Le clip vise donc à confronter mère et fille, présente sur un même plateau, au discours toxique de certaines influenceuses, dont une un peu particulière. Dove avait déjà réalisé un clip dénonçant les manipulations numériques en 2013 (voir ici).
À LIRE L’ARTICLE DE FAST COMPANY:
Dove deepfakes moms to illustrate the impact of toxic influencers on teens
AUTRES SOURCES À CONSULTER:
- Windows of developmental sensitivity to social media | https://doi.org/10.1038/s41467-022-29296-3
EUROPOL CRAINT LES DEEPFAKES
Le laboratoire d’innovation d’Europol a récemment publié son premier rapport « Facing Reality? Law enforcement and the challenge of deepfakes ». Le document met en lumière les possibles utilisations criminelles des médias synthétiques et les des défis de prévention, de détection et de lutte contre les deepfakes malveillants. Le rapport appuie sa démonstration d’exemples comme la fraude au PDG, la falsification de preuves et la production de pornographie non consensuelle et d’autres qui font tous appel à des modifications de la voix ou de l’apparence.
Pour le moment, les dispositifs automatiques de détection existent, mais sont souvent pris en défaut. Une nouvelle technique basée sur la détection des expressions semble être en bonne position pour détecter de façon fiable les deepfakes, mais on est encore loin d’une solution grand public.
À LIRE LE RAPPORT D’EUROPOL:
Europol report finds deepfake technology could become staple tool for organised crime
AUTRES SOURCES À CONSULTER:
- Detection and Localization of Facial Expression Manipulations | https://openaccess.thecvf.com/content/WACV2022/papers/Mazaheri_Detection_and_Localization_of_Facial_Expression_Manipulations_WACV_2022_paper.pdf
- Researchers develop AI that can detect deepfake videos with high accuracy
https://www.news9live.com/science/researchers-develop-ai-that-can-detect-deepfake-videos-with-high-accuracy-168247
