Scroll to top

Deepfakes ou hypertrucages, un enjeu de sécurité

Tout d’abord le contact s’établit. Un simple message sur Twitter suffit. L’interlocutrice, une jeune femme d’un peu moins d’une trentaine d’années se présente comme journaliste pour l’agence Bloomberg. Il n’en est pourtant rien.


Son nom — Maisy Kinsley — ne vous dit certainement rien. Tout comme celui de Katie Jones qui a également eu son heure de gloire 1Experts : Spy used AI-generated face to connect with targets” par Raphaël Satter, Associated Press, 13 juin 2019 | Le papier retrace le parcours de Katie Jones, un profil créé de toutes pièces pour tromper des cibles proches du gouvernement américain sur Linkedin.. Il restera connu seulement d’un petit nombre d’experts en cybersécurité et de quelques journalistes spécialisés dans les questions de sécurité. Ses collègues de l’agence Bloomberg n’ont d’ailleurs jamais entendu parler d’elle. Pourtant, son profil Linkedin, qu’on peut encore retrouver dans les archives du web, indique bien qu’elle y a travaillé après ses études à Stanford et un passage chez Boing Boing. Maisy semble être insaisissable, fugace figure du web à jamais « cancelled » par les plateformes. Son crime ? N’avoir jamais existé.

Ce mois de mars 2019, Sean O’Kane, journaliste à The Verge sent bien que derrière l’intrigante journaliste qui vient de le suivre sur twitter se cache quelque chose de nouveau. Il va donc tenter de vérifier qui se dissimule réellement derrière cette consœur. Il en rapporte l’expérience dans un thread Twitter où il dévoile ses découvertes 2Twitter thread par Sean O’Kane, senior reporter at The Verge, 27 mars 2019. C’est l’analyse de la photo de profil de Kinsley qui va lever le voile sur sa véritable nature. Celle-ci révèle un certain nombre de petits artefacts caractéristiques des images générées sur ThisPersonDoesNotExist.com à l’aide de réseaux neuronaux artificiels. 3Thispersondoesnotexist.com par Philip Wang, décembre 2019 | une plateforme propulsée par un generative adversarial networkStyleGAN2Karras et al. et Nvidia. Pour en savoir plus [1] [2] [3]

Le site a été réalisé par un ingénieur de chez Uber nommé Philip Wang et s’inspire des travaux réalisés par la compagnie NVIDIA (celle qui réalise les cartes graphiques dans vos ordinateurs). Sa mécanique profonde repose sur un réseau de neurones artificiels (un G.A.N pour Réseaux antagonistes génératifs) inventé par Ian Goodfellow, chercheur américain spécialisé dans l’intelligence artificielle, et vise à générer une image artificielle hyperréaliste. Une mission remplie à la quasi-perfection puisqu’un rapide coup d’œil à la photo de Maisy Kinsley ne permet pas à l’œil de distinguer la supercherie.

Le profil twitter de Maisy Kinsley

‣ Le profil Twitter de Maisy Kinsley

Deepfakes : facile à créer, difficile à détecter

Les images générées par Thispersondoesnotexist.com appartiennent à la famille des médias synthétiques, plus connus sous le nom de deepfakes ou hypertrucages (en français). Pistes sonores, images fixes ou animées, manipulées à l’aide d’un réseau de neurones artificiels, les deepfakes pointent le bout de leur nez fin 2017 sur Reddit et quelques serveurs Discord. Rapidement, une poignée de fans de nouvelles technologies, de développeurs et de techniciens s’emparent du phénomène pour créer toutes sortes de contenus. Les plus hilarants mettent par exemple en scène Nicolas Cage dans des films où il n’apparait pas. Les plus minables apposent les visages de célébrités hollywoodiennes sur le corps d’actrices porno. Certains sont aussi générés par quelques activistes qui tentent de prévenir le public du danger potentiel de cette nouvelle technologie, désormais accessible à tous. Reste une frange d’utilisateurs avertis qui se saisissent de l’outil à des fins nettement plus grises voire illégales.

C’est ce dernier point que nombre d’institutions et de professionnels de la cybersécurité prennent très au sérieux. Les deepfakes gagnent en complexité, les modèles de machine learning (apprentissage des algorithmes) utilisés pour générer les images, les vidéos ou les sons deviennent de plus en plus fins et parviennent à reproduire les nuances qu’un an auparavant ils n’atteignaient pas. La rapidité de réalisation et le coût de fabrication ont considérablement baissé à mesure que les interfaces logiciels disponibles se sont démocratisées 4I created my own deepfake—it took two weeks and cost $552” par Thimothy B. Lee, Ars Technica, 16 décembre 2019 5Analyzing the Commoditization of Deepfakes“, par Robert Volkert and Henry Ajder, N.Y.U. Journal of Legislation & Public Policy, 27 février 2020. La distribution sur internet de logiciels de création de plus en plus « user-friendly », la multiplication des bases de données d’images et l’augmentation de services payants permettant de réaliser les deepfakes contribuent leur développement et augmente leur dangerosité 6 Forged authenticity: governing deepfake risks” par Aengus Collins, Deputy Director EPFL International Risk Governance Center, mars 2020. Leur détection quant à elle devient de plus en plus difficile 7Scientists figured out how to fool state-of-the-art Deepfake detectors” par Tristan Greene, The Next Web, 6 mars 2020 et engage chercheurs et créateurs dans une course à l’armement infinie.

Les types de menaces

Si pour le moment l’essentiel des 14 678 deepfakes recensés par le laboratoire danois Deeptrace dans un rapport publié en octobre 2019 comporte 96 % de deep-porns (des vidéos pornos manipulées), on doit s’attendre à une augmentation significative des usages frauduleux dans l’économie réelle, la finance et la politique dans un avenir très proche. On parle ici de vols d’identité, de fraudes à l’assurance, d’extorsions, de harcèlement, de manipulation des marchés, de violation de la sécurité nationale, d’espionnage et de manipulation de suffrages, mais aussi à niveau plus individuel de destruction de réputation, de chantage, de marginalisation des minorités, de persécutions ou de vols.

Concrètement se sont les dispositifs de reconnaissance faciale qui peuvent être ciblés, les communications à l’aide de messageries privées (whatsapp, messenger, telegram, zoom, slack, skype, hangout ou discord), les systèmes de vidéos de surveillance, les preuves photo, vidéos ou audio produites à l’occasion de procès, les informations destinées au grand public. C’est en tous cas ce que prédisent différents rapports comme Les manipulations de l’information 8Les manipulations de l’information », un rapport du Centre d’analyse, de prévision et de stratégie (CAPS, ministère de l’Europe et des Affaires étrangères) et de l’Institut de recherche stratégique de l’École militaire (IRSEM, ministère des Armées) par Jean-Baptiste Jeangène Vilmer, Alexandre Escorcia, Marine Guillaume, Janaina Herrera, août 2018, le Fix Fake Report de l’alliance Deeptrust 9 Deepfake,Cheapfake: the internet’s next eathquake?” par Kathryn Harrison, Executive Director, DeepTrust Alliance, with contributions from David Toomey, Sara Aros, Aviv Ovayda and Jane Lyons, 2020, Crisis in Democracy 10Knight Commission on Trust, Media and Democracy, “Crisis in Democracy: Renewing Trust in America”, Washington, D.C.: The Aspen Institute, Février 2019de la Knight Foundation, le Digital Threat to Democracy 11Digital Threats to Democracy“, the New Zealand Law Foundation’s Information Law & Policy Project, Marianne Elliott (The Workshop) and included Dr Jess Berentson-Shaw (The Workshop), Dr Kathleen Kuehn (Victoria University of Wellington), Dr Leon Salter (Massey University) et Ella Brownlie (The Workshop), mai 2019.de la New Zealand Law Foundation ou The Role of Deepfakes in Malign Influence Campaigns du NATO Strategic Communications Centre of Excellence12The Role of Deepfakes in Malign Influence Campaigns“, par Keir Giles, Kim Hartmann, and Munira Mustaffa, NATO Strategic Communications Centre of Excellence, 11 aout 2019. L’ensemble de ces études souligne le rôle potentiellement dangereux des deepfakes dans une stratégie de manipulation, de propagande ou de fraude, qu’elle provienne d’un état, d’une organisation privée, criminelle ou non ou d’un de ses membres.

Un scénario de confinement dans lequel nous nous trouvons du fait de la crise du coronavirus réuni par exemple tous les critères pour le déploiement de telles stratégies frauduleuses : interactions humaines réduites, voire nulles, communications quasi exclusivement numériques, découverte du cadre de communication et des outils par des cibles non expérimentées, outils de détection non opérationnels et/ou peu répandus, inconscience de la menace

Quelles sont les réactions jusque là ?

Un scénario improbable ? Pas certain pour le moment, tout du moins à grande échelle. Si le coût de production de ces contenus manipulés a considérablement baissé (intervention humaine et temps investi minimaux, coût des équipements abordable pour un particulier), reste qu’il faut encore disposer de bonnes connaissances en informatique et d’un matériel adéquat pour réaliser son premier deepfake. La motivation nécessaire pour réaliser un deepfake frauduleux reste également une barrière importante.

On comprend facilement que le sexe comme l’argent soit de puissants moteurs, d’autant plus que la récompense excède largement l’investissement consenti, mais d’autres objectifs plus importants du type déstabilisation d’élections semble trop importants au regard des risques encourus et de l’effort à fournir pour réaliser et diffuser le deepfake tout en couvrant toutes les traces laissées sur les réseaux.

Par ailleurs certains moyens de détection sont d’ores et déjà à l’étude ou certains testés. La difficulté d’évaluation de la menace d’un deepfake repose sur l’évaluation précise du contexte de propagation et de consultation du contenu manipulé 13Beyond News Contents : The Role of Social Context for Fake News Detection” par Shu et al, mars 2019 ainsi que le niveau de méfiance à l’égard des organes de presse traditionnels dans la population cible concernée 14Fake news. A continuation or rejection of the traditional news paradigm?” par Marek Palczewski, 2017. Pour faire simple, une courte vidéo relayée par un ami sur Whatsapp ou un faux message d’un collaborateur aura plus de chance de tromper son destinataire qu’une vidéo vue sur Twitter ou YouTube. La confiance que le destinataire porte à son ami·e servira d’accréditation au contenu manipulé quand au contraire, les algorithmes des plateformes ne bénéficient pas de ce surplus de crédibilité.

D’ores et déjà les plateformes s’organisent. Facebook, Reddit ou Twitter tentent de développer une réponse, mais les challenges sont nombreux. La modération des contenus reste difficilement automatisable du fait de la nature ambigüe des deepfakes. Comment distinguer en effet une création destinée à amuser et un contenu de propagande manifeste ? L’intention sur laquelle repose la classification des deepfakes en contenu malveillant ou inoffensif ne peut être captée par un algorithme, aussi bien entrainé soit-il. La qualité de réception du contenu ne peut pas non plus être contrôlée par les plateformes 15House Intelligence Committee Hearing on « Deepfake » Videos“, CSPAN, 13 juin 2019 | Sur la légitimité des médias synthétiques et suivre l’intervention de Danielle Citron sur la modération des contenus hors contenus satiriques. Nombre de parodies ont été prises pour argent comptant par certains politiciens alors qu’elles étaient clairement identifiées comme contenus humoristiques 16Boutin piégée par “Le Gorafi” sur BFMTV », le 2 février 2014 et ne croyez pas qu’il s’agit d’une exception, nous sommes tous sujets à ce type de méprise 17Maybe you know that article is satire, but a lot of people can’t tell the difference” par R. Kelly Garrett, Robert Bond, et Shannon Poulsen, The NiemanLab, 19 août 2019.

Certains états aux États-Unis comme la Californie 18AB-1280 Crimes: deceptive recordings” 21 février 2019, le Texas 19Relating to the creation of a criminal offense for fabricating a deceptive video with intent to influence the outcome of an election” par Hughes, 8 avril 2019, la Virginie, se sont dotés d’un dispositif législatif anti deepfakes, mais ils concernent principalement les contenus pornographiques ou politiques diffusés en période électorale, mais n’ont ni juridiction en dehors de leurs frontières ni hors des États-Unis. Les autres législations anti fake news dans le monde ne disposent pas de volet spécifiquement dédié aux deepfakes.

Exemples récents de manipulation

Le 7 février dernier, deux vidéos du President Manoj Tiwari du Bharatiya Janata Party (BJP) indien font surface la veille de l’élection de l’Assemblée législative de Delhi 20We’ve Just Seen the First Use of Deepfakes in an Indian Election Campaign » par Nilesh Christopher, Vice, 18 février 2020. Dans la première, Tiwari s’exprime en Haryanvi, un dialecte hindi. Dans la seconde, il emploie un anglais parfaitement correct. Les deux vidéos visent à dissuader les électeurs immigrés parlant le Haryanvi, vivant à Delhi de voter pour le parti adverse. Seul problème, les deux vidéos ont été manipulées et sont en réalité des deepfakes que l’agence de communication en charge du projet pour le BJP qualifie de « positifs ». 21Les trois vidéos du BJP sont disponibles ici, version hindie, version anglaise et version Haryanvi.

La version en anglais (manipulée) :

En visionnant ces vidéos, on comprend vite l’enjeu sur le cours de la vie démocratique si d’autres partis politiques s’adonnent à ce type d’exercice. La réaction positive du public ciblé par le BJP ne peut en aucun cas masquer le déficit éthique derrière cet usage « positif » d’un deepfake en contexte électoral.

Autre exemple illustrant les problématiques de sécurité posées — cette fois-ci — aux entreprises. En septembre 2019, une entreprise britannique officiant dans le secteur de l’énergie a été victime de ce type de deepfake et a versé 200 000 £ à des malfaiteurs se présentant comme un des exécutifs de la compagnie 22Thieves are now using AI deepfakes to trick companies into sending them money” par Nick Statt, The Verge, 5 septembre 2019. La compagnie de sécurité en ligne Symantec affirme pour sa part que d’autres cas de détournements de fonds impliquant l’usage de deepfakes audio ont été répertoriés, l’un d’entre eux impliquant une perte de plusieurs millions de dollars.

Propositions de solutions

Les contre-mesures possibles sont à la fois technologiques et sociologiques.

    1. Au rang des solutions purement technologiques, difficile de considérer la détection comme un moyen d’action efficace si elle est isolée, sans stratégie pour l’accompagner. Les « efforts » que pourraient consentir les plateformes du type Facebook, YouTube ou Twitter me semblent vains. La modération en temps réel via l’analyse des vidéos nécessite une puissance de calcul colossale, repose sur une course à l’armement inutile et épuisante et surtout révèle les limites d’un algorithme qui ne sera jamais (pas de notre vivant) capable de discerner l’intention d’un créateur sur la simple base d’une analyse technique. Il faut donc chercher à mettre en place des systèmes de sécurisation et/ou de vérification de l’intégrité des fichiers produits par les différents appareils d’enregistrement, de traitement et de diffusion de contenus vidéos ou audio sur le web. On pourrait penser qu’un système « à la blockchain » soit une solution intéressante pour crypter les données tout en assurant leur traçabilité, mais la technologie est encore limitée et particulièrement énergivore ce qui — avec les effets d’échelle — peut rendre leur application immensément complexe 23How blockchain helps fight fake news and filter bubbles“par Ben Dickson, The Next Web, 24 aout 2017 | D’autres compagnies comme Terciv (NJ, USA) ou Userfeeds ont fermé leurs portes après avoir tenté de créer des modèles de blockchain anti-fake news.
    2. Tous les deepfakes ne sont pas à jeter à bannir, comme nous l’avons vu de nombreuses créations récréatives sont parfaitement légitimes et peuvent grandement dynamiser l’industrie du divertissement (jeux vidéos et cinéma). Les deepfakes créatifs et les deepfakes malintentionnés partagent une même caractéristique : les jeux de données. C’est-à-dire la collection d’images qui permet au réseau de neurones artificiels de créer les médias synthétiques. Il est à mon avis aujourd’hui indispensable de constituer des bases d’images protégées, de qualité, vérifiées, pour les créateurs et de prévenir tout usage d’autres banques d’images 24Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics » par Li et al, 16 mars 2020.
    3. Qu’ils soient publics ou privés, les chercheurs et laboratoires travaillant sur ces algorithmes devraient être en mesure de fournir des méthodes de détection de leurs propres algorithmes comme une sorte de sérum permettant de détecter facilement les contrefaçons, les usages frauduleux et malintentionnés. Typiquement tensorflow, l’algorithme de Google à la base de Faceapp, disponible en open source, pose la question du contrôle des algorithmes et de l’évaluation du risque de leur mise à disposition et des licences adaptées.
    4. Il est également nécessaire d’agir sur l’aspect humain. L’éducation aux médias synthétiques, l’apprentissage élémentaire des techniques de détection de contenus malveillants et/ou de vérification de sources à destination des jeunes publics dans les lycées et les universités en lien avec le domaine d’étude peut-être renforcé. Celle des publics sensibles dans les entreprises et les organismes publics (managers, comptables, directions stratégiques, etc.) peut-être également accompagnés régulièrement pour éviter les fraudes, les manipulations et sensibiliser aux risques professionnels.
    5. Offrir des outils de décryptage des médias synthétiques à un public plus large que les seuls journalistes dont l’activité ne peut plus se concentrer sur ce travail de vérification minutieux. La vague des fake news nécessite qu’on apprenne aux publics des différents types de presses à détecter les contenus malveillants, peut-être sur la base d’une collaboration en pair-à-pair sur le modèle de Wikipédia. Aucun effectif de journaliste ne parviendra jamais à vérifier toutes les infox produites et autres entreprises de désinformation systématiques. En revanche leurs compétences peuvent servir l’intérêt général à travers des programmes d’éducation populaire à la lecture des médias (en ligne ou pas). En gros, il ne s’agit plus de fournir le news, les vérifications, mais d’apprendre le public à pécher l’information la plus fiable et vérifiée possible auprès des sources disponibles dans le monde qui les entoure.

Conclusion

Il me semble clair que nous n’allons pas voir de deepfakes provoquer la panique au cours des prochaines élections américaines, l’opportunité n’y est pas, le coût de production vs les bénéfices est assez difficile à évaluer et surtout les réprimandes seraient terribles pour l’auteur s’il était retrouvé. En revanche, cela n’exclut pas l’utilisation de deepfakes pour toutes autres manipulations ou fraudes. L’outil étant à disposition, il serait étonnant que personne ne s’en saisisse pour tenter quelque chose de mal intentionné. Il s’agit donc pour les entreprises et les organismes publics de se sensibiliser aux techniques de manipulation, de renforcer leur sécurité et d’éduquer leurs cadres. Si on ne connait pas l’identité du client de Symantec ayant perdu plusieurs millions de dollars sur un coup de fil, on peut imaginer que c’est la honte qui les a dissuadés de rendre publique leur « petite » mésaventure. Pourtant, il n’y a pas à avoir honte de s’être fait entourlouper. Voir c’est encore croire, il faut apprendre à questionner nos sens.

Références:   [ + ]

1.Experts : Spy used AI-generated face to connect with targets” par Raphaël Satter, Associated Press, 13 juin 2019 | Le papier retrace le parcours de Katie Jones, un profil créé de toutes pièces pour tromper des cibles proches du gouvernement américain sur Linkedin.
2.Twitter thread par Sean O’Kane, senior reporter at The Verge, 27 mars 2019
3.Thispersondoesnotexist.com par Philip Wang, décembre 2019 | une plateforme propulsée par un generative adversarial networkStyleGAN2Karras et al. et Nvidia. Pour en savoir plus [1] [2] [3]
4.I created my own deepfake—it took two weeks and cost $552” par Thimothy B. Lee, Ars Technica, 16 décembre 2019
5.Analyzing the Commoditization of Deepfakes“, par Robert Volkert and Henry Ajder, N.Y.U. Journal of Legislation & Public Policy, 27 février 2020
6. Forged authenticity: governing deepfake risks” par Aengus Collins, Deputy Director EPFL International Risk Governance Center, mars 2020
7.Scientists figured out how to fool state-of-the-art Deepfake detectors” par Tristan Greene, The Next Web, 6 mars 2020
8.Les manipulations de l’information », un rapport du Centre d’analyse, de prévision et de stratégie (CAPS, ministère de l’Europe et des Affaires étrangères) et de l’Institut de recherche stratégique de l’École militaire (IRSEM, ministère des Armées) par Jean-Baptiste Jeangène Vilmer, Alexandre Escorcia, Marine Guillaume, Janaina Herrera, août 2018
9. Deepfake,Cheapfake: the internet’s next eathquake?” par Kathryn Harrison, Executive Director, DeepTrust Alliance, with contributions from David Toomey, Sara Aros, Aviv Ovayda and Jane Lyons, 2020
10.Knight Commission on Trust, Media and Democracy, “Crisis in Democracy: Renewing Trust in America”, Washington, D.C.: The Aspen Institute, Février 2019
11.Digital Threats to Democracy“, the New Zealand Law Foundation’s Information Law & Policy Project, Marianne Elliott (The Workshop) and included Dr Jess Berentson-Shaw (The Workshop), Dr Kathleen Kuehn (Victoria University of Wellington), Dr Leon Salter (Massey University) et Ella Brownlie (The Workshop), mai 2019.
12.The Role of Deepfakes in Malign Influence Campaigns“, par Keir Giles, Kim Hartmann, and Munira Mustaffa, NATO Strategic Communications Centre of Excellence, 11 aout 2019
13.Beyond News Contents : The Role of Social Context for Fake News Detection” par Shu et al, mars 2019
14.Fake news. A continuation or rejection of the traditional news paradigm?” par Marek Palczewski, 2017
15.House Intelligence Committee Hearing on « Deepfake » Videos“, CSPAN, 13 juin 2019 | Sur la légitimité des médias synthétiques et suivre l’intervention de Danielle Citron sur la modération des contenus hors contenus satiriques
16.Boutin piégée par “Le Gorafi” sur BFMTV », le 2 février 2014
17.Maybe you know that article is satire, but a lot of people can’t tell the difference” par R. Kelly Garrett, Robert Bond, et Shannon Poulsen, The NiemanLab, 19 août 2019
18.AB-1280 Crimes: deceptive recordings” 21 février 2019
19.Relating to the creation of a criminal offense for fabricating a deceptive video with intent to influence the outcome of an election” par Hughes, 8 avril 2019
20.We’ve Just Seen the First Use of Deepfakes in an Indian Election Campaign » par Nilesh Christopher, Vice, 18 février 2020
21.Les trois vidéos du BJP sont disponibles ici, version hindie, version anglaise et version Haryanvi.
22.Thieves are now using AI deepfakes to trick companies into sending them money” par Nick Statt, The Verge, 5 septembre 2019
23.How blockchain helps fight fake news and filter bubbles“par Ben Dickson, The Next Web, 24 aout 2017 | D’autres compagnies comme Terciv (NJ, USA) ou Userfeeds ont fermé leurs portes après avoir tenté de créer des modèles de blockchain anti-fake news
24.Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics » par Li et al, 16 mars 2020
Author avatar
Gerald Holubowicz
http://geraldholubowi.cz
Photo-journaliste pendant plus de 10 ans passé coté produit et innovation éditoriale. J'enseigne à l'EDJ Sciences Po Paris.