Retour

SYNTH n°5 | Septembre 2022

💌 Bienvenue sur SYNTH, la newsletter d’info critique des médias synthétiques. Voilà un petit aperçu de ce que vous pouvez trouver une fois par mois sur SYNTH. Si le contenu vous intéresse, n’hésitez pas à vous abonner sur synth-media.fr.

SUBSTITUT

Bonne rentrée à toutes et tous. L’été étire encore sa chaleur en ce début de mois de septembre, mais pourtant, c’est le moment de retrouver ces petits instants de bonheur numérique, j’ai nommé les réunions à distance, les conférences zooms. Nos bobines pixelisées vont venir s’afficher aux côtés de celles de nos collègues de travail dans des décors rappelant au choix les vacances passées ou affichant un sérieux très corporate.

Cette année, une question taraude un certain nombre de patrons. Les candidats qu’ils interviewent pour les embauches potentielles sont-ils les vrais ? Ne sont-ils pas remplacés par des avatars numériques, des remplaçants de circonstance ou des délégués numériques ? Les substituts synthétiques ont soulevé un certain nombre de commentaires dans la presse cet été qui a rapporté déjà quelques cas de fraude à l’embauche où des visages synthétiques auraient masqué la véritable identité des candidats. Espionnage, hacking, les hypothèses semblent aller bon train, on se demande tout de même pourquoi employer des méthodes aussi sophistiquées pour une fraude relativement classique.

Reste que les substituts synthétiques semblent promis à un bel avenir. Synthesia qui fabrique ces marionnettes numériques à votre effigie peut — par exemple — vous permettre de mener une présentation depuis le fond de votre lit ou la plage de votre lieu de vacances. D’autres vous permettent de parler à vos morts ou encore de suivre des cours de cuisine, ou d’interagir avec sa star de ciné préférée.

Dans ce numéro de septembre, c’est donc le substitut qui est à l’honneur. Le contenu synthétique qui remplace l’art, les morts, les stars de ciné, les gros mots et bien d’autres choses encore.


MIDJOURNEY GAGNE UN CONCOURS ARTISTIQUE

"Théâtre D'opéra Spatial" c'est le nom de cette oeuvre réalisée à l'aide de Midjourney par Jason Allen.

“Théâtre D’opéra Spatial” c’est le nom de cette oeuvre réalisée à l’aide de Midjourney par Jason Allen.

Les générateurs d’images synthétiques font un carton depuis quelque temps maintenant. Pas un jour ne passe sans qu’on entende parler de Midjourney, Dall.E ou Discofusion et qu’on ne s’étonne à la vue de leurs créations. Fin août, un jeune américain nommé Jason Allen a gagné un concours de création artistique à l’aide d’une de ces images synthétiques réalisées à l’aide de Midjourney.

L’outil proposé par un labo indépendant fondé par un ancien de Leapmotion n’est disponible qu’en beta pour le moment*. Il permet de réaliser des images simplement en écrivant une description de ce qu’on souhaite réaliser. Par exemple « une scène d’opéra dans un environnement spatial ». Le résultat, bluffant, reprend les codes picturaux de certains artistes bien connus. Après avoir modifié la résolution de l’image pour l’imprimer sur un canevas spécial, Jason Allen a soumis l’image qui s’est retrouvée placée en tête du concours.

Évidemment, gros coup de stress chez les artistes à l’annonce de cette modeste victoire. Beaucoup sur twitter et ailleurs ont protesté et dénoncé le résultat. Jason Allen se défend en avançant que peut importe la méthode employée — qu’elle soit traditionnelle ou purement algorithmique — c’est le résultat qui est évalué par le jury. L’intelligence artificielle (IA) de Midjourney serait donc pour lui un simple pinceau. Et en effet, la catégorie des arts digitaux dans laquelle l’image s’est placée en tête nécessite forcément l’usage d’outils comme Photoshop qui est, lui aussi, assisté par d’autres formes d’IA.

La maitrise de l’artiste résiderait donc dans sa faculté à écrire le prompt* parfait. Un texte parfaitement aride pour le poète, mais rempli de sens pour la machine. Doit-on célébrer cette aptitude comme on célèbre la maitrise du pinceau ? Le choix des mots et des références peut-il être comparé au choix d’une palette et des artistes auxquels ont se réfère ? Un créateur peut-il avoir un style de prompt capable de générer des images précises et uniques ? Si l’agilité des créateurs à écrire ces prompts est admise comme un équivalent du savoir-faire de l’artiste, qu’en est-il de leur liberté créative ? Après tout, la peintre n’a besoin que de pigments pour tracer les lignes qu’elle souhaite réaliser. Le créateur d’images synthétiques fait reposer son art tout entier sur des bases de données, des algorithmes et l’ouverture des outils que d’autres possèdent et contrôlent. Promet-on donc à toute une génération de créateurs d’être ainsi mis sous tutelle des techniciens du code  et des entreprises qui les emploient ? D’ores et déjà, certains ont flairé la bonne affaire et ont créé un marché du prompt, pour celles et ceux qui auraient la flemme de s’y coller. Pour les plus curieux/courageux d’entre vous, vous trouverez ci-dessous une petite méthode (en anglais) bien faite qui vous permettra de faire vos premiers pas. Je vous invite également à découvrir la vidéo de l’excellent Mathieu Stern, photographe français basé à Paris qui expérimente avec Dall.E et ARC.

✍︎
1. Il faut s’inscrire avant de recevoir une invitation à tester l’algorithme de création qui utilise Discord comme interface de commande.
2. Un prompt est un texte interprétable par l’intelligence artificielle qui va baser sa création sur des éléments décrits de non-littéraire. Exemple : Reunion of man, team, squad, cyberpunk, abstract, full hd render + 3d octane render +4k UHD + immense detail + dramatic lighting + well lit + black, purple, blue, pink, cerulean, teal, metallic colours, + fine details + octane render + 8 k donnera ceci.

« JE VOUS AVAIS BIEN DIT QUE J’ÉTAIS MALADE »

Le développeur sud-coréen d'humains virtuels DeepBrain AI a conclu un accord avec la société de services funéraires Preedlife en vue de produire des "services commémoratifs d'IA" centrés sur des versions virtuelles de la personne qui doit être enterrée.

Le développeur sud-coréen d’humains virtuels DeepBrain AI a conclu un accord avec la société de services funéraires Preedlife en vue de produire des “services commémoratifs d’IA” centrés sur des versions virtuelles de la personne qui doit être enterrée.

Les dernières paroles de nos chers défunts risquent de ne bientôt plus être prononcées avant leur mort, mais après. C’est, en tout cas, ce que suggère la proposition de DeepBrain AI, une société sud-coréenne qui mise sur les services commémoratifs assistés par l’IA au cours desquels il sera possible d’échanger une dernière fois avec l’être aimé. Dans les contrats proposés, 30 minutes d’enregistrement vidéo sous la forme d’une interview de la personne encore en vie seront nécessaires pour réaliser son avatar posthume.

D’autres compagnies semblent être sur le même créneau de la vie après la mort et tout cela pose tout de même nombre de questions éthiques quant au deuil auquel nous sommes tous confrontés.

 

 

BIRDIE

Le golfeur américain Jack Nicklaus rejoint l'univers synthétique en expansion des avatars de célébrités

Le golfeur américain Jack Nicklaus rejoint l’univers synthétique en expansion des avatars de célébrités

Les célébrités sont éternelles (comme les diamants) et certaines entendent en faire une vérité inébranlable. La grande famille des famous people numérisés vient d’accueillir un nouvel arrivant en la personne de Jack Nicklaus, un golfeur de 82 ans à qui Soul Machine aura fait perdre quelques années au passage. La startup, spécialisée dans les humains synthétiques a d’ailleurs récemment levé 70 millions de dollars, c’est donc peu dire que la fabrication d’avatars numériques est tendance. Le nombre de célébrités numérisées ne cesse de grandir et on comprends ce que représente l’opportunité d’avoir Carrie Fisher, Audrey Hepburn, James Dean en catalogue pour de prochains films ou des publicités bien ciblées.

Soul Machine ne s’intéresse d’ailleurs pas qu’aux célébrités et a par ailleurs fourni une représentante synthétique au commissariat de Wellington en Nouvelle-Zélande, Ella, dont l’occupation principale sera d’accueillir les Néo-Zélandais et leur indiquer les procédures à suivre. Le marché, on s’en doute, est colossal puisqu’il permet littéralement de donner un visage humain à tous les bots ennuyeux et souvent inutiles qu’on rencontre sur des bornes à l’entrée de certaines administrations tout en économisant salaires et complaintes sur les conditions de travail.

FAKE DETECTOR

Le visage de Tom Cruise est visible quand la tête de l'interlocuteur est tournée à 80° mais disparait quand l'angle est de 90°.

Le visage de Tom Cruise est visible quand la tête de l’interlocuteur est tournée à 80° mais disparait quand l’angle est de 90°.

Depuis l’avènement des deepfakes et des images synthétiques comme celles générées par Thispersondoesnotexist, la recherche de moyens de détection bat son plein. Les efforts menés par Facebook avec son Deepfake detection challenge n’ont pas été concluants, les travaux du C2PA et du CAI consistent à authentifier des images pour améliorer leur traçabilité et donc améliorer l’éventuelle détection de manipulation*. Outre que les discussions s’organisent entre acteurs anglo – américains exclusivement (mettant de côté les acteurs européens et leurs vues sur le sujet de la traçabilité, hello RGPD) les systèmes sont complexes et nécessitent les efforts d’un consortium pour voir le jour.

Une contribution notable cet été a retenu mon attention. Un article publié sur le site de Metaphysics, la boite responsable de Deep Tom Cruise et dont les premiers pas à America’s got talent semblent donner un vent favorable à son fondateur Chris Ume nous explique à grands renforts techniques la petite astuce qui vous aidera à déceler un deepfake. Dans ces lignes ont y trouve donc une info intéressante : les modèles chargés de tracer les contours du visage afin d’y greffer numériquement un autre visage (faceswap) ne permettent pas les vues de profil. Le conseil qui en résulte est donc le suivant, sur zoom, pour éviter de parler avec un fraudeur qui utiliserait un filtre « deepfake », faites-lui tourner la tête.

Manque de chance, quelques scrolls plus tard, un papier de Microsoft intitulé « 3D Face Reconstruction with Dense Landmarks » détaille une nouvelle technique développée par les ingénieurs de Redmond permettant de réaliser des modélisations plus détaillées, plus fiables et moins consommatrices de capacité de calcul. Au lieu des 68 points de référence de la méthode précédente, la technique développée par Microsoft dispose de 320 points de références et permet une meilleure représentation des profils… Les deepfakes profiteront certainement de ces avancées très rapidement.

✍︎
1. Ces systèmes d’authentification regroupent de nombreux acteurs techniques de premier plan comme Adobe et Microsoft, mais soulèvent beaucoup de questions éthiques concernant les créateurs qui peuvent se retrouver menacés par des puissances privées ou publiques qui auraient retracé l’origine d’images compromettantes par exemple. 

FAKE DETECTOR, LA SUITE

La plus importante banque Russe Sber vient de déposer deux brevets concernant la détection de deepfakes. Le premier porte sur l’utilisation d’une IA pour repérer et analyser les microchangements de couleur d’un objet d’une image à l’autre. Les deepfakes ne parviennent pas à reproduire le flux alternatif de sang qui irrigue le visage à chaque battement de cœur et donc toute variation — même infime — de couleur peut ouvrir des opportunités pour la création d’outils de détection. L’autre s’occupe des « ensembles de modèles de réseaux neuronaux de la classe EfficientNet ».

Le secteur bancaire reste très préoccupé par les usurpations d’identité et notamment par tous les dispositifs permettant de contourner les systèmes de sécurité biométriques. VMWare, une compagnie de service numérique, rapporte notamment que les attaques impliquant une forme de média synthétique ont augmenté drastiquement ces derniers mois. VMWare cite le rapport du FBI évoqué dans le numéro de juillet et rapporte une augmentation de 13 % des attaques rapportées par les personnes interrogées.

 

🇨🇳 LA CHINE VEUT RÉGULER L’USAGE D’HUMAINS SYNTHÉTIQUES

La capitale chinoise a annoncé un plan de 4 ans visant à encadrer et favoriser le développement des humains synthétiques. Le plan intitulé « Plan d’action de Pékin pour la promotion de l’innovation et du développement de l’industrie humaine numérique » est une première dans le monde. Il régule les assistants synthétiques, les influenceurs virtuels, les avatars ou les représentations de pop-idols. Il prévoit également de lier les substituts synthétiques à l’identité réelle des individus afin d’éviter les fraudes et bien évidemment afin de garder la main sur le comportement des citoyens chinois.

🇺🇸 VOL DE PROPRIÉTÉ INTELLECTUELLE

La question se pose depuis un certain temps maintenant. Quel est le statut juridique des images et autres contenus vidéos compilés dans les bases de données qui entrainent les intelligences artificielles comme Dall.E ou Midjourney ? Le sujet agite le milieu de la photographie et des créateurs visuels qui voient leur travail « aspiré » dans ces bases de données sans aucune compensation ni mention. Le risque encouru par les entreprises comme OpenAI reste faible pour le moment puisque le juge est dépourvu de législation adéquate pour statuer, mais le besoin de légiférer se fait de plus en plus sentir.

🇺🇸 LE CAPITOLE ATTAQUÉ PAR LES DEEPFAKES

Le 6 janvier 2021, une foule dense et menaçante se précipitait dans les couloirs du Capitole, le parlement américain posé sur une colline à Washington. Quelques instants après, le message de Donald Trump, alors président, appelait au calme dans une vidéo que beaucoup de ses supporters ont qualifiée de deepfake. La théorie du complot était en marche.

Presque deux plus tard, Ryan J. Reilly reporter Justice à NBC News rapporte que l’avocat chargé de la défense de l’un des accusés de la tentative d’envahissement, ne reconnaitra pas la légitimité des vidéos fournies par le gouvernement comme pièces à conviction.  Le document  cité indique que « les outils permettant des manipulations indétectables comme les deepfakes d’Obama étant largement disponibles, il ne pouvait être exclu que les vidéos fournies comme preuve de l’implication de son client soient elles-mêmes manipulées. »

image d'actualité générée par intelligence artificielle par Geoffrey Dorne

Une image d’actualité générée par intelligence artificielle par Geoffrey Dorne

Si vous y avez échappé, c’est que vous êtes juste revenus de vacances. Geoffrey Dorne, graphiste designer engagé à fait ce que je rêvais de faire si j’avais eu accès à Midjourney plus tôt, c’est-à-dire utiliser les dépêches AFP comme prompt. Une idée géniale qui donne des résultats particulièrement bluffants et qu’on peut suivre sur les réseaux sociaux de Geoffrey ou en suivant #IAFP.

C’est brillant et au-delà cela pose la question de l’iconographie dans la presse et notamment de l’avenir des photojournalistes. On peut craindre en effet que certains services photos, contraints par les budgets de plus en plus resserrés ou peu scrupuleux, ne cèdent à la facilité et préfèrent payer un abonnement à Midjourney qu’à d’autres banques d’images. L’histoire nous montrera quelle direction prennent les évènements, mais il y a fort à parier que ces images à mesure qu’elles deviendront de plus en plus photo-réalistes (c’est leur objectif) deviendront une alternative économiquement viable pour illustrer les sujets les moins compliqués.

 L’ARTICLE COMPLET :
#IAFP, ou comment j’ai illustré la presse avec une IA

Gerald Holubowicz
https://geraldholubowi.cz
Ancien photojournaliste et web-documentariste primé, je travaille désormais comme chef de produit spécialisé en innovation éditoriale. J’ai notamment collaboré avec le journal Libération, les éditions Condé Nast, le pure player Spicee et le Groupe les Échos/le Parisien. À travers mon site journalism. design, j’écris sur le futur des médias et étudie l’impact des réalités synthétiques — notamment les deepfakes — sur la fabrique de l’information. Après 10 ans d’interventions régulières auprès des principales écoles de journalisme reconnues, j’interviens désormais à l’École de Journalisme et au Centre des Médias de Sciences Po à Paris.