C’est une façade beaucoup plus sombre des progrès dans l’intelligence artificielle générative, qui pose de très graves problèmes. L’organisation britannique IWF, Internet Watch Foundation, vient de publier un rapport glaçant sur l’utilisation croissante de l’IA par des pédocriminel·le·s pour générer des contenus pédopornographiques sur des forums en ligne.
À voir aussi sur Konbini
L’IA générative, le nouvel outil des pédocriminels
Intitulé Comment l’IA est utilisée à mauvais escient pour créer des images d’abus sexuels sur les enfants, ce document de 50 pages livre un constat effrayant. En un mois, plus de 20 000 images ont été postées sur un forum dédié aux abus sexuels sur des enfants (CSAM, child sexual abuse material) du dark web.
Parmi elles, la IWF en a identifié 11 000 qui sont considérées comme criminelles — selon la loi en vigueur au Royaume-Uni. Après presque 88 heures d’analyse, l’organisation a distingué 2 562 images qui s’apparentent à des photographies criminelles et 416 comme des images criminelles punies par la loi.
“Les auteurs de ces actes peuvent légalement télécharger tout ce dont ils ont besoin pour générer ces images, puis produire autant d’images qu’ils le souhaitent – hors ligne, sans possibilité d’être détectés”, avertit la IWF. “Divers outils existent pour améliorer et éditer les images générées jusqu’à ce qu’elles ressemblent exactement à ce que souhaite l’auteur.”
L’enquête souligne l’accessibilité des outils utilisés pour perpétrer ces crimes. “Ils utilisent des logiciels accessibles au grand public”, avance Sexton. Parmi ces modèles génératifs de texte à image, on retrouve Midjourney, Dall-E et Stable Diffusion. Seul Midjourney avertit “bloquer automatiquement certaines saisies de texte” dans ses conditions générales d’utilisation.
Stable Diffusion a quant à lui pris la décision d’exclure les contenus pornographiques de sa base de données… au bout de la seconde version de son logiciel. Libre alors aux pédocriminel·le·s de se rabattre sur les premières versions du modèle pour générer des images illégales, explique Sexton.
Un hyperréalisme sans limite qui brouille la réalité
Selon Wired, ces images générées grâce à des IA mettent en scène le viol de nourrissons et de bébés, des personnalités préadolescent·e·s maltraitées… et même du contenu BDSM avec des adolescent·e·s connu·e·s. “Nous avons vu des requêtes, des discussions et des exemples de contenu d’abus sexuel sur des enfants, faisant figurer des célébrités”, détaille Dan Sexton, directeur de la technologie chez IWF.
L’IWF indique d’ailleurs avoir retrouvé “plusieurs exemples” d’images générées par l’IA mettant en scène “des victimes connues et des enfants célèbres”. Les criminel·le·s “échangent des centaines de nouvelles images de victimes existantes”, rapporte Sexton, allant même jusqu’à créer des threads intitulés “Ressources photographiques pour les filles spécifiques à l’IA et au deepfake.”
“Elles ne feront que devenir plus réalistes et plus répandues”
Les conclusions du rapport font froid dans le dos : si, pour l’instant, l’enquête ne s’est penchée “que” sur les photographies pédopornographiques générées par IA, ce n’est qu’une question de temps avant les vidéos du même acabit se mettent, elles aussi, à envahir Internet. “Les premiers exemples de courtes vidéos d’abus sexuels sur des enfants, générées par l’IA, ont déjà été vus – elles ne feront que devenir plus réalistes et plus répandues”, avertit la IWF.
Pour lutter contre ces dérives, l’IWF recommande aux entreprises technologiques de préciser dans leurs conditions générales d’utilisation que l’utilisation de ces technologies pour générer du contenu d’abus sexuels sur enfants est interdite. Plusieurs outils permettraient de renforcer l’encadrement et la modération de tels contenus : les watermarks, la détection automatique de certains contenus ou certaines requêtes… Et, bien sûr, le retrait de tout contenu d’abus des bases de données de ces modèles génératifs.
