Crédit: PediMom

Sur YouTube et YouTube Kids, des vidéos dissimulent des instructions pour se suicider

Au milieu d'une vidéo pour enfants bénigne publiée sur YouTube, un homme explique comment se couper les veines. Terrifiant.

(© PediMom)

Décidément, la réputation de YouTube en tant qu’hébergeur de contenu pour enfants est en train de se dégrader à toute vitesse. Après les nouvelles révélations, en fin de semaine dernière, sur l’instrumentalisation de vidéos de mineurs par des cercles d’utilisateurs pédophiles, la plateforme se retrouve une nouvelle fois confrontée à une histoire sordide impliquant des vidéos à l’attention du jeune public.

Publicité

Le 26 février, Ars Technica se faisait l’écho d’une découverte particulièrement malsaine, déterrée par des pédiatres sur le blog pedimom.com puis reprise par le Washington Post : plusieurs vidéos cartoonesques postées sur YouTube et sur la plateforme spécialisée YouTube Kids, qui utilisent des scènes du jeu vidéo de Nintendo Splatoon, incluent une scène dans laquelle un homme donne des instructions sur la meilleure manière de se couper les veines.

Dans la vidéo initiale, repérée par un membre anonyme de PediMom, la scène intervient après 4 minutes et 45 secondes. On y voit un homme, identifié comme acteur et personnalité d’Internet – "humoriste" serait un poil exagéré – japonais George Miller – connu sous les pseudos de Joji et Filthy Frank –, tendre l’avant-bras, tenir une lame imaginaire dans l’autre main et déclarer "souvenez-vous, les enfants, coupez en largeur pour l’attention, en longueur pour les résultats" avant de rapidement quitter l’écran. La scène ne dure que quelques secondes, après quoi la vidéo originale reprend. À moins de regarder toute la vidéo avec son enfant, il est presque impossible pour un parent d’assister à la chose.

Fusillades, violence verbale, suicide, abus sexuels, violence domestique…

Il y a sept mois, lorsque les membres de PediMom découvrent la vidéo, ils parviennent à la faire retirer de YouTube Kids en la signalant. Problème : d’autres vidéos, éditées de la même manière, bourgeonnent sur la plateforme. Le 24 février, le Washington Post interroge Free Hess, une pédiatre membre de PediMom qui a découvert à son tour ces vidéos macabres et lancé deux hashtags, #YouTubeWakeUp et #ProtectOurKids, pour attirer l’attention de la plateforme sur le phénomène (ce post contient également un enregistrement de la vidéo découverte par Hess). Selon elle, la vidéo en question, publiée cette fois-ci sur YouTube, a été signalée par des utilisateurs il y a plus de huit mois, mais n’a été que récemment retirée de la plateforme.

Publicité

Contacté par nos soins, un porte-parole de YouTube affirme que la vidéo originale de Joji/Filthy Frank, à qui l'on doit par ailleurs le Harlem Shake, n'a jamais figuré sur YouTube Kids et qu'elle a été retirée de YouTube : 

"Nous veillons à ce que les vidéos sur YouTube Kids soient adaptées aux familles, et nous prenons les retours de nos utilisateurs très au sérieux. [...] Les vidéos signalées sont ensuite examinées manuellement, 24 heures sur 24 et 7 jours sur 7, et toutes les vidéos qui n'ont pas vocation à être sur l'application YouTube Kids sont immédiatement supprimées."

Ces vidéos sont-elles un incident isolé, fruit d’un utilisateur à l’humour particulièrement malsain ? Peut-être, mais la manipulation de vidéos pour enfants semble malheureusement être extrêmement répandue sur YouTube. Une semaine avant son article de blog au sujet des instructions de suicide, Free Hess publiait un autre texte dans lequel elle évoquait le problème des contenus pour enfants instrumentalisés. On y voyait des séquences du jeu Minecraft recréant des fusillades, dans lequel les personnages s’insultent copieusement ; d’autres séquences à l’esthétique de cartoon japonais, qui contiennent des situations d’abus sexuel, de trafic d’être humains, de suicide et autres joyeusetés.

Publicité

La logique rappelle celle de l’ElsaGate, en 2013 : des icônes pour enfants, comme Spiderman, le Joker, Mario, Mickey ou Elsa (la princesse Disney de La Reine des neiges), sont placées dans des situations violentes et/ou inappropriées pour terrifier, choquer voire traumatiser leur jeune public. Les motivations des créateurs de ces vidéos restent obscures, et les caractéristiques de ces vidéos sont tout aussi étranges : commentaires rédigés en langage codé, animation et "scénarios" très similaires à travers les milliers de chaînes, et millions de vues à la clé.

YouTube et l’impossible lutte

Pour YouTube, la prolifération de ces vidéos n’a rien de nouveau, et la plateforme est engagée depuis plusieurs années dans un jeu de chat et de la souris avec les créateurs de ces contenus, en misant à la fois sur des algorithmes de détection automatisée et sur une équipe de 10 000 modérateurs humains. Une stratégie dont l’inefficacité est de plus en plus criante. Vendredi, YouTube annonçait avoir supprimé 400 comptes et des milliers de commentaires, tout en prenant des mesures (un peu plus) radicales concernant les contenus inappropriés et leur monétisation. Pourtant, rien ne semble réellement changer au sein de YouTube : comme en 2017 puis en 2018, des vidéos à destination d’enfants en bas âge mettent en scène de la violence verbale et physique, et les créateurs exploitent les algorithmes de recommandation de vidéos à leur avantage pour entraîner les enfants dans un tunnel de visionnage interminable (et lucratif).

Alors, que faire ? Modifier l’accordage de l’algorithme ? YouTube préfère se concentrer sur la lutte contre les commentaires indésirables. Supprimer ces vidéos aux titres gorgés de mots-clés, vomies à un rythme industriel par des chaînes de production du gore et du dérangeant dans le but avoué d’engranger le magot des vues ? Humainement impossible, au rythme où elles sont postées. Soumettre tout contenu pour enfants à une vérification préalable automatisée ? Là encore, techniquement impossible, les IA n’étant pas assez capables de contextualiser la violence à l’image. Rendre les algorithmes transparents ? Voyons, vous n’y pensez pas. Enfin, les outils de signalement mis à disposition des associations de protection de l’enfance, comme Trusted Flagger, sont dérisoires. En 2019, le constat est terriblement simple : YouTube ne parvient pas à contrôler le contenu qu’il héberge.

Publicité

Quelles solutions, alors, pour les parents ? Comme le rappelle Wired, plusieurs modes et extensions de navigateur, comme Video Blocker, sont là pour sécuriser un peu plus YouTube Kids en bloquant préventivement le contenu signalé par d’autres utilisateurs… mais rien ne permet de lutter contre les vidéos passées sous les radars des algorithmes, qui ont parfois "vérifié" des chaînes de contenu parfaitement dégueulasse, comme le révélait BuzzFeed en 2017.

Le 25 avril 2018, YouTube dévoilait un nouvel outil, qui permettait aux parents d’autoriser uniquement les vidéos "approuvées par des humains". Une bonne idée, mais une simple rustine contre un problème structurel. Le pire, dans cette nouvelle histoire sordide, c’est le sentiment que rien ne change. Comme l’écrivait déjà James Bridle sur Medium en 2017, "quelque chose ne va pas sur Internet". Et peu importe les solutions proposées par YouTube, ce quelque chose résiste, virus polymorphe et insaisissable qui prolifère dans l’invisible. Parents, ne mettez pas vos gosses devant YouTube sans supervision, point.

(Article mis à jour le 27 février pour intégrer la réaction de Youtube France.)

Par Thibault Prévost, publié le 27/02/2019

Pour vous :