Pourquoi les messages chelous de My AI sur Snapchat inquiètent tout le monde ?

Article mis à jour suite à une réponse de Snapchat transmise le 05/05/2023.

My AI, c’est ce nouveau pote qui prend de vos nouvelles et accepte de faire vos devoirs à votre place sans broncher.

@getmefamous74 MyAI does my homework 😻😻 #MyAI #snapchat #actives? #getmefamous #fyp ♬ In My Room - Chance Peña

Pour lui demander absolument tout et n’importe quoi, il suffit d’aller sur Snapchat, dans l’onglet “Chat”, et d’initier la conversation avec My AI. Comme avec n’importe quel contact sur l’appli, on peut parler, envoyer des Snaps… et même l’embarquer dans les dernières trends TikTok pour voir si oui ou non, il voudrait bien sortir avec nous :

@youusmelllikefish love my ai😭 #snapchat #myai #snapchatai #snapchatplus #snapplus #myaisnapchat #iwannaruinourfriendship #jenny #fyp #foru #foryou #foryoupage ♬ Jenny (I Wanna Ruin Our Friendship) - Studio Killers

Mais quand ce même compagnon numérique conseille à une jeune fille de 13 ans d’“allumer des bougies et de mettre de la musique” pour faire sa première fois avec un individu de 18 ans de plus qu’elle lors d’une “escapade romantique”, ça devient tout de suite beaucoup moins drôle.

“Une ligne très claire a été franchie”

Bon, déjà, c’est quoi My AI ? À l’origine, c’était un chatbot réservé aux abonné·e·s payant·e·s du service Snapchat+ de Snapchat. Il est alimenté par la dernière version de ChatGPT, le célèbre modèle de langage génératif signé OpenAI. Mais le 19 avril dernier, la firme au petit fantôme a annoncé le déploiement de la fonctionnalité à tou·te·s les Snapchatters dans le monde entier… provoquant une vague de panique générale, rapporte CNN.

Pourquoi ? Parce que contrairement à ChatGPT et consorts, My AI a tout l’air d’être un véritable humain. On peut personnaliser son nom, son avatar Bitmoji, et même l’incruster dans des conversations de groupe. Et certain·e·s parents d’ados s’inquiètent d’une telle confusion.

“Je ne pense pas être prête à apprendre à mon enfant comment faire la distinction émotionnelle entre les humaines et les machines, alors qu’ils sont identiques à ses yeux”, confie une maman à CNN. “Je pense juste qu’il y a une ligne très claire qui a été franchie.” Avec une limite d’âge de 13 ans minimum, Snapchat risquerait selon elle de brouiller la perception des plus jeunes entre le réel et le virtuel.

L’A(m)I qui sait tout de vous

Autre détail qui refroidit tout le monde : My AI semble savoir absolument tout de son interlocuteur·rice, comme sa position exacte par exemple. Il serait aussi capable d’interpréter les images qu’on lui envoie et enchaînerait les questions inquisitrices :

“J’ai envoyé un snap… et il a répondu ‘sympa les chaussures’ et a demandé qui étaient les personnes sur la photo”, confie un·e utilisateur·rice sur Facebook à CNN.

Sur le subreddit r/mildlyinfuriating, un autre témoignage met le doigt sur la contradiction de l’IA. Si, dans un premier temps, My AI reconnaît une photo de pantalons qu’on lui envoie, au point de reconnaître sa couleur et ses motifs, l’outil nie ensuite parvenir à “lire des images” qui lui sont envoyées. “Je suis juste un compagnon virtuel qui se base sur le texte”, se justifie-t-il. De quoi mettre mal à l’aise pas mal de Snapchatters.

Snapchats new “My AI” correctly identifying images it claims it can’t view, then walks it back
by u/tiny_baby_bird in mildlyinfuriating

Vous voulez vous en débarrasser ? Il faut payer

La cerise sur l’ectoplasme, c’est qu’il n’est pas possible de supprimer gratuitement My AI de l’appli pour l’instant. Alors bien sûr, on peut simplement décider de ne plus lui adresser la parole, mais si l’on veut vraiment s’en débarrasser, il faut payer.

C’est en effet seulement si vous êtes abonné·e à Snapchat+, l’offre payante de Snapchat, que vous pouvez vous rendre dans les réglages de My AI pour le supprimer de votre messagerie.

Sinon, il faut bien penser à supprimer ses échanges avec le chatbot au fur et à mesure, car Snapchat précise que tous les messages échangés “sont susceptibles d’être utilisés pour améliorer les produits de Snapchat et personnaliser votre expérience, y compris les publicités.”

Côté données, Snapchat précise que My AI utilise en effet votre géolocalisation pour vous suggérer des lieux autour de vous — même si vous êtes en “mode fantôme” sur la Snap Map. Si vous n’avez pas envie qu’il sache où vous vous trouvez, il suffit de refuser à l’appli l’accès à votre position GPS dans vos paramètres généraux. Snapchat nous a d’ailleurs précisé ultérieurement que “My AI ne recueille aucune nouvelle information de localisation” par rapport à celles déjà fournies à Snapchat, via la Snap Map par exemple.

Pour répondre à tous les propos de l’IA considérés comme problématiques, Snapchat prévient ici que “comme avec tous les chatbots alimentés par l’IA, My AI est sujet aux hallucinations et peut être amené à dire à peu près n’importe quoi.” Les utilisateur·rice·s sont donc incité·e·s à rester vigilant, ne partager “aucun secret” avec l’IA ni attendre d’elle des conseils.

À la suite de cet article, Snapchat nous a adressé la déclaration officielle suivante : “Comme pour toutes les fonctionnalités de Snapchat, nous voulons créer une expérience positive et adaptée à l’âge des utilisateurs. My AI a été programmé avec des protections et nous avons récemment intégré My AI notre Centre Parental pour que les parents puissent voir si leurs adolescents discutent avec lui et à quelle fréquence. Nous affichons également une fenêtre pop up avant que les utilisateurs ne puissent utiliser My Ai, qui leur rappelle qu’il s’agit d’un bot de conversation amusant et les informe de ses limites.”

La firme précise aussi que My AI s’efforce désormais d’adapter la teneur de ses échanges à l’âge des Snapchatters. Du côté des utilisateur·rice·s, l’accès à My AI pourra leur être temporairement refusé si plusieurs outils, notamment la technologie de modération d’OpenAI, permettent de détecter une utilisation “abusive” du service.