- Pour développer et affûter ses algorithmes, IBM a utilisé, en 2012, des milliers d’images issues des caméras de surveillance du NYPD. Évidemment, les New-Yorkais n’ont jamais été mis au courant.
- Grâce à cette base de données gigantesque (et peut-être grâce à d’autres), IBM a pu établir des critères de catégorisations très précis : genre, chevelure, vêtements… Avec un grand gagnant : l’ethnicité.
- Certaines cellules des forces de l’ordre autres que celle de la lutte contre le terrorisme auraient eu accès, un temps, à ces outils.
- Le NYPD affirme certaines choses (“Nous n’avons jamais commandé ces outils“, “Personne d’autre que la cellule antiterrorisme ne l’a utilisé“), alors que certains témoignages d’anciens de chez IBM viennent les contredire. On est dans le flou.
À voir aussi sur Konbini
Le deuxième point est particulièrement problématique. Un salarié d’une ONG new-yorkaise ayant pour mission de fournir de l’aide juridique gratuite aux plus démunis imagine que le scénario suivant pourrait facilement se produire : la police recherche un jeune Noir à capuche… l’algorithme, dont personne ne connaît le fonctionnement, en repère un à proximité de la scène du crime ; la police l’arrête et l’inculpe. Aussi simple que ça. Mais comment être sûr de la précision de cet outil ?
Le NYPD affirme avoir cessé d’utiliser le programme d’IBM en 2016. De son côté, l’entreprise commercialise à qui veut son Intelligent Video Analytics, qui prend notamment en compte les origines ethniques…
