- Pour développer et affûter ses algorithmes, IBM a utilisé, en 2012, des milliers d’images issues des caméras de surveillance du NYPD. Évidemment, les New-Yorkais n’ont jamais été mis au courant.
- Grâce à cette base de données gigantesque (et peut-être grâce à d’autres), IBM a pu établir des critères de catégorisations très précis : genre, chevelure, vêtements… Avec un grand gagnant : l’ethnicité.
- Certaines cellules des forces de l’ordre autres que celle de la lutte contre le terrorisme auraient eu accès, un temps, à ces outils.
- Le NYPD affirme certaines choses (« Nous n’avons jamais commandé ces outils« , « Personne d’autre que la cellule antiterrorisme ne l’a utilisé« ), alors que certains témoignages d’anciens de chez IBM viennent les contredire. On est dans le flou.
À voir aussi sur Konbini
Le deuxième point est particulièrement problématique. Un salarié d’une ONG new-yorkaise ayant pour mission de fournir de l’aide juridique gratuite aux plus démunis imagine que le scénario suivant pourrait facilement se produire : la police recherche un jeune Noir à capuche… l’algorithme, dont personne ne connaît le fonctionnement, en repère un à proximité de la scène du crime ; la police l’arrête et l’inculpe. Aussi simple que ça. Mais comment être sûr de la précision de cet outil ?
Le NYPD affirme avoir cessé d’utiliser le programme d’IBM en 2016. De son côté, l’entreprise commercialise à qui veut son Intelligent Video Analytics, qui prend notamment en compte les origines ethniques…
