IBM et la police de New York ont créé un algorithme pour reconnaître les origines ethniques

IBM et la police de New York ont créé un algorithme pour reconnaître les origines ethniques

Image :

A rare look inside the New York Police Department’s lower Manhattan security center, where cops monitor surveillance cameras, environmental sensors and license plate readers around the clock. Mayor Michael Bloomberg and Police Commissioner Ray Kelly announced that subway cameras are also being monitored in the center — officially called The Lower Manhattan Security Coordination Center. Modeled after London’s “Ring of Steel,” the NYPD opened its coordination center in 2008. Today cops monitorfeeds from over 1159 CCTV cameras with the number increasing to 3,000 as the program expands. (Photo by Timothy Fadek/Corbis via Getty Images)

  • Pour développer et affûter ses algorithmes, IBM a utilisé, en 2012, des milliers d’images issues des caméras de surveillance du NYPD. Évidemment, les New-Yorkais n’ont jamais été mis au courant.
  • Grâce à cette base de données gigantesque (et peut-être grâce à d’autres), IBM a pu établir des critères de catégorisations très précis : genre, chevelure, vêtements… Avec un grand gagnant : l’ethnicité.
  • Certaines cellules des forces de l’ordre autres que celle de la lutte contre le terrorisme auraient eu accès, un temps, à ces outils.
  • Le NYPD affirme certaines choses (“Nous n’avons jamais commandé ces outils“, “Personne d’autre que la cellule antiterrorisme ne l’a utilisé“), alors que certains témoignages d’anciens de chez IBM viennent les contredire. On est dans le flou.

À voir aussi sur Konbini

Le deuxième point est particulièrement problématique. Un salarié d’une ONG new-yorkaise ayant pour mission de fournir de l’aide juridique gratuite aux plus démunis imagine que le scénario suivant pourrait facilement se produire : la police recherche un jeune Noir à capuche… l’algorithme, dont personne ne connaît le fonctionnement, en repère un à proximité de la scène du crime ; la police l’arrête et l’inculpe. Aussi simple que ça. Mais comment être sûr de la précision de cet outil ?
Le NYPD affirme avoir cessé d’utiliser le programme d’IBM en 2016. De son côté, l’entreprise commercialise à qui veut son Intelligent Video Analytics, qui prend notamment en compte les origines ethniques…