A rare look inside the New York Police Department’s lower Manhattan security center, where cops monitor surveillance cameras, environmental sensors and license plate readers around the clock. Mayor Michael Bloomberg and Police Commissioner Ray Kelly announced that subway cameras are also being monitored in the center — officially called The Lower Manhattan Security Coordination Center. Modeled after London’s « Ring of Steel, » the NYPD opened its coordination center in 2008. Today cops monitorfeeds from over 1159 CCTV cameras with the number increasing to 3,000 as the program expands. (Photo by Timothy Fadek/Corbis via Getty Images)

IBM et la police de New York ont créé un algorithme pour reconnaître les origines ethniques

Des milliers d’images de surveillance ont été utilisées à l’insu des New-Yorkais.

Au QG de la branche vidéosurveillance de la police new-yorkaise, en 2010. (© Timothy Fadek/Corbis via Getty Images)

Voici une histoire des plus dystopiques. Une enquête, menée conjointement par The Intercept et The Investigative Fund, a épluché de près les liens quasi incestueux entre IBM – poids lourd de la tech qui, parmi ses mille activités, travaille sur des algorithmes de reconnaissance faciale – et le New York City Police Department (NYPD).

Publicité

Le contexte est le suivant : après les attentats du 11 septembre 2001, le NYPD a investi des fortunes dans les technologies permettant de lutter contre le terrorisme. La reconnaissance vidéo (faciale en premier lieu) y a évidemment acquis une place de choix. D’où les manigances entre IBM et le NYPD.

L’enquête souligne quatre points problématiques :

  • Pour développer et affûter ses algorithmes, IBM a utilisé, en 2012, des milliers d’images issues des caméras de surveillance du NYPD. Évidemment, les New-Yorkais n’ont jamais été mis au courant.
  • Grâce à cette base de données gigantesque (et peut-être grâce à d’autres), IBM a pu établir des critères de catégorisations très précis : genre, chevelure, vêtements… Avec un grand gagnant : l’ethnicité.
  • Certaines cellules des forces de l’ordre autres que celle de la lutte contre le terrorisme auraient eu accès, un temps, à ces outils.
  • Le NYPD affirme certaines choses ("Nous n’avons jamais commandé ces outils", "Personne d’autre que la cellule antiterrorisme ne l’a utilisé"), alors que certains témoignages d’anciens de chez IBM viennent les contredire. On est dans le flou.

Le deuxième point est particulièrement problématique. Un salarié d’une ONG new-yorkaise ayant pour mission de fournir de l’aide juridique gratuite aux plus démunis imagine que le scénario suivant pourrait facilement se produire : la police recherche un jeune Noir à capuche… l’algorithme, dont personne ne connaît le fonctionnement, en repère un à proximité de la scène du crime ; la police l’arrête et l’inculpe. Aussi simple que ça. Mais comment être sûr de la précision de cet outil ?

Publicité

Le NYPD affirme avoir cessé d’utiliser le programme d’IBM en 2016. De son côté, l’entreprise commercialise à qui veut son Intelligent Video Analytics, qui prend notamment en compte les origines ethniques…

Par Pierre Schneidermann, publié le 07/09/2018

Pour vous :