Le deuxième point est particulièrement problématique. Un salarié d’une ONG new-yorkaise ayant pour mission de fournir de l’aide juridique gratuite aux plus démunis imagine que le scénario suivant pourrait facilement se produire : la police recherche un jeune Noir à capuche… l’algorithme, dont personne ne connaît le fonctionnement, en repère un à proximité de la scène du crime ; la police l’arrête et l’inculpe. Aussi simple que ça. Mais comment être sûr de la précision de cet outil ?
Le NYPD affirme avoir cessé d’utiliser le programme d’IBM en 2016. De son côté, l’entreprise commercialise à qui veut son Intelligent Video Analytics, qui prend notamment en compte les origines ethniques…