Et si les rêves futuristes des auteurs de sciences fictions étaient devenus réalité ? Aujourd’hui des individus sont mis en état d’arrestation directement par le biais d’intelligences artificielles prédictives. Le phénomène prend une ampleur jamais vue dans certains pays tandis que d’autres expérimentent encore.

 

En Chine, la région de « Xunjiang, est devenu un laboratoire high-tech du contrôle social » selon une formule de courrier international. En effet, la ville est devenue un enfer pour la population ouïgoure qui est sans cesse traquée autant physiquement que numériquement. Bethany Allen-Ebrahimian, reporter pour ICIJorg dans le pays évoque un “cerveau cybernétique”. Selon des documents qu’elle s’est procuré, la Chine aurait mis en place un système censé prévoir les crimes. IJOP est une application utilisée par la police dans la région de Xianjiang – où se trouve une grande partie de la population musulmane ouïgoure – mais pourrait être généralisée au reste de la Chine. Officiellement, cette application sert à lutter contre les cas de radicalisation islamiste.

 

Des documents « hautement classifiés »

 

Ces documents « hautement classifiés » décrivent, selon la journaliste, des camps dans lesquels des ouïgoures sont enfermés et considérés comme « sauvages ». Ils reçoivent alors des « cours » pour savoir comment s’habiller ou comment manger… Bethany Allen-Ebrahimian explique que ces camps ont été approuvés par le gouvernement de la province en 2017. L’Etat avait alors été présenté le projet comme un internement de masse. Il s’agit donc bien d’une détention forcée de personnes arrêtées pour des motifs plus ou moins flous mais principalement basés sur des données recueillies par IJOP : groupe sanguin, taille, affiliation politico-religieuse, adresse IP, plaque d’immatriculation… Rien n’est laissé secret, pas même les déplacements des habitants puisque le territoire est couvert de caméras.

BREAKING: We at ICIJ have obtained a NEW trove of highly classified Chinese govt documents, including the operations manual for China's concentration camps.

I served as ICIJ’s lead reporter for the China Cables, with 17 media partners from 14 countries.https://t.co/l1mMVajLVQ

— B. Allen-Ebrahimian (@BethanyAllenEbr) November 24, 2019

 

L’intelligence artificielle est en réalité biaisée de base. C’est en tout cas ce que juge un rapport de l’ONG Human Right Watch datant de mai : « Les autorités chinoises ont programmé l’IJOP de telle manière que de nombreuses activités ordinaires et légales sont traitées comme des indicateurs de comportements suspects ». Ainsi, arrêter d’utiliser son smartphone, avoir peu d’interactions sociales avec ses voisins ou encore avoir acheté de l’électroménager récent peut valoir à un individu habitant le Xunjiang, une arrestation et un internement.

 

Predpol , une incarnation de « Minority Repport » ?

 

Ce schéma, qui n’est pas sans nous rappeler celui de « Minority Repport » de Philipp K. Dick, n’est pas unique au monde. En effet, d’autres nations travaillent sur une intelligence artificielle capable de prédire les crimes. C’est notamment le cas des Etats-Unis avec Predpol. Ce logiciel se baserait sur les données historiques sur la criminalité dans une zone pour alimenter un algorithme qui permettrait ainsi de savoir où des crimes analogues se produiront – tous cela dans une zone très limitée de 150 mètre carrés. Aujourd’hui plus de 50 départements de police américains utilisent ce logiciel.

Jake Ader, membre du groupe de défense des droits numériques Lucy Parsons Labs s’est intéressé de près à l’affaire. Il dénonce des résultats biaisés par un système basé sur une stratégie policière très utilisée : celle des vitres brisées. Il s’agit d’une explication statistique mise en avant pour établir des liens de cause à effet entre le nombre élevé ou non de vitres brisées quelque part et le taux de criminalité à cette endroit. En clair, cette théorie veut que les petits délits commis dans un quartier, qui détériorent l’environnement, sont le reflet d’une criminalité grandissante et même l’encouragent.

 

« Le principale problème c’est qu’une grosse partie de la data qui viendra nourrir l’algorithme est criblé d’inexactitudes et de préjugés dès le début, de sorte qu’il est contaminé à sa base. »

 

Ce que Jack Ader reproche à Predpol c’est le fait que seuls les crimes « de rue » comme les vols, les dégradations, le trafic de drogue etc. soient pris en compte par le logiciel. Les délits plus élaborés comme la fraude fiscale par exemple, ne sont eux, pas récupérés par l’algorithme. « Le principale problème c’est qu’une grosse partie de la data qui viendra nourrir l’algorithme est criblé d’inexactitudes et de préjugés dès le début, de sorte qu’il est contaminé à sa base. » explique Jack Ader. Ainsi, les résultats sont biaisés par cette stratégie des « vitres cassées », déjà trop utilisée par les policiers américains, et qui « sur-criminalise » certains quartiers – souvent les plus pauvres.

L’analyste tient néanmoins à rassurer sur cette technologie qui reste délicate à manipuler : « en ce qui concerne une technologie qui deviendrait autonome, je pense que nous sommes honnêtement très loin de cela, et j’espère aussi que nous ne verrons jamais le jour où une telle chose existera pour des mesures punitives ».