Le premier site d'actualité sur le Tibet

www.tibet.fr

06/12/17 | 17 h 03 min par Rachel Botsman

Quand Big Brother collecte les Big data : la Chine veut classer tous ses citoyens

Le Gouvernement chinois projette le lancement de son Système de Crédit Social en 2020. Le but ? Juger le degré de loyauté, ou de traîtrise, de ses 1,3 milliards de citoyens.
RACHEL BOTSMAN

Le 14 juin 2014, le Conseil d’État chinois publiait un document au ton de mauvais augure : « Calendrier pour la mise en place du Système de Crédit Social. » A la manière des documents de la politique chinoise, celui-ci était long et ennuyeux, mais il contenait une idée radicale. Et si une évaluation nationale de la confiance notait le type de citoyen que vous êtes ?

Imaginez un monde où votre quotidien dans sa majeure partie était sans cesse surveillé et évalué : ce que vous achetez dans les magasins et en ligne ; où vous êtes à tout moment de la journée ; qui sont vos amis et quel est le type de relation que vous entretenez ; combien de temps vous passez devant un programme TV ou à jouer aux jeux vidéo ; et quelles factures ou impôts vous payez (ou ne payez pas). Ce n’est pas très dur à se figurer étant donné que cela se déroule déjà grâce à tous les géants collecteurs de big data tels Google, Facebook et Instagram ou l’application d’informations de santé Fitbit. Mais imaginez maintenant, selon les règles établies par le gouvernement [chinois], un système où tous vos comportements seraient évalués positivement ou négativement et résumés en une seule note. Ce serait votre score de citoyenneté et il dirait à tout le monde si vous êtes ou non une personne de confiance. Ajoutez à ceci qu’il serait public et comparé à tous les autres scores de la population, utilisé pour déterminer une éligibilité à un prêt ou un emploi, où vos enfants pourraient être scolarisés – ou même votre chance d’obtenir un rendez-vous amoureux.

Une vision futuriste d’un Big Brother incontrôlable ? Non, l’expérience se déroule déjà en Chine, le gouvernement développe actuellement le Système de Crédit Social (SCS) pour évaluer le degré de loyauté de ses 1,3 milliards de citoyens. Pékin instaure le système qu’il présente comme un moyen souhaitable pour mesurer et amplifier la « confiance » au niveau national et pour construire une culture de la « sincérité ». Comme ce programme politique le déclare : « Cela forgera un environnement d’opinion publique où conserver sa confiance [envers l’État] est glorieux. Cela renforcera la sincérité envers le gouvernement, la sincérité commerciale, la sincérité sociale et la construction d’une crédibilité judiciaire. »

D’autres sont moins virulents sur son but au sens large. «  C’est très ambitieux en profondeur et pour l’avenir, y compris l’observation des comportements individuels et des livres lus par les chinois. C’est le pistage des consommateurs par Amazon avec une tournure politique orwellienne, » c’est ainsi que Johan Lagerkvist, spécialiste du réseau Internet chinois à l’Institut Suédois des Affaires Internationales, décrit le Système de Crédit Social. Rogier Creemers, un chercheur postdoctoral en loi et politique chinoise de l’institut Van Vollenhoven de l’université de Leiden, compare le plan qu’il a traduit aux « rapports criards d’un état-nounou regardant par-dessus votre épaule. »

De façon pratique, la participation à l’évaluation chinoise des citoyens est pour le moment d’ordre volontaire mais d’ici à 2020, l’intégration au système sera obligatoire. Le comportement de chaque citoyen et des personnes morales sera évalué et classé, que cela plaise ou non.

Emmanuel Macron et Jack Ma, grand patron d’Alibaba le 12 mai 2016

En Amont de l’application globale en 2020, le gouvernement chinois opte pour une approche d’observation et d’adaptation. Dans ce mariage entre le contrôle total du communisme et le libéralisme du capitalisme, le gouvernement a autorisé huit entreprises privées à créer des méthodes et des algorithmes pour l’évaluation du crédit social. Comme il était prévisible, deux géants des big data sont porteurs des meilleurs projets connus à ce jour.

Le premier est porté par la China Rapid Finance, partenaire du réseau social mastodonte qu’est Tencent et développeur de l’application de messagerie WeChat utilisée par plus de 850 millions de personnes. Le second, le Crédit Sésame, est géré par Ant Financial Services Group (AFSG), une filiale d’AliBaba. La compagnie prête aux entreprises de petite et moyenne taille et les assure. Toutefois, le service clé [d’AFSG] est son système de paiement pour les achats en ligne mais également pour le cinéma, le restaurant, les taxis, les frais de scolarité et le transfert d’argent entre personnes.

Le Crédit Sésame a noué un partenariat avec d’autres plateformes de big data telles Didi Chuxing, le concurrent direct d’Uber en Chine avant que l’entreprise chinoise achète les parts chinoises de l’entreprise américaine, et Baihe, le site de rencontre le plus important du pays. Il n’est ainsi pas difficile de comprendre comment ce gigantesque amas de données se cumule et est intégré par Crédit Sésame pour analyser et évaluer les comportements.

Comment les gens sont-ils évalués ? Sur Sésame Crédit, les individus sont notés entre 350 et 950 points. Si Alibaba ne veut pas lever le secret du « complexe algorithme » servant au calcul du nombre, l’entreprise dévoile les cinq facteurs pris en compte. Le premier item est l’historique. Par exemple, le citoyen honore-t-il à temps ses factures d’électricité ou de téléphone ? Le deuxième est la capacité à remplir ses engagements, définit comme « la capacité de l’utilisateur à honorer ses obligations de contrat. » Le troisième item prend en compte les caractéristiques personnelles, il consiste en la vérification des informations personnelles telles le numéro de téléphone et l’adresse physique. Mais le quatrième facteur est plus intéressant : comportement et préférences.

Dans ce système, quelque chose d’insignifiant comme les habitudes d’achat devient une mesure du caractère. Alibaba admet qu’il juge les gens en fonction de leur type d’achats. « Quelqu’un jouant dix heures par jour aux jeux vidéo, par exemple, sera considéré oisif, » déclare Li Yingyun, Directeur Technique de Sésame. « Quelqu’un achetant fréquemment des couches sera probablement considéré comme un parent, qui aura donc sûrement le sens des responsabilités ». Le système n’observe donc pas seulement le comportement, il le modèle. Il marginalise les citoyens en fonction de leurs achats et de comportements que le gouvernement n’apprécie guère.

Les amis sont également intégrés dans le score. Le cinquième item s’intitule les relations sociales. Qu’est-ce que ses choix d’amis en ligne et leurs interactions apprend sur une personne ? Partagé est une « énergie positive » en ligne selon le Sésame Crédit, de sympathiques messages sur le gouvernement ou sur la bonne santé de l’économie fera monter le score citoyen.

A ce jour, Alibaba soutient formellement que toute négativité sur les réseaux sociaux n’affecte pas le score (ce que nous ne pouvons pas savoir du fait de l’algorithme tenu secret ). Mais vous pouvez comprendre comment cela pourrait être différent quand le score citoyen d’état sera officiellement lancé en 2020. Même s’il n’est pas encore suggéré qu’une des huit entreprises actuellement sur le projet pilote sera responsable du système gouvernemental, il est dur de croire que le propre SCS du gouvernement ne voudra pas extraire le maximum de données enregistrées par ces entreprises. Si cela arrive, continue et devient la nouvelle norme sous le SCS du gouvernement, cela engendrera des plateformes privées d’espionnage à la solde du gouvernement. Elles n’auront peut-être pas le choix.

Poster des opinions politiques dissidentes ou des liens en référence à Tiananmen Square en Chine n’a jamais été prudent, mais cela pourrait désormais impacter l’évaluation citoyenne. Mais le véritable piège réside en ceci : au-delà de ses propres interactions sociales, le score d’une personne sera aussi affecté par le comportement de ses amis et leurs faits et gestes. Si l’un de ses contacts envoie un commentaire négative, les scores des amis seront eux aussi revus à la baisse.

Pourquoi donc des millions de personnes se sont déjà inscrites pour une version test d’un système de surveillance étatique publiquement approuvé ? Il pourrait y avoir des raisons officieuses ( peur de la répression par exemple, pour les insoumis ) mais il existe aussi un leurre en la forme d’une récompense et de « privilèges spéciaux » pour les citoyens qui prouvent leur « loyauté » via le Crédit Social.

Si leur score atteint les 600, ils peuvent prétendre à un crédit d’achat en ligne de 5,000 yuans (635 euros) via Alibaba. Qu’ils atteignent 650 points, ils peuvent louer une voiture sans caution. Ils ont aussi la possibilité d’ un enregistrement plus rapide dans les hôtels et d’un enregistrement VIP à l’aéroport international de Pékin. Ceux avec plus de 666 points peuvent obtenir un prêt en liquide de 50 000 yuans ( 6 353 euros), certainement auprès de Ant Financial Services. Avec plus de 700, ils peuvent faire une demande de voyage à Singapour sans produire de documents tel une lettre de son employeur. Et à 750, ils obtiennent une application accélérée pour le visa Schengen tant convoité. « Je pense que pour comprendre au mieux le système, il faut le voir comme une sorte de processus de loyauté pour un enfant illégitime, » déclare M. Creemers.

En quelques mois, les plus hauts scores sont déjà devenus un symbole de statut social, ainsi presque 100 000 personnes vantent leur score sur Weibo ( le Twitter chinois). Un score citoyen peut modifier les chances d’obtenir un rendez-vous amoureux, ou un mariage, car plus l’évaluation sésame est haute, plus le profil de l’utilisateur Baihe est mis en avant.

Le Crédit Sésame donne déjà des astuces pour améliorer son classement, incluant une alerte sur les conséquences négatives d’être ami avec une personne au petit score. Cela pourrait mener à l’émergence de conseillers qui partageraient des astuces pour gagner plus de points, ou des consultants en réputation prêt à donner des conseils d’expert sur la manière stratégique d’améliorer son classement ou échapper à la liste noire des déloyaux.

De fait, le Crédit Sésame est tout simplement la version jouable et numérique des méthodes de surveillance du Parti Communiste : le malsain dang’an. Le régime conservait un dossier sur chaque individu soulignant les transgressions personnelles et politiques. Le dang’an du citoyen le suivait toute sa vie, de l’école à ses emplois. Les gens ont commencé à dénoncer des amis et même des parents, faisant monter le doute et abaissant le confiance inter-sociale en Chine. « N’envoie pas ça. Je ne veux pas que tu modifies négativement ton score ni le mien. »

Nous pourrions aussi voir apparaître un marché noir de la réputation et des moyens de gonfler sa loyauté en les achetant sous le manteau. Comme pour les « j’aime » de Facebook et les « followers » de Twitter qui peuvent être achetés, les gens achèteront de quoi manipuler leur score. Comment garder ce système hors de portée des malveillances ? Les pirates informatiques (pour certains soutenus par l’état ) pourraient modifier ou voler les informations numériques stockées.

Le nouveau système reflète une changement rusé de paradigme. Comme nous l’avons noté, au lieu de tenter d’établir la stabilité ou la soumission avec une main de fer et une bonne dose de peur, le gouvernement essaie de donner à l’obéissance les atours du divertissement.

En octobre 2015, le service de reportage de la BBC se rend dans un quartier branché de la banlieue pékinoise et pose des questions aux passants au sujet de leur classement citoyen. La plupart des personnes interrogées ont parlé des avantages. Toutefois, qui critiquerait en public ce projet ? Paf, le score serait impacté. Plus inquiétant était le fait que beaucoup de personnes ne savaient pas qu’ils étaient évalués et classés.

Actuellement, le Crédit Sésame ne pénalise pas les gens pour leur « déloyauté » – il est plus efficace à piéger les gens avec des cadeaux pour leur bon comportement. Mais Hu Tao, la manager en chef du Crédit Sésame, avertit les utilisateurs sur le fait que les personnes « déloyales ne pourront pas louer une voiture, ne pourront pas emprunter d’argent ni trouver un emploi. » Elle a même dévoilé que le Crédit Sésame s’est rapproché du Bureau de l’Education en Chine pour partager sa liste des étudiants qui ont trichés pendant leurs examens dans le but de leur faire payer dans le futur leur malhonnêteté présente.

Les pénalités sont prévues de changer radicalement en 2020 quand le système gouvernemental sera obligatoire. Et de fait, le 25 septembre 2016 le Bureau Général du Conseil d’État faisait une mise à jour sous le titre «  Mécanismes de Punition et d’Avertissement pour les Personnes qui briseraient la Confiance [d’Etat] ». Le principe majeur est simple : « Si la confiance est brisée à un niveau, les contraintes s’imposeront à tous les niveaux, » spécifie le document officiel.

Ainsi, les personnes avec un faible score auront une connexion internet plus lente ; un accès restreint dans les restaurants, les boîtes de nuit ou les clubs de golf ; et le retrait du droit de voyager librement à l’étranger avec, citons, « un contrôle restrictif de la consommation lors des vacances ou des voyages d’affaires. » Les évaluations influenceront les possibilités de location d’une personne, leur droit à une assurance ou à un prêt et même leurs avantages à la sécurité sociale. Les citoyens avec un faible score ne pourront pas être employés par certains patrons et d’autres emplois leur seront interdits, tels les emplois de la fonction publique, le journalisme et les métiers judiciaires où, bien sûr il faut montrer un très haut degré de loyauté. Les citoyens dans le bas du tableau auront également des restrictions quant à leur emploi ou l’inscription dans une école onéreuse. Je n’invente pas cette liste de punitions. C’est la réalité à laquelle le citoyen chinois fera face. Comme le dit le document officiel, le système de crédit social « autorisera l’homme loyal à se rendre partout tandis qu’il sera difficile pour l’homme discrédité de ne faire, ne serait-ce, qu’un seul pas. »

Selon Luciano Floridi, professeur de philosophie et d’éthique de l’information à l’Université d’Oxford et directeur de recherche à l’Institut Internet d’Oxford, il y a eu trois «  changements décentralisés » critiques qui ont modifiés notre compréhension de nous-même : le modèle copernicien d’une Terre en orbite autour du Soleil, la théorie darwinienne de sélection naturelle et la théorie freudienne d’un inconscient qui régit nos actions quotidiennes.

Floridi pense que nous entrons dans une quatrième révolution, comme nous sommes soit en ligne soit hors ligne cela fusionne en d’enregistrement anticipée pour y incorporer les données des médium sociaux, les données de localisations et l’historique d’achats. L’idée a été rejetée après une rafale de critiques, mais cela ne veut pas dire qu’elle sera définitivement abandonnée. Nous vivons déjà dans une monde d’algorithmes prédictifs qui déterminent si nous sommes une menace, un risque, un bon citoyen et même si nous sommes dignes de confiance. Nous nous rapprochons du système chinois, l’extension des côtes de crédits aux côtés de crédibilités sociales, même si nous n’en sommes pas conscients.

Nous avançons-nous donc vers un futur où nous serons tous marqués sur les réseaux et analysés par des algorithmes ? Nous en prenons certainement le chemin. Interdire telle genre de révolte citoyenne de masse ou nous priver de notre vie privée, nous entrons un âge où les actions des individus seront jugées par des standards qu’ils ne peuvent pas contrôles et où le jugement ne peut être effacer. Les conséquences ne sont pas que dérangeantes, elles sont permanentes. Oubliez le droit à l’effacement des données ou à l’oubli, d’être jeune et naïf.

Tandis qu’il peut être trop tard pour freiner cette nouvelle ère, nous pouvons choisir et protéger nos droits. Nous devons être capables d’évaluer nos évaluateurs. Dans le livre The Inevitable, Kevin Kelly décrit un futur où les observateurs et les observés se suivent mutuellement. « Notre choix clé désormais est de savoir si cette surveillance est un secret, une salle de surveillance invisible, ou un genre de veille mutuelle et transparente qui implique l’observation des observateurs, » écrit-il.

Notre confiance devrait débuter avec les individus du gouvernement (ou qui que ce soit qui contrôle le système). Nous avons besoin de mécanismes sûrs pour s’assurer que les données et les évaluations sont utilisées avec notre autorisation et de façon responsable. Pour avoir confiance dans le système, nous devons réduire les inconnues. Cela implique prendre des mesures pour réduire l’opacité des algorithmes. L’argument contre le droit à cette information est la peur du détournement ou du piratage. Mais si les hommes sont réduits à des notes qui peuvent modifier leur vie, la transparence doit être complète sur les rouages de l’évaluation.

En Chine, certains citoyens, tels les membres du gouvernement, seront certainement au-dessus du système. Quelle sera la réaction publique quand leurs actions incorrectes n’affecteront pas leur score ? Nous pourrions assister à un Panama Papers 3,0 concernant la fraude à la réputation.

Il est trop tôt pour dire ce que deviendra une culture constamment sous surveillance. Qu’arrivera-t-il quand ces systèmes seront à plein régime, archivant les historiques sociaux, moraux et financiers d’une population dans sa globalité ? Combien de temps tiendront la liberté de parole (mise à mal depuis longtemps en Chine ) et le droit à une vie privée ? Qui décidera dans quel sens le système se dirigera ? Ce sont des questions qu’il nous faut vite confronter. Aujourd’hui la Chine, demain près de chez vous. Les vraies questions sur le futur de la confiance ne sont pas technologiques ou économiques, elles sont éthiques.

Si nous ne sommes pas vigilants, le taux de confiance distribué pourrait devenir la honte sur les réseaux. La vie deviendra un jeu sans fin de compétition en popularité, où nous nous languiront pour les plus hautes notes qu’une minorité pourra atteindre.

Extrait du Livre de Rachel Botsman, Who Can You Trust ? Comment la technologie nous a rassemblé et pourrait nous séparer ?, édition Penguin Portfolio, 4 octobre 2017. Depuis la Banque du Peuple de Chine a retiré les licences aux huit entreprises pilotes. Quand au plan gouvernemental de Système de Crédit Social, il est toujours inchangé et prévu en 2020.

Première publication dans le magazine Wired, novembre 2017
 

1 https://www.la-croix.com/Solidarite/Dans-l-economie/Rachel-Botsman-pionniere-de-l-economie-collaborative-2013-07-17-987453

2 https://www.ned.org/experts/johan-lagerkvist/ (en anglais )

3 https://www.newamerica.org/cybersecurity-initiative/digichina/blog/chinas-cybersecurity-law-one-year/ (en d’anglais )

4 Tsering Woeser, dans un documentaire suisse de 2014, se montre découvrant son dossier secret. (toujours en anglais )

5 http://www.bbc.com/news/world-asia-china-34592186 (encore plus d’anglais)

6 https://www.youtube.com/watch?v=c-kJsyU8tgI&feature=youtu.be ( conférence en anglais )

7 https://www.united.com/web/fr/content/travel/airport/tsa-precheck.aspx ( toujours plus d’anglais)
Samedi 21 Octobre 2017