Pour Real Life[2] – dont on ne recommandera jamais assez la qualité – l’essayiste Adam Clair dresse une intéressante comparaison entre algorithme et bureaucratie. Les algorithmes sont paradoxaux, rappelle-t-il : “ils sont conçus pour améliorer la prise de décision humaine en supprimant supposément ses biais et ses limites, mais les protocoles analytiques inévitablement réducteurs qu’ils mettent en œuvre se révèlent surtout vulnérables à des formes d’utilisation abusive.” Comme le dit très bien Cathy O’Neil dans son livre[3] : loin d’être neutres et objectifs, “les algorithmes sont des opinions formalisées dans du code”.
Pour Adam Clair, derrière l’apparente complexité de leur code, les objectifs des calculateurs ne sont pas nouveaux : ils visent à concentrer le pouvoir dans des structures ordonnées et cohérentes, à l’image des bureaucraties. Comme celles-ci, les algorithmes tendent à être impénétrables, opaques, et à renforcer les injustices existantes. Si algorithmes et bureaucraties sont proches, alors peut-être que l’histoire de la critique de la bureaucratie peut nous aider à éclairer la question de la régulation des algorithmes, explique-t-il.
LÉGITIMER SON OPACITÉ POUR CONSERVER SES FONCTIONNALITÉS
Adam Clair rappelle notamment les critiques du sociologue Max Weber à l’égard des processus bureaucratiques. Si les bureaucraties et les algorithmes savent s’engager sur la voie de la transparence – avec des règles qui sont censées être claires, formulées uniformément et accessibles à tous, ce qui est plus vrai en théorie qu’en pratique, ils légitiment l’un comme l’autre leur opacité pour conserver leur fonctionnalité. Google, comme Facebook, justifient le secret de leurs algorithmes pour déjouer les acteurs subversifs, tout comme les bureaucraties justifient leur tendance à devenir complexes et opaques au bénéfice des seuls initiés pour garder secrets leurs connaissances, leurs intentions… leurs lacunes et défauts. Par nature, la bureaucratie tend à exclure le public, à cacher ses connaissances et son action, lui permettant de devenir toujours plus insensible aux critiques. Or, comme le souligne Cathy O’Neil, il n’est pas nécessaire de comprendre tous les détails d’un système pour comprendre où il échoue.
Algorithmes et bureaucraties tentent d’apparaître à l’épreuve de toute défaillance, alors que ce mode de défense est par nature incompréhensible à ceux qui y sont confrontés. Les bureaucrates sont les seuls à comprendre le fonctionnement de leur système, comme les ingénieurs les seuls à comprendre le code de leurs calculateurs.
“Étant donné que personne ne peut identifier les raisons spécifiques des problèmes, tout échec peut être interprété comme un signe que le système doit avoir plus de pouvoir pour produire de meilleurs résultats”, qu’importe si ce qui constitue un “meilleur” résultat reste du ressort de ceux qui les mettent en œuvre. Plus que neutres, ces choix sont fondamentalement moraux, souligne Adam Clair. Pour les mauvais algorithmes, comme pour les pires bureaucraties, les échecs sont souvent interprétés comme le signe que le système a besoin de plus de puissance pour produire de meilleurs résultats. Or cette puissance nécessite d’abdiquer toujours plus avant toute responsabilité au système. C’est pourtant souvent l’inverse que souhaitent les usagers. Face à la complexité bureaucratique comme face à la complexité algorithmique, les usagers ne souhaitent pas un mur un peu plus haut, un système un peu plus compliqué qui accède à plus de données… mais un dialogue un peu plus ouvert.
Si l’objectif d’un modèle de prédiction de la récidive est de réduire le taux de criminalité, par exemple, l’équité ou la pertinence des peines de prison qu’il produit ne compte pas tant que le fait de faire diminuer le taux de criminalité. De même, si l’objectif
d’une plateforme de médias sociaux est de maximiser la “participation”, l’engagement peut être considéré comme un succès, indépendamment de la véracité des informations qui y sont partagées ou de l’intensité du harcèlement qui s’y produit. L’essentiel étant que les utilisateurs continuent à cliquer et à commenter… Au final, l’abdication face à la puissance de traitement devient une ferveur pour sa pure objectivité, comme si sa “neutralité” était elle-même un but toujours plus incontestable. En fait, “l’intention des algorithmes est toujours présentée comme évidente (à la fois neutre et donc juste) plutôt que comme une question de négociation et de mise en œuvre. Les moyens et les finalités se déconnectent. L’objectivité devient un front, un moyen de certifier les résultats indépendamment du fait qu’ils constituent ou non des améliorations sociales. Ainsi, l’accent mis sur la lutte contre les préjugés humains conduit directement à développer des moyens de camoufler et de dissiper la responsabilité humaine, ce qui rend le biais humain plus difficile à détecter. Les efforts pour être plus justes finissent par devenir une tentation ou une justification de l’opacité, une façon d’accentuer la répartition inégale des récompenses et des pénalités, exacerbant les inégalités existantes à tout moment.”
IRRESPONSABLE… MAIS PAS COUPABLE !
Dans Du mensonge à la violence, Hannah Arendt caractérise la bureaucratie comme le pouvoir “d’un système complexe de bureaux où ni un seul, ni les meilleurs, ni le petit nombre, ni la majorité, personne ne peut être tenu pour responsable, et que l’on peut justement qualifier de règne de l’Anonyme”. Sans contrôle, la bureaucratie permet à une “conspiration involontaire” d’exécuter des actes qu’aucun individu n’appuierait, mais dans lesquels tous sont finalement complices. C’est ainsi que les entreprises peuvent poursuivre des bénéfices sans tenir compte de leurs effets sur l’environnement ou les vies humaines par exemple. L’abstraction de la bureaucratisation conduit à la violence souligne Arendt, puisque “dans une bureaucratie pleinement développée, il ne reste plus personne avec qui l’on puisse discuter, à qui l’on puisse présenter des griefs, sur qui les pressions du pouvoir pourraient être exercées.” De la même manière, nous sommes démunis face à un calcul, surtout quand il s’agit d’expliquer qu’il est faux ou qu’il nous a mal calculés.
Or, rappelle Adam Clair, dans une société capitaliste, le désir de supprimer les préjugés humains des processus décisionnels fait partie intrinsèque de la recherche globale d’efficacité, d’optimisation, de rationalisation décrite par Weber. Mais ce dernier décrit également ces principes comme une “cage de fer”, une puissance emprisonnante et incapacitante. De même, derrière leur biais réductionniste, les algorithmes fournissent du profit, de la puissance et du contrôle à ceux qui les opèrent. Ils réduisent les sujets humains en attributs exprimés en données, afin de faciliter le contrôle, la manipulation, la vente et l’exploitation. “Ils transfèrent le risque de leurs opérateurs à ceux pris dans leurs engrenages. Ainsi, même lorsque les algorithmes fonctionnent bien, ils ne fonctionnent pas du tout pour nous”, les calculés, mais uniquement pour ceux qui opèrent le calcul.
LES COMPRENDRE, C’EST LES DÉJOUER
Des algorithmes fonctionnant avec des données inexactes peuvent être nocifs pour ceux qui tentent d’obtenir un emploi, un prêt ou un appartement. Reste que si on peut se rendre compte que ces services ont de mauvaises données, il est difficile de les modifier. Sans compter que nombre d’entre eux utilisent des approximations douteuses pour générer des données, quantifier ou trier, comme utiliser des codes postaux pour inférer votre niveau de revenus ou votre origine ethnique. L’interrelation des données entre elles et des systèmes entre eux tend à créer des biais qui se renforcent les uns les autres. Ces systèmes créent des boucles de rétroaction qui aggravent ce qu’ils prétendent mesurer objectivement. Un système de crédit qui tient compte de votre code postal abaissera ainsi votre score si vos voisins sont de mauvais payeurs, faisant augmenter votre taux d’intérêt donc faisant augmenter votre probabilité à faire défaut et donc à renforcer le mauvais score lié à votre code postal…
C’est par ces biais que, plus que prédictifs (comme on les présente trop souvent), les algorithmes se révèlent surtout prescriptifs. Or, souligne Adam Clair, qu’importe les données que vous ayez, il y aura toujours un contexte supplémentaire, sous forme de données supplémentaires qui pourraient l’améliorer. Il n’y a pas de limite à leur besoin de données, d’objectivité et donc en fait, d’interprétation.
Comme le souligne avec un fort sens de la dérision l’anthropologue David Graeber dans Bureaucratie4, les bureaucraties sont des manières d’organiser la stupidité, c’est-à-dire de gérer et reproduire des structures extrêmement inégalitaires. Les gouvernés doivent dépenser du temps pour comprendre et tenter d’inverser l’ingénierie de ces systèmes pour y survivre. Or, les institutions qui gèrent ces systèmes ont tendance à considérer notre ingénierie inversée, c’est-à-dire notre capacité à les comprendre, comme une façon de chercher à les déjouer. Quand les gens comprennent comment un algorithme fonctionne, ses ingénieurs le modifient pour ne pas perdre de leur puissance, souligne Clair. “Nous savons que nos actions sont enregistrées, mais pas nécessairement par qui. Nous savons que nous sommes jugés, mais pas comment. Nos vies et nos possibilités sont modifiées en conséquence, mais de façon invisible.” Reste que les individus, isolés par le traitement même des systèmes, sont démunis, car il est difficile de prouver et de démontrer, sur une base individuelle, l’illégitimité des systèmes.
Bureaucraties et algorithmes ont-ils un rapport avec la rationalité ou l’efficacité ? Le livre de David Graeber permet en effet d’apporter quelques compléments à la courte analyse d’Adam Clair. L’anthropologue et économiste, très marqué à gauche, souligne que si le néolibéralisme a produit une critique très nourrie de la bureaucratie, la gauche, elle, en est dépourvue. C’est donc peut-être pour combler cette lacune qu’il faut lire son stimulant essai.
L’iconoclaste David Graeber y explique notamment que la bureaucratie s’est développée avec le capitalisme plus que contre lui. Les structures bureaucratiques ne sont pas le propre de l’État, mais d’abord du capitalisme qui l’impose comme un moyen d’extraction des profits. L’économie néolibérale, qui proclame toujours son rejet de l’État, des régulations et de la paperasserie, est le premier moteur de la bureaucratie, explique-t-il. Pire, il pointe combien les impératifs administratifs sont devenus la fin du développement technologique lui- même. “Les principes bureaucratiques se sont étendus à tous les aspects de notre existence”. La bureaucratisation de la vie quotidienne, rendue possible par la technologie, n’est pas un effet du progrès technique, mais l’inverse. Graeber soutient ainsi que l’Internet sert à développer des technologies bureaucratiques : nos outils servent à remplir des formulaires qui sont “devenus non les moyens, mais la fin du développement technologique”.[5]
La bureaucratisation n’a aucun rapport avec la rationalité ou l’efficacité, explique encore Graeber, en renvoyant aux formulaires qu’on nous invite à remplir sans cesse en plusieurs exemplaires. Vu de l’intérieur des systèmes, “les algorithmes par lesquels on évalue le monde deviennent […] la mesure et la source même de la valeur”.
La bureaucratie s’impose par la menace et la violence, explique-t-il en observant comment on a préféré développer des techniques favorisant la surveillance, la discipline et le contrôle social à des technologies plus libératrices ou émancipatrices.
Graeber souligne d’ailleurs dans la troisième partie de son livre que nous adorons la bureaucratie. “Elle ne se rend pas seulement indispensable aux gouvernants, mais exerce aussi un attrait authentique sur ceux qu’elle administre”, du fait de leur impersonnalité même qui permet d’imposer de mêmes contraintes à tous.
Pourtant rappelle-t-il encore, les institutions cruciales de l’État providence n’ont pas été initiées par des gouvernements, mais par des syndicats, des associations de quartier, des coopératives et diverses formes d’organisations de la classe ouvrière. Quand elles sont devenues des institutions politiques, elles ont été soigneusement purgées de tout élément démocratique ou participatif, explique-t-il, et fondues dans la structure administrative elle-même.
Or, souligne-t-il encore en comparant la bureaucratie à l’Internet : “la bureaucratie nous séduit – nous paraît plus libératrice – précisément lorsqu’elle disparaît : quand elle devient rationnelle et fiable […]. L’idée même de croire possible une distinction tranchée entre les moyens et les fins, entre les faits et les valeurs, est un produit de la mentalité bureaucratique, parce que la bureaucratie est la première et la seule institution sociale qui considère que les moyens de faire les choses sont entièrement séparés de la nature de ce qu’on fait.” Et Graeber de rappeler que la rationalité comme fin en soi, qui consiste à souhaiter mettre en place des dispositifs cohérents, efficaces… est la preuve non de leur neutralité sociale, mais bien du fait qu’elles s’imposent comme un outil de contrôle moral.
Graeber termine son ouvrage avec cynisme. Pour lutter contre la bureaucratie, on réclame souvent plus de règles et plus de transparence. Or, celles-ci renforcent la bureaucratie plus qu’elles ne la font reculer.
Comme le disait Max Weber, les bureaucraties font partie des structures sociales les plus difficiles à démonter. En sera-t-il de même avec les algorithmes ? Pour paraphraser Graeber, pour lutter contre les algorithmes, on réclame plus de règles et de transparence… Le risque est donc que celles-ci renforcent les algorithmes plus qu’elles n’aident à les faire reculer.
[1] L’auteur a aimablement autorisé la rédaction à reproduire sur papier cet article paru sur le site : http://www.internetactu. net
[2] http://reallifemag.com/rule-by-nobody/
[3] Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, éd. Crown, 2016.
[4] David Graeber, Bureaucratie, éd. Les liens qui libèrent, 2015. 5 David Graeber, “La bureaucratie permet au capitalisme de s’enrichir sans fin”, interview par C. Alix et A. Vécrin, Libération, 16 octobre 2015.