Le philosophe Alexandre Monnin (@aamonnz) et l’économiste Diego Landivar (@landivar_diego) enseignent à l’École supérieure de commerce de Clermont et sont à l’origine de Origens Media Lab (OML), un collectif entre laboratoire de recherche et tiers lieu interdisciplinaire, qui s’interroge sur ce qui se joue derrière la crise écologique. A l’occasion du colloque Écologies Mobiles, qui interrogeait la dimension ambivalente de la culture mobile dans ses aspects les plus sombres, ils ont déroulé une stimulante réflexion en forme de parodie du discours de la Banque publique d’investissement. Les deux chercheurs se présentaient, ironiquement, à la manière de deux entrepreneurs venus exposer leur « business plan pour arrêter le monde et fermer l’avenir » sous la forme d’une banque publique de désinvestissement, désinnovation et désincubation.

Image : Image de présentation de la BPDI, parodiant les visuels de la BPI.

Comment renoncer à une modernisation sans fin ?

Le contexte qui est le nôtre, rappelle Alexandre Monnin, est bien sûr la situation d’effondrement écologique. Un contexte qui n’est pas nécessairement lointain géographiquement ou temporellement, comme le souligne la liste, grandissante, des stations de ski Françaises fantômes (168 au dernier comptage, voir également cette carte). Chaque saison, l’actualité nous demande si le coût de maintenance des sports d’hiver est encore rationnel, à l’image de la récente polémique autour de la livraison de neige en hélicoptère dans une station des Pyrénées. Cet exemple illustre bien la difficulté à renoncer au « front de modernisation » que nous avons produit. Face au réchauffement climatique, à terme et dès à présent, tous les domaines skiables sont impactés : or, ici, il n’y a nulle réserve pour « refaire » de la croissance, pour prolonger le développement économique… « C’est ce contexte de « territoires catastrophiques » qui nous intéresse chez OML ».

Mais, il n’y a pas qu’un contexte, il y a également des clients, s’amusent les deux chercheurs en déclinant leur présentation comme un business plan. « Nos clients sont les patrons effondrés », ceux qui commencent à comprendre et à vivre l’effroi catastrophique, à l’image du PDG d’Axa, qui, dès 2015, soulignait qu’un monde à +4 degrés ne serait plus assurable. Les deux chercheurs rapportent d’autres types de propos de patrons déprimés et de boomers désabusés : « Nous ne savons pas comment faire, faut l’avouer… Moi, je ne vois pas d’autre solution. Il faut qu’on nous impose une planification écologique… car on ne sait optimiser que sous contrainte ! » ; « Ma fille m’a dit : papa, je ne veux pas être ingénieur, je ne veux pas travailler dans ton monde à toi. » ; « La décroissance est devenue le principal horizon d’optimisation financière », confiait même un patron de fonds d’investissement. « On commence à entendre des discours inquiets d’acteurs qui sont pourtant au coeur du système », de gens en pleine schizophrénie entre ce qu’ils font au quotidien et ce qu’ils constatent ou pensent. Des entrepreneurs ouvrent des nouveaux marchés le jour et passent leurs soirées dans des cafés collapso ! En privé, certains politiques commencent à parler de décroissance nécessaire.

Il y a d’autres clients potentiels pour cette agence de désinvestissement publique, notamment les organisations qui planifient leurs fins. Nombre d’entreprises, de directions de la prospective, souvent du fait de la compétition économique, scénarisent leur sortie du marché. A l’occasion du CES 2018, le constructeur automobile Ford a imaginé une ville du futur où les voitures autonomes cèdent le pas aux piétons, reconnaissant même les effets délétères de la voiture sur la ville ! En France, Michelin, travaille sur l’après-pneu, alors que celui-ci est le coeur de son activité. Total a un groupe de réflexion sur l’après-pétrole… D’une certaine manière, nombre d’organisations organisent leur fin et se dotent d’un support d’ingénierie de la fermeture, que ce soit pour changer ou adapter leurs activités, fermer des départements, comme les constructeurs de matériel de ski qui se mettent au street wear… Ici, ce qui est intéressant, c’est moins les déclarations médiatiques, que l’ingénierie applicative qui se met en place pour transformer le domaine d’intervention des entreprises et parfois donc, le réduire. Si l’ingénierie de l’innovation est bien plus explorée que celle de la « disnovation », cette ingénierie de la fermeture existe, à l’image de celle qui travaille à fermer des centrales ou à désamianter (qui ne relève d’ailleurs pas de la même filière que celle qui a produit et déployé l’usage de l’amiante). Quand on s’intéresse à Où atterrir ?, comme nous y invitait Bruno Latour, il faut aussi s’interroger du très concret « Comment atterrir ? »

Pour cela, il est nécessaire d’offrir à ces acteurs, à ces organisations des outils, des technologies, des leviers, dans les formes qu’elles pratiquent. Il en existe déjà d’ailleurs, expliquent Alexandre Monnin et Diego Landivar en évoquant la matrice d’investissement du cabinet de conseil McKinsey, qui permet de situer ses investissements stratégiques sur un marché selon l’attractivité du marché et la position compétitive de l’entreprise sur ce marché, et invite, selon ses positions à investir ou à désinvestir un marché ! Si cette matrice est surtout utilisée pour le renforcement stratégique, elle demeure « acosmique », c’est-à-dire décorrélée de toute insertion dans le monde : le désinvestissement n’est observé qu’en évaluant les coûts et les pertes à court ou moyen terme. Elle est aussi « zéro-durabilité », car elle ne prend pas en compte justement les effets écologiques à long terme des positions stratégiques. Les deux chercheurs proposent de faire évoluer cette matrice pour y introduire une durabilité plus prononcée qui renforce les renoncements stratégiques. Dans cette nouvelle matrice, les positions concurrentielles fortes et le surinvestissement disparaissent, car toute croissance des marchés s’annonce incompatible avec la planète. Dans cette nouvelle matrice, s’il demeure des domaines réservés, c’est en compensant leurs effets écologiques, et au désinvestissement économique et écologique s’ajoutent des possibilités de fermeture et de renoncement à des projets pour des raisons économiques et écologiques. Les positions concurrentielles fortes impliquant par essence une croissance forte, elles, disparaissent du fait de leur incompatibilité avec les limites de la planète.

Image : la matrice de McKinsey, revisitée par OML.

Pour Alexandre Monnin, il nous faut penser l’idée de « destauration », l’envers de l’instauration chère au philosophe de l’esthétique, Étienne Souriau (pour creuser ces termes, je vous renvoie à ce compte-rendu d’une conférence donnée par Alexandre Monnin en 2017), c’est-à-dire l’idée de la fermeture des possibles, d’une réduction, d’un retrait d’activité. Derrière la destauration, il y a aussi la notion de destitution voire même l’idée de désaffectation qu’on trouve chez le philosophe Giogio Agamben. Désaffecter quelque chose consiste souvent à le réaffecter, à défaire le monde pour le faire « atterrir ». La destauration suppose également de faire avec des héritages, avec des futurs passés, qu’il ne s’agit pas seulement de détruire ou de fermer, mais parfois de désintensifier, de rediriger… comme nous y sommes conviés avec la fermeture des centrales nucléaires ou avec le site, contesté, d’enfouissement des déchets de Bure, mais également, d’une autre manière par l’internet des objets ou la blockchain, succédanés de l’informatique ambiante de Mark Weiser, projections industrielles désormais déphasées par rapport à la situation anthopocènique à laquelle nous sommes confrontés. Nous héritons de « futurs déjà obsolètes », comme la 5G, qui commence à être contestée parfois même en interne chez certains opérateurs. Demain, aurons-nous besoin de gilets jaunes anti-techno ? Comment destaure-t-on les mauvaises idées qu’on sait qu’il ne faut pas faire advenir ? Nous manquons d’une ingénierie de la destauration ! Si le designer australien, Tony Fry (Design Futuring, Berg Publishers, 2008, non traduit), parle de futuration pour désigner notre capacité collective à instaurer une relation au monde et à produire un futur commun, habitable, soutenable ; il nous faut imaginer son envers, une défuturation, pour nous préserver d’un futur mort-né, obsolète avant que d’être advenu. À l’heure où l’on ne cesse de parler d’innovation, on ne parle jamais de défuturation, de réaffectation, de destauration… alors qu’on en a certainement plus que jamais besoin.

Destauration, disnovation, défuturation… : il faut inventer les soins palliatifs de l’innovation !

Par exemple, dans la province de l’Alberta, au Canada, il est prévu que les puits de pétrole soient fermés convenablement en fin d’exploitation. Le problème est que personne ne s’occupe vraiment de ces fermetures, que les technologies nécessaires n’existent pas vraiment et que les entreprises n’ont pas d’intérêt stratégique à les développer. Certains ingénieurs estiment qu’au rythme actuel de leur fermeture, il faudra 700 ans pour y parvenir ! Ces enjeux relèvent de la maintenance, de la réparation et du care, du soin… Mais à ces enjeux, il faut ajouter une finalité : la fermeture, qui permet de repenser ces champs de recherche. L’enjeu, soulignent les chercheurs, n’est pas tant de rendre nos technologies durables (elles ne le sont que dans la masse croissante des déchets qu’elles produisent), que de trouver « les modalités des soins palliatifs de l’innovation ». Nous sommes confrontés à des « technologies zombies », pour faire référence au concept de médias zombies (.pdf) développé par les théoriciens des médias Garnet Hertz et Jussi Parikka, des « technologies issues de la révolution industrielle qui fonctionnent et continuent d’envahir le monde, mais qui sont déjà mortes à l’aune de la durabilité », comme le dira dans une autre intervention à ce colloque, le professeur de physique José Halloy (@jhalloy). Il faut envisager d’euthanasier certaines infrastructures !

Pour Diego Landivar, il est nécessaire de regarder les disciplines pensées, bâties, destinées à l’ouverture et à l’innovation – ces technologies pour « forcer les possibles » comme l’explique le théoricien des sciences de gestion, Armand Hatchuel -, pour en penser le versant négatif ! Ainsi, peut-on imaginer un « reverse design », un design inversé, pour détricoter les artefacts techniques, pour les amener à s’aligner sur les limites planétaires… ou encore un versant sombre à la théorie de l’acteur réseau permettant de réfléchir concrètement à comment atterrir et comprendre la difficulté à atterrir. Dans le riche catalogue de concepts qu’ils fourbissent pour décrire des réalités sur lesquelles nous n’avons pas encore de mots, ils parlent également d’entrepocene pour désigner la transformation des figures entrepreneuriales à l’heure de l’anthropocène, ou encore du web qu’on ne peut s’offrir (par opposition au web que l’on souhaite, une campagne lancée par la World Wide Web Foundation)…

Très concrètement, pour donner de la matière à ces concepts, après avoir cosigné en octobre dernier une tribune pour une formation à la redirection écologique dans Le Monde, les deux professeurs viennent de lancer un master dédié à l’ingénierie de la fermeture, pour exploiter très concrètement ces pistes : « Stratégie et Design pour l’Anthropocène ».

« Il est temps d’investir dans le dernier investissement ! »

Un business plan ne serait pas complet sans aborder des fonctionnalités et des scénarios, expliquent Landivar et Monnin en revenant à leur présentation. Quel pourrait être « la dernière application », « la dernière startup » d’un monde en voie de fermeture ? Une application pour devenir survivaliste, peut-être, s’amusent-ils, en pointant la vacuité d’une logique consistant à prolonger sans fin le numérique, à continuer quand continuer n’est plus possible. Pourrait-on imaginer une application utilisable sans l’internet, pour commencer à apprendre à faire sans, pour commencer à nous défaire d’un numérique que l’on voit trop comme un commun qui s’est imposé à nous et dont nous ne saurions plus nous passer ? La fin du numérique est assurément quelque chose à penser, expliquent-ils, invitant à anticiper une situation où le numérique n’est plus viable. Enfin, l’enjeu est certainement aussi d’envisager de faire et surtout de défaire, donc sans numérique. L’enjeu n’est pas de rendre le numérique durable, mais de penser sa fin. De le penser comme un « commun négatif » (voir l’article du juriste Lionel Maurel sur cette notion). Les « communs négatifs » désignent des ressources, matérielles ou immatérielles, négatives, tels que les déchets, les résidus nucléaires, les sols pollués ou encore certains héritages culturels (comme le droit d’un colonisateur…), dont il faut prendre soin collectivement à défaut de pouvoir faire table rase de ces réalités. Cet élargissement de la théorie classique des communs consiste à accorder une valeur négative à des réalités souvent jugées positives, « bucoliques », et à ‘imaginer de nouvelles institutions pour permettre à des collectifs de se réapproprier démocratiquement des sujets qui leurs échappaient. Les stations de ski abandonnées, les fleuves pollués, les sols contaminés… sont autant de communs négatifs pour lesquels nous devons nous demander, comment on en hérite ? Ce qu’on en fait ? Quelles institutions mettre en place pour les gérer ? Comment désaffectons-nous, réaffectons-nous ces communs négatifs ? L’enjeu n’est peut-être pas tant de lutter contre l’obsolescence programmée, que de la favoriser, car « on ne rend pas durables des technologies qui ne le sont fondamentalement pas ! »

« Il est temps d’investir dans le dernier investissement ! », concluent-ils d’un dernier slogan, pour finir de mettre en abîme les perspectives schizophréniques qui sont les nôtres. Assurément, si l’anthropocène s’annonce comme un enjeu pour les organisations, il y a besoin d’ouvrir un nouveau cadre de pensée. Ce que montre l’intervention de Diego Landivar et Alexandre Monnin, c’est combien pour appréhender ces changements auxquels nous devons faire face, nous avons aussi besoin de nouveaux concepts et de nouveaux vocabulaires, pour aider à légitimer d’autres postures et faire émerger d’autres modalités de soutien stratégique et organisationnel, afin d’aider à lever les verrous qui empêchent les organisations de « s’écologiser ».

Hubert Guillaud

Aux États-Unis, de plus en plus d’entreprises utilisent des systèmes automatisés de sélection de candidats, pointe le journaliste Nick Keppler pour Vice. Les logiciels de suivi de candidature comme on les appelle, longtemps réservés aux très grandes entreprises recevant des milliers de candidatures, sont désormais accessibles dans de plus en plus de secteurs et pour tous types d’entreprises et d’embauches (même de stagiaires). En moyenne, estime le site de recherche d’emploi Glassdor, 250 candidats postulent à une offre : un argument fort pour les vendeurs de solutions quand ils s’adressent aux responsables des ressources humaines submergés de réponses… Le marketing de ces outils à destination des recruteurs est clair : il consiste à décharger le travail des RH sur les candidats.

Pour Ifeoma Ajunwa (@iajunwa), spécialiste en droit du travail et auteure de The Quantified Worker (Cambridge University Press, 2020, à paraître), ces systèmes transfèrent le travail des départements de ressources humaines aux candidats, sans se préoccuper beaucoup d’éthique.

Comment battre les algorithmes de tris de candidatures ?

La difficulté, pour les candidats pris dans les rets de ces systèmes de tris automatisés, est d’en sortir, c’est-à-dire se battre contre les bots, ces gardiens algorithmiques, pour atteindre une personne réelle capable de décider de son sort. Lynne Williams, conseillère en gestion de carrière de la région de Philadelphie propose à des candidats à l’embauche une formation pour « vaincre » ces logiciels. Elle explique ainsi qu’une des techniques les plus importantes lorsque l’on candidate est d’adapter son CV et sa lettre de motivation aux mots clefs de la candidature, pour les faire correspondre, car les logiciels de suivi de candidature traquent ces mots-clefs, sans toujours avoir des dictionnaires de synonymes. Cela consiste par exemple à remplacer les termes de directeur, manager ou responsable selon les modalités des annonces. Pour beaucoup de demandeurs d’emploi qui passent du temps à peaufiner lettres de motivation et CV, c’est bien souvent une surprise de constater que leurs efforts ne sont jamais vus par un être humain.

Jack Wei, directeur du marketing du site d’emploi SmartRecruiters, explique que toute candidature génère un profil automatisé depuis les mots clefs du postulant, qui produisent automatiquement un score de corrélation à la demande. La plupart des candidatures sont donc scorées, sans que les demandeurs n’aient accès à ces scores !

Ces technologies obligent les candidats à trouver des moyens pour se faufiler dans le groupe de ceux qui seront retenus et qui pourront, eux, peut-être, enfin accéder à un humain ! Ifeoma Ajunwa évoque ainsi la possibilité de remplir ses CV avec des mots-clefs invisibles (écrits en police transparente, afin qu’ils ne soient lisibles que par les robots). Bien sûr, les plus fortunés des candidats ont également recours à des services spécialisés pour battre ces algorithmes, comme Jobscan. « Savoir utiliser ces astuces ne repose pas sur des compétences professionnelles pertinentes, mais est assurément devenu une compétence essentielle pour la recherche d’un emploi », explique la chercheuse. En tout cas, « les gens constatent très vite que seules les personnes qui utilisent ces savoir-faire obtiennent un emploi ». De plus en plus nombreux sont donc ceux qui s’y conforment.

Des tests de recrutement… très pauvrement corrélés à l’efficacité au travail

Une fois la sélection obtenue, reste encore à passer les tests de sélections. Si ceux-ci sont utilisés depuis longtemps, les logiciels les ont automatisés, à l’image d’Indeed, l’un des sites de recherche d’emploi le plus visité au monde, qui offre aux employeurs des dizaines de modules de tests de compétences ou de tests psychométriques (voir notre critique de l’efficacité de ces tests). Quand on postule à un emploi depuis nombre de sites où l’on en cherche et où on renseigne son parcours professionnel, il est de plus en plus courant de recevoir des demandes d’évaluations et de tests en ligne. Bien souvent, ces tests sont proposés automatiquement, dès qu’on postule, signe qu’aucun être humain n’a encore examiné votre candidature. Ces tests de compétences ne regardent pas celles que vous indiquez dans votre CV et vous proposent donc de vous évaluer, même si vous indiquez des compétences bien supérieures aux évaluations. D’une candidature l’autre, bien souvent, vous êtes invités à passer un test que vous avez déjà passé.

Reste qu’il n’est pas si simple d’y répondre, comme le confie un demandeur d’emploi : la question « Est-ce que je préfère travailler seul ou en équipe ? » dépend entièrement d’un poste dont on ne connait pas toujours très bien les modalités concrètes. Ces tests de personnalité reposent sur le fameux – et controversé – modèle des Big Five, qu’on applique à tous types de candidatures et qui peuvent être discriminants, notamment en détectant des faiblesses psychologiques ou des problèmes mentaux, mais surtout parce qu’ils sont au final très pauvrement corrélés à l’efficacité au travail, comme le soulignait la mathématicienne Cathy O’Neil dans un article pour Bloomberg. En plus des problèmes de discrimination, baser les recrutements sur des tests et des données favorise peu la mobilité professionnelle, puisque ces systèmes regardent l’expérience passée plus que les aspirations, avec le risque de restreindre considérablement les parcours professionnels. Ils négligent les idées, l’ambition, l’adaptabilité ou la compréhension d’un secteur… « Ces systèmes maintiennent les gens dans leur passé plutôt que dans ce qui les inspire », estime un candidat qui, confronté à ces systèmes, ne parvenait pas trouver un emploi adapté à l’évolution de carrière qu’il souhaitait.

Il existe d’autres modalités que ces QCM en ligne : entretiens téléphoniques automatisés, interview vidéo auprès de systèmes complètement automatisés, comme le propose HireVue (ou encore VidCruiter ou Modern Hire), en analysant le comportement d’un candidat en vidéo pour en dégager son profil psychologique. De plus en plus de demandeurs d’emploi doivent ainsi se conformer à des tâches étranges et fastidieuses imposées par des entreprises qui ne semblent pas faire preuve d’une réelle considération pour eux. HireVue a été qualifié de pseudoscience par des chercheurs et l’Electronic Privacy Information Center a déposé une plainte à l’encontre de la startup auprès de la Commission fédérale du commerce au prétexte que ce système basé sur la reconnaissance faciale et vocale ne respecte pas la vie privée des demandeurs d’emploi. Pour Ifeoma Ajunwa, ce type de système s’avère particulièrement discriminant pour nombre de candidats, par exemple pour ceux qui viennent d’une autre culture, où le sourire n’a pas la même signification qu’il peut avoir dans un test de recrutement aux États-Unis.

Comment répondre au risque d’aggravation des discriminations ?

Pour Ifeoma Ajunwa, ces systèmes introduisent de nouveaux mécanismes de discrimination derrière l’opacité de leurs « boîtes noires ». Cette automatisation facilite et occulte la discrimination à l’embauche, alors que ces entreprises se cachent derrière le droit de la propriété intellectuelle pour dresser des obstacles aux contrôles et à l’audit de leurs systèmes. Pour elle, l’égalité des chances à l’emploi crée un « impératif d’audit » de ces systèmes d’embauche algorithmiques, qui permettrait de labelliser les systèmes équitables, défend-elle dans un article de recherche. Or, les demandeurs d’emploi ne sont pas toujours en situation de se rebeller ou de dénoncer ces systèmes. Auprès du Congrès américain, Ifeoma Ajunwa a récemment défendu (.pdf) de meilleures lois fédérales pour mieux protéger les travailleurs d’une surveillance excessive. Dans une tribune pour le New York Times, elle soulignait que ces systèmes automatisée risquait surtout d’aggraver les discriminations à l’embauche, notamment parce que cette automatisation est particulièrement forte pour les emplois les plus précaires. Elle pointait le risque de création de « boucles fermées » d’embauches, où les annonces recrutent certains profils qui sont utilisés ensuite pour établir les critères de nouvelles annonces, à l’image d’Amazon qui, en 2018, avait mis en place un système automatique qui écartait systématiquement les femmes, pour se conformer au modèle en vigueur dans la firme, où 85 % des employés sont des hommes. Ainsi, certains sites ont été accusés par exemple d’exclure des candidats passé un certain âge… Une action collective intentée contre Facebook Business dénonçait la possibilité pour les recruteurs de proposer des annonces d’embauches en excluant certaines populations, à savoir les communautés noires, latinos ou asiatiques…

Pour la juriste et chercheuse, il est nécessaire d’adopter des lois qui permettent aux individus d’intenter des poursuites contre ces systèmes. Or, pour l’instant, ils doivent faire la preuve qu’ils ont subi un traitement discriminant ce qui semble difficile sans avoir accès aux données et modalités de traitement de ces plateformes. Pour Ifeoma Ajunwa, il est nécessaire de permettre au plaignant de demander la charge de la preuve à l’employeur, souligne-t-elle dans un autre article de recherche. Ce serait alors aux employeurs et aux plateformes d’appariements à l’embauche de fournir des preuves statistiques de non-discrimination et d’évaluation des impacts de leurs offres. Un renversement de perspective nécessaire.

Hubert Guillaud

Quelle éthique pour l’ingénieur ? est un manuel dense, riche, complet, en exemples comme en concepts, qui semble plus long que ses 260 pages tant il donne de clés pour s’interroger sur les limites et les failles de la question éthique. Ce livre, signé de la philosophe Fanny Verrax et de la spécialiste en sciences sociales Laure Flandrin, examine nombre d’aspects des enjeux de l’éthique à l’adresse des ingénieurs à l’heure où les controverses liées à la technologie, à son impact social, politique, économique et écologique notamment, sont plus nourries que jamais. L’ouvrage ne fait pas l’impasse sur les difficultés auxquelles sont confrontés ceux qui ont en charge le déploiement des technologies : il souligne au contraire très bien combien les ingénieurs se révèlent un peu déconnectés des réalités. Dociles, peu politisés, profondément technosolutionnistes, les ingénieurs doivent relever à la fois un défi éthique organisationnel, à l’intérieur des entreprises qui sont les leurs, démocratiques, leur demandant d’ouvrir leurs savoir-faire à la discussion avec la société, et écologique, car ils sont au premier plan dans la transition écologique qui s’annonce.

Les deux enseignantes et chercheuses soulignent que si l’éthique individuelle est difficile, l’éthique des organisations l’est plus encore, car elle nécessite des réponses adaptées et spécifiques, où, bien souvent, nombre de processus sont à construire. La politisation de l’ingénieur est au coeur des questions éthiques qui le traverse, et pour cela, il va peut-être devoir apprendre à désapprendre, apprendre à faire moins confiance à sa rationalité, défaire ses certitudes sur le monde… accepter que la technique ne soit ni neutre ni autonome, comme on nous la présente trop souvent, s’ouvrir à d’autres savoirs et faire entrer de la démocratie dans l’orientation des choix technologiques. Pour peser sur les choix techniques que les ingénieurs prennent pour nous, il va nous falloir introduire plus de démocratie dans un milieu qui n’en a pas beaucoup l’habitude. Discussion !

Internetactu.net : Dans le monde de la technologie, la question de l’éthique est désormais au coeur des enjeux. Toutes les grandes entreprises cherchent des modalités pour inscrire ces questions dans leurs priorités, en embauchant des éthiciens, en créant des comités d’éthiques, en se dotant de processus de fonctionnement et de normalisation… Pourtant, ces problèmes ne sont pas récents. Cela fait longtemps que les entreprises interrogent les modalités concrètes du déploiement de cadres éthiques. Mais, comme vous le soulignez dans votre ouvrage « les cadres institutionnels pour exercer la responsabilité demeurent inexistants » et ce alors que l’exigence de responsabilisation s’impose comme « une norme forte dans son statut, mais faible dans son contenu ». On a l’impression que les entreprises cherchent inlassablement des modalités éthiques, sans parvenir vraiment à trouver les moyens de les rendre concrètes. La question éthique dans la technologie est-elle une question insoluble ? Pourquoi échoue-t-elle avec autant de constance ?

Fanny Verrax : Dire que la question éthique est une question insoluble n’est pas la conclusion la plus enthousiasmante qu’on puisse formuler. Effectivement, par rapport au solutionnisme technologique que pratiquent souvent les ingénieurs, l’éthique peut paraître compliquée. Mais si on compare les propositions éthiques aux grandes réponses des autres domaines de la pensée, comme le formulent les sciences sociales, alors les propositions éthiques ne paraissent plus aussi insolubles. L’éthique propose de sortir de solutions très linéaires pour comprendre les enjeux afin d’y apporter des réponses qui ne soient pas monolithiques. Dans leurs cours d’informatique, de mécanique ou de mathématiques, les jeunes ingénieurs apprennent surtout à résoudre des problèmes. La question de l’éthique leur demande une autre approche. Ce n’est pas une démarche qui n’apporte pas de solutions… Mais ce n’est pas non plus une boîte à outils magique.

InternetActu.net : Les processus éthiques mis en place, finalement, bien souvent fonctionnent mal. C’est d’ailleurs peut-être le parent pauvre de votre ouvrage  : si vous observez très bien tous les enjeux de la question éthique, vous donnez peu de solutions, de processus, de méthodes pour l’éthique… tant individuelle que collective ou organisationnelle… Cela signifie-t-il qu’il n’y a pas de solution éthique autre que contextuelle ?

Fanny Verrax : S’il n’y a pas de boîtes à outils magiques, cela ne signifie pas qu’il n’y a pas de boîte à outils. Notre livre se veut à la fois un manuel et un essai. Manuel, parce qu’il y a des savoirs stabilisés sur ces enjeux notamment en terme philosophique, mais c’est peut-être moins le cas sur le sujet de l’éthique des ingénieurs et sur cette réflexion en France. Essai, parce que l’ouvrage se veut aussi manifeste, et défend une thèse : la responsabilité de l’ingénieur ne peut se penser ni de façon purement individuelle, ni seulement politique. Nous avons cherché avec Laure Flandrin à proposer une boîte à outils réflexive plutôt que systématique, permettant d’apporter des outils de contextualisation et d’analyse… Avec ce livre, face à des enjeux complexes, notre objectif était de produire une première étape de réflexion, de proposer un ouvrage généraliste qui s’adresse à tous types d’ingénieurs.

Il existe des boîtes à outils pertinentes effectivement souvent spécifiques. Pourtant, quant à une approche collective de l’éthique, quand on tente de construire une démarche institutionnelle et organisationnelle de ces principes, on passe nécessairement par une simplification des outils et concepts. C’est bien souvent le prix à payer pour la standardisation. Je viens d’être désignée comme experte en éthique auprès de la Commission européenne pour évaluer la conformité éthique des projets de recherche financés par la Commission européenne, une position qui permet d’engager un dialogue avec les équipes de recherche. Dans ce cadre, j’ai suivi une formation dédiée à Bruxelles où l’on nous présentait les directives à utiliser pour l’examen de ces projets. Ces directives peuvent sembler un peu simplistes parfois, car elles consistent à répondre à des listes de questions très simples, auxquelles il faut répondre par oui ou non, du type : « votre projet de recherche implique-t-il des animaux ? » Cela donne l’impression effectivement de vider l’éthique de sa subtilité, de sa complexité. Pourtant, elle n’est pas incompatible avec une démarche éthique individuelle plus complexe, au contraire. La responsabilité nécessite de lier ces deux démarches. C’est ce que nous tentons de souligner d’ailleurs dans notre livre, en montrant que la responsabilité individuelle n’est pas en opposition avec une responsabilité collective, mais offre au contraire une complémentarité pour une meilleure compréhension des enjeux éthiques.

InternetActu.net : Une chose m’a marqué dans votre livre. On a l’impression que l’éthique dans le monde des ingénieurs a tendance à être bien plus conséquentialiste qu’ailleurs (on mesure les conséquences des actions : on peut mentir si cela a un effet positif). Dans de nombreuses professions, comme chez les médecins ou les avocats, l’éthique est plutôt déontologique (des règles et devoirs fixent la morale). Pour tout à chacun, elle tient certainement plus à l’éthique des vertus (l’action morale est celle qui respecte des principes moraux comme l’honnêteté ou le courage). Ces différentes formes d’éthiques finalement ne seraient-elles pas à l’origine d’un conflit, d’une dissonance, d’une incompréhension grandissante entre la société et le monde de l’ingénieur ?

Fanny Verrax : Au quotidien, effectivement l’éthique qui nous orienterait le plus tiendrait de l’éthique des vertus chère à Aristote. En Europe, il y a une influence indéniable de l’Eglise sur l’éthique, qu’on appelle d’ailleurs alors la morale, jusqu’au XVIIIe. Avec l’arrivée des Lumières, Kant propose une approche radicalement nouvelle de l’éthique car fondée sur la raison qui donnera naissance à la déontologie. Un siècle plus tard, l’économiste et philosophe britannique John Stuart Mill formalise quant à lui un troisième cadre méta-éthique, le conséquentialisme, devenu le cadre majoritaire des décisions de nos sociétés, notamment dès qu’autrui est concerné.

Effectivement, là où je vous rejoins, c’est que quand vous souhaitez avoir une approche un peu quantifiable ou computationnelle, la démarche conséquentialiste est la plus pertinente… Donc il y a une affinité plus spontanée entre les ingénieurs et cette démarche : elle permet de calculer un rapport, de mettre en balance des effets positifs et des effets négatifs. Elle se combine aussi très bien à nombre d’approches quantifiables comme l’analyse de risque. Effectivement, d’autres pratiques professionnelles, comme dans les professions médicales, favorisent une approche plutôt déontologique, qui érige des valeurs en principes d’action.

Cette spécificité des ingénieurs tient au fait que leur profession, particulièrement en France, est peu structurée. Les codes déontologiques ont besoin d’associations professionnelles, de corporations fortes pour s’imposer. L’autre raison tient bien sûr à la logique combinatoire de l’éthique conséquentialiste : calculer l’impact, faire la somme entre les effets positifs et négatifs des conséquences d’une innovation, entre en convergence naturelle avec leurs pratiques professionnelles quotidiennes.

InternetActu.net : Une des solutions pour améliorer l’éthique des ingénieurs, consisterait donc à améliorer leur organisation et représentation professionnelle ? Vous soulignez également que leurs lacunes à comprendre les enjeux de l’éthique tient au fait que contrairement à bien d’autres professions, leur statut majoritairement salarié les place dans une situation particulière de tension entre les obligations de loyauté qu’ils ont à l’égard de leur entreprise et celles qu’ils devraient avoir pour l’intérêt général…

Fanny Verrax : Attention, il n’y a pas que les ingénieurs qui sont salariés, mais il est vrai, qu’à type de compétences équivalentes par rapport à d’autres professions, ils sont particulièrement salariés et peu exercent comme freelance, contrairement par exemple à des professions comme avocat ou architecte… Cela implique que la démarche éthique se pose différemment pour eux, tant d’un point de vue individuel que collectif. Dans les chaînes hiérarchiques dans lesquelles ils se situent, ils prennent rarement des décisions seuls et ne sont pas orientés par une déontologie de métier. Collectivement, dans le cadre des entreprises où ils travaillent, ils sont confrontés à 3 grands dilemmes : le choix de leur domaine d’activité, l’alerte éthique et la question du mensonge professionnel.

Pourtant, je ne suis pas convaincue qu’une organisation plus structurée des métiers de l’ingénieur serait une garantie suffisante contre les malversations. Il n’y a pas moins de mensonges professionnels aux Etats-Unis où les associations professionnelles d’ingénieurs sont plus structurées et puissantes qu’en France, alors que les associations y sont plus organisées, ont un code de déontologie et peuvent exclure des membres. Ces codes de déontologie, chartes et serments éthiques brouillent parfois la frontière entre l’éthique et le droit. Mais ne soyons pas trop critiques ! Ces initiatives n’épuisent certes pas le sujet et ne se substituent pas aux autres formes d’éthiques. Ces checklists et chartes formelles de principes ont souvent des vertus, comme d’éviter les points aveugles. Elles ne règlent pas tous les problèmes, mais permettent d’éviter le pire ! L’éthique ne se résume pas à une checklist préventive pour éviter les catastrophes… même si bien souvent, il n’y pas besoin d’une réflexion très subtile pour éviter les pires dommages.

InternetActu.net : On a l’impression que le point faible de l’éthique des ingénieurs demeure leur manque d’ouverture aux questions démocratiques : le solutionnisme technologique semble avoir du mal à faire une place à la participation citoyenne pour orienter les choix techniques…

Fanny Verrax : Je n’opposerai pas ces deux facettes. On peut être dans une approche démocratique solutionniste et dans une approche non démocratique qui ne soit pas solutionniste… Certes, les ingénieurs sont clairement solutionnistes. Ils sont les gardiens d’un savoir-faire technique. Or, on ne leur montre pas, notamment dans leur formation, qu’ils peuvent le partager. Au contraire, il y a souvent chez eux une fierté à comprendre « la boîte noire » et à en être les gardiens.

InternetActu.net : Justement, n’y a-t-il pas chez eux une forme de résistance à « ouvrir les boîtes noires » ? À développer et mettre en place des processus plus démocratiques quant à l’orientation des choix techniques qu’ils font pour le reste de la société ?

Fanny Verrax : Soyons indulgents ! Ce n’est pas le seul corps de métier qui a du mal à partager son savoir, à expliquer, à ouvrir un dialogue avec le reste de la société… Ça ne fait pas si longtemps que les médecins comprennent l’apport des associations de patients par exemple et c’est encore loin d’être le cas de tous ! Le fait d’avoir des compétences techniques élevées a tendance à engendrer des formes de corporatisme et de protection des savoir-faire vis-à-vis des savoirs profanes. Mais j’ai l’impression que cette question relève d’un aspect générationnel : les jeunes générations d’ingénieurs sont probablement plus disposées à expliquer et à faire comprendre au grand public le coeur de leur métier, comme l’Association des ingénieurs sans frontières qui met clairement la démocratie technique au coeur de son activité.

Il me semble que dans de plus en plus d’écoles (il y a plus de 200 écoles d’ingénieurs en France et je n’ai travaillé que dans 3 d’entre elles), il y a une demande des élèves pour que cela change, à l’image du manifeste des jeunes ingénieurs pour un réveil écologique. Certaines écoles y répondent par des nouveaux cursus… Mais construire de nouveaux cursus est long et lent : il faut trouver des enseignants, des méthodes… Les écoles, les entreprises et les institutions vont être de plus en plus appelées à répondre à ce défi, qui ne se résoudra pas par un module de deux heures d’enseignement sur le développement durable ! Le vernis démocratique ne suffira pas à répondre à ces enjeux ! Et ce d’autant que de plus en plus de jeunes ingénieurs valident leurs diplômes sans jamais travailler dans ce secteur ! Ils vont faire autre chose. Chercher un sens qu’ils ne trouvent pas dans le métier qu’ils ont choisi.

InternetActu.net : Un autre constat est frappant dans votre livre, c’est combien les ingénieurs se révèlent un peu déconnectés des réalités. Vous citez notamment les enquêtes de la société des ingénieurs et scientifiques de France qui montrent par exemple, pour un sondage de 2011, que 14% des ingénieurs pensent que si les choses continuent sur leur lancée, nous allons bientôt vivre une catastrophe écologique majeure (contre 89% des Français ou 83% des cadres). 87% des ingénieurs estiment que le génie de l’homme permettra que la Terre reste vivable (contre 51% des Français et 57% des cadres). Derrière ces chiffres, on sent qu’un monde de perception sépare les ingénieurs du reste de la population. Vous soulignez notamment que les ingénieurs sont peu politisés, dociles et profondément technosolutionnistes. Pouvez-vous nous expliquer en quoi ? N’est-ce pas là un signe de difficultés supplémentaires pour adresser les défis éthiques auxquels ils sont confrontés ?

Fanny Verrax : Attention à ne pas stigmatiser les ingénieurs ! Sur ce sujet comme sur d’autres, ça n’a d’ailleurs peut-être pas beaucoup de sens de parler « des ingénieurs » en général. Il convient tout d’abord de distinguer entre différentes générations, par exemple entre ceux qui ont été formés pendant les Trente Glorieuses, une époque où la majorité de la population partage cette foi dans le progrès technique et la croissance économique, et des ingénieurs qui ont grandi après le choc pétrolier de 1973, après Tchernobyl, ou aujourd’hui dans un contexte fortement marqué par les théories de l’Anthropocène. Il y a donc sans doute une tendance générale à plus de précautions et moins de foi béate dans le technosolutionnisme.

Cela étant dit, oui, les sondages cités montrent que les ingénieurs gardent une vision plus optimiste de l’avenir que la plupart des Français, et dans laquelle la technique a un grand rôle à jouer. Une interprétation possible de cette tendance pourrait reposer sur les phénomènes bien connus d’évitement de la dissonance cognitive. Une autre interprétation insisterait plutôt sur la formation des ingénieurs, dans laquelle la place accordée aux humanités et aux sciences sociales et environnementales reste encore assez faible. C’est tout l’enjeu d’une initiative comme Formic : Former l’ingénieur citoyen, portée par Ingénieurs sans Frontières, qui vise à penser une formation humaniste et éthique des ingénieurs.

InternetActu.net : Votre livre adresse 3 grands défis éthiques aux ingénieurs : un défi organisationnel qui pose la question d’une éthique qui s’adapte aux contraintes des entreprises et aux complexités technologiques qui sont les leurs et pas seulement une morale individuelle ou déontologique. Une responsabilité dans le développement technique même. Et une responsabilité environnementale. Face à chacun de ces défis, vous soulignez surtout les difficultés : ils ne semblent pas toujours impliqués dans la responsabilité sociale de l’entreprise, qui semble leur être imposée ; ils rechignent à reconnaître leur responsabilité dans le développement technique et peinent à être moteur d’une démocratie technique ; quant aux responsabilités environnementales nouvelles qui s’adressent à eux, là encore, ils ne semblent pas toujours moteurs de ces transformations… On est trop souvent, soulignez-vous, dans une approche de réduction des impacts (par exemple dans les techniques d’analyse de cycle de vie) que d’évitement ! Qu’est-ce qui ne va pas ? Ces enjeux à venir sont certes difficiles, mais ne résultent-ils pas d’un trop long aveuglement, d’une trop longue assurance de la supériorité de la technique sur la société ?

Fanny Verrax : Oui. Le droit français impose depuis 1976 aux industriels, notamment dans le Bâtiment et les travaux publics, la séquence ERC : « Eviter, Réduire, Compenser », c’est-à-dire que là où on ne peut éviter l’impact environnemental il convient au moins de le réduire, et là où on ne peut réduire, alors on compense. Si l’intention initiale est louable, cette séquence pose néanmoins plusieurs problèmes. L’un d’entre eux, comme nous le soulignons dans l’ouvrage, est que dans la réalité les stratégies de compensation sont largement favorisées, alors même que celles-ci naissent d’une confusion ontologique. Pour prendre un exemple simple, quoique fantaisiste, brûler un hectare de végétation dans une forêt primaire en Amazonie n’est pas compensé par le fait de planter un hectare de pins Douglas dans les Landes Françaises. Or l’approche technosolutionniste ne sait pas gérer cette absence d’équivalence.

InternetActu.net : Vous plaidez, en conclusion pour une meilleure formation à l’esprit critique, pour une meilleure prise en compte du sens politique de la technique en invitant les ingénieurs à s’appuyer davantage sur la société civile (explorer un « pluralisme de perspectives ») et à imaginer un droit de refus qui nécessite d’améliorer l’ouverture démocratique de la technique ! La clé de l’éthique de la technologie, c’est plus de démocratie ?

Fanny Verrax : C’est davantage de réflexivité, de capacités d’analyses économiques et politiques des phénomènes techniques, de modes de gouvernance horizontaux et transparents, dans la formation comme dans les pratiques des ingénieurs, oui, oui et oui ! A titre d’exemple, le philosophe et spécialiste de l’éthique américain Michael Davis recommande aux entreprises qui emploient des ingénieurs d’instaurer un temps de discussion régulier sous la forme de brown bag lunch éthiques. Au déjeuner, chaque salarié apporte ainsi son sandwich et une question éthique empruntée à l’actualité ou au secteur professionnel pour en discuter dans un espace qui n’est pas celui de la prise de décision. L’avantage principal de cette pratique est que quand un problème surgit sur le lieu de travail, les modalités de la discussion – certains philosophes parleraient d’ethos de la discussion – sont déjà en place.

Cependant, dans un contexte de faillite des démocraties occidentales, j’insisterais peut-être plutôt sur un renouvellement du contrat social dans sa forme rousseauiste, c’est-à-dire un modèle dans lequel on ne s’embarrasse pas d’un souverain ou d’un manager pour promouvoir l’intérêt général. Peut-être pas plus de démocratie donc au sens qu’on lui donne habituellement, mais plus d’engagement, c’est certain.

Propos recueillis par Hubert Guillaud

Laure Flandrin est maîtresse de conférences en sciences sociales à l’École Centrale de Lyon et chercheuse associée au Centre Max Weber.

Fanny Verrax (@fverrax) est philosophe. Elle travaille comme consultante et chercheuse indépendante dans le domaine des humanités environnementales et de l’éthique professionnelle.

Partout, les chercheurs universitaires et les grandes entreprises de technologie débattent des meilleures stratégies pour identifier et nettoyer leurs algorithmes de tout préjugé, explique la chercheuse au Media Lab du Massachusetts Institute of Technology Chelsea Barabas (@chels_bar) dans un récent billet pour le blog du Media Lab sur Medium. Mais, comme le disait déjà Kate Crawford, cette quête est vaine, notamment parce que pour ôter les biais, il faut prendre des décisions qui risquent d’en générer de nouveau et sous couvert de corrections « techniques » prendre des décisions aux enjeux politiques conséquents : quelle est la bonne proportion de parité par exemple et comment la déterminer ? Pas si simple ! Il va nous falloir faire avec les biais, explique Chelsea Barabas. Pour elle, nous devons arrêter d’écouter les discours qui clament que les algorithmes nous offrent l’opportunité unique de corriger les biais de nos sociétés, à l’image de la récente tribune que le célèbre économiste comportemental Sendhil Mullainathan (@m_sendhil) tenait dans le New York Times où il expliquait qu’il était plus facile de réparer des algorithmes biaisés que les biais des gens.

« Il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas la peau foncée que de réparer un photographe qui ne voit pas les personnes à la peau foncée »

Ce spécialiste de l’audit des biais – connu notamment pour son livre sur la pénurie mais également pour une étude sur les biais racistes du marché du travail américain – estime qu’on peut facilement corriger les biais des systèmes notamment parce qu’ils sont plus facilement accessibles qu’avant. Dans l’étude sur les biais racistes du marché du travail américain (qui date de 2004), le professeur avait dû envoyer des centaines de CV ou ne changeaient que les noms des candidats, alors que désormais, la discrimination se repère dans les données et les statistiques, à l’image d’une récente étude sur les biais racistes du système de santé américain, il a suffi de repérer la différence de traitement pour des soins de diabète et d’hypertension entre patients  noirs et blancs. À niveau de maladie similaire, les patients noirs étaient considérés comme moins à risque que les patients blancs et les dépenses de santé étaient également moindres pour les patients noirs que blancs.

« Pour mesurer la discrimination raciale par les gens, nous devons créer des circonstances contrôlées dans le monde réel où seule la race diffère. Pour un algorithme, nous pouvons créer des circonstances également contrôlées simplement en lui fournissant les bonnes données et en observant son comportement ». L’étude de 2004 sur les CV n’a pas permis de construire de réponses adaptées, tant il est difficile d’agir sur les préjugés des gens. À l’inverse, sur le biais de soin, il était possible de cartographier les différences de traitement selon la race. Il a donc été possible de proposer un correctif à ce système. « Il est plus facile de changer les algorithmes que de changer les gens », conclut l’économiste. Pour Sendhil Mullainathan, la discrimination algorithmique peut-être plus facilement découverte et plus facilement corrigée… avance-t-il en citant un récent article de recherche qui tente de développer un outil pour détecter la discrimination raciale à l’embauche qui permettrait d’identifier les employeurs discriminants, de surveiller l’évolution de ces discriminations, voire pour les autorités  d’intervenir. Pour lui, les biais peuvent être corrigés, comme il le soutenait déjà dans un article de 2018 coécrit notamment avec le juriste Cass Sunstein : avec une « régulation appropriée », les algorithmes peuvent aider à réduire les discriminations… expliquaient-ils en regrettant que le principal écueil pour l’instant soit justement la régulation. Pour Mullainathan, il est essentiel que des experts puissent avoir accès aux données de tests et aux données utilisées, qu’un organisme d’expertise et de réglementation dédié soit créé… Pourtant, conclut-il avec prudence, si de meilleurs algorithmes pourraient permettre d’assurer un traitement équitable dans notre société, le chercheur concède qu’ils « ne résoudront pas le profond biais structurel qui continue de sévir aux États-Unis. Il n’est pas plus facile de corriger les préjugés de la société que les préjugés des gens. (…) Par contre, il est beaucoup plus facile de réparer un appareil photo qui n’enregistre pas la peau foncée que de réparer un photographe qui ne voit pas les personnes à la peau foncée. »

Devons-nous mettre au point ces technologies, à forte intensité de données, dont l’efficacité est sujette à caution, alors que l’investissement et le développement dans ces technos se font au détriment d’autres solutions ?

Il suffirait donc d’identifier les biais et d’éliminer leurs impacts en réduisant la variable problématique de leurs modèles. La démonstration pourrait sembler convaincante. Pourtant, Chelsea Barabas, elle, n’est pas convaincue. Cet argument – que plus de technique permet de corriger les biais – risque pourtant de persister tant que nous ne reconnaîtrons pas que les innovations algorithmiques sont inextricablement liées aux relations de pouvoir et d’exploitation, concède-t-elle. Pour nettoyer les algorithmes de leurs biais, l’une des méthodes les plus utilisées par les chercheurs consiste à développer leur équité, en renforçant la diversité et l’inclusion : le principe est simple, si nous pouvons inclure plus de personnes dans les données que nous utilisons pour construire nos systèmes algorithmiques, alors ces algorithmes pourront servir un ensemble de personnes plus diversifiées à l’avenir. L’autre méthode consiste à faire disparaître les données ou catégories qui posent problème : c’est ce qu’avait fait Apple avec sa carte de crédit lancée en août dernier, jusqu’à ce que des utilisateurs se rendent compte que celle-ci proposait systématiquement moins de crédit aux femmes qu’aux hommes. Au final, avoir fait disparaître les variables visibles de genre a rendu la détection du biais bien plus difficile… rapportait Wired.

La recherche médicale a historiquement exclu les femmes et les personnes de couleur de ses essais cliniques et les professionnels de santé font preuve d’un certain nombre de préjugés raciaux et sexistes troublants lorsqu’ils administrent des traitements, rappelle la chercheuse. En améliorant les données, les algorithmes pourraient nous offrir la possibilité de corriger ces préjugés afin de rendre les soins médicaux plus inclusifs, à l’image de ce que propose Sendhil Mullainathan.

Mais pour Chelsea Barabas, un nombre croissant de personnes commencent à repousser l’idée que la diversité et l’inclusion soient les principales valeurs à défendre dans la recherche d’une « IA éthique ». Lors d’un récent atelier à Harvard organisé par le Digital Justice Lab intitulé « Please Don’t Include Us » (« Merci de ne pas nous inclure »), des chercheurs ont fait valoir que, pour de nombreuses personnes, l’inclusion dans les systèmes algorithmiques entraîne un danger : celui de voir se développer des systèmes conçus pour surveiller, criminaliser et contrôler ces individus. Nous sommes là pleinement dans la seconde vague de la contestation algorithmique qu’évoquait récemment le chercheur Frank Pasquale. La quête d’une IA éthique, plus inclusive, ne risque-t-elle pas au final de renforcer le contrôle des plus démunis ?

Pour Chelsea Barabas, « la façon qu’a une population de consommer une technologie repose souvent sur la façon dont une autre population est incarcérée par cette même technologie ». La reconnaissance faciale en est un excellent exemple, explique-t-elle. « Pour beaucoup de gens, la reconnaissance faciale est perçue principalement comme un bien de consommation, une commodité [NDE cf. notre propos à cet égard], qui permet à certains d’entre nous d’ouvrir plus facilement leur iPhone sans utiliser leurs mains. Pour d’autres, le logiciel de reconnaissance faciale est surtout perçu comme un prolongement de l’application de la loi, utilisé pour établir le profil des personnes et les criminaliser dans leur vie quotidienne ». Comme le soutient l’activiste Nabil Hassein (@nabilhassein) sur le blog décolonial et anticolonial Digital Talking Drum, dans un billet qui s’oppose à l’amélioration de la reconnaissance faciale pour les personnes de couleur : « à l’avenir, les personnes qui contrôlent et déploient la reconnaissance faciale à toute échelle conséquente deviendront assurément nos oppresseurs. Pourquoi voudrions-nous alors que nos visages deviennent lisibles pour des traitements automatisés ? »

L’inclusion dans les systèmes algorithmiques des populations les plus démunies repose souvent sur des relations coercitives d’extraction de données, comme le pointait très bien la chercheuse Virginia Eubanks, où ce récent et édifiant exemple de Google offrant des cartes cadeaux de 5$ à des sans-abris de couleurs d’Atlanta pour collecter leur visage en 3D. Les recherches médicales par exemple ont souvent et longtemps exploité les populations les plus vulnérables, rappelle Chelsea Barabas. Ce phénomène continue aujourd’hui avec les outils de machine learning les plus à la pointe de la recherche, par exemple, via l’étude des biomarqueurs vocaux qui consiste à étudier les caractéristiques de la voix pour détecter des maladies physiques ou mentales (voir une synthèse du sujet, très enthousiaste, sur Medical Futurist). Mais la promesse de l’étude des biomarqueurs vocaux est aussi convoquée pour filtrer les terroristes potentiels à la frontière américaine, comme le soulignait The Intercept dans un article évoquant la science de pacotille que représente l’évaluation des risques vocaux (voir également notre article critique sur l’absence de fiabilité des technologies d’analyse émotionnelle). Or, cette promesse technologique, malgré ses failles intrinsèques, demeure utilisée par des fonctionnaires du gouvernement américain et les entreprises qui déploient ces technos, comme un moyen de minimiser la partialité des décisions humaines. Pour eux, cette techno vise à rendre la décision sur les demandes d’asile à la frontière plus « équitables ». Pour Chelsea Barabas, cet exemple, parmi d’autres, pose la question des priorités que nous avons à décider en tant que société. Devons-nous mettre au point ces technologies, à forte intensité de données, dont l’efficacité est sujette à caution, alors que l’investissement et le développement dans ces technos se font au détriment d’autres solutions ? Pour Barabas, le risque en promouvant des systèmes éthiques est que les innovations technologiques profitent des inégalités et exacerbent les profondes injustices qui caractérisent nos sociétés. « En tant que constructeurs de systèmes algorithmiques, nous devons résister activement aux pires applications de nos travaux et comprendre que plus nous nourrirons nos systèmes de données, plus cela va permettre de renforcer l’exploitation et la criminalisation systématique des communautés les plus vulnérables ». « Nous devons construire des structures de responsabilité autour des algorithmes que nous produisons, afin de nous assurer que les personnes qui servent souvent de base aux innovations algorithmiques en bénéficient également. Nous devons dépasser le stade de la « partialité » et des biais, si nous voulons que nos innovations aient un impact positif sur le monde », conclut-elle. Autrement dit, pas de contrôle sans garantie, pas de surveillance sans contrepartie… ou alors, pas de surveillance du tout ! Quelque part, ce que Chelsea Barabas dénonce c’est le prisme du contrôle et de la surveillance qui envahit tous nos outils, plutôt que de proposer des modalités d’autonomisation ou de libéralisation. Les cadres éthiques qui posent la diversité et l’inclusion comme une solution à la partialité sont fondamentalement limités, car ils négligent des questions importantes concernant les avantages et les inconvénients des innovations qui sous-tendent les nouvelles technologies. Pour elle, nous devons d’abord questionner les conditions sociales de l’innovation. Non pas nier ou refuser les biais, mais au contraire, les rendre plus visibles et lisibles, car ils sont toujours là. Comme disait Cathy O’Neil, les algorithmes restent des opinions formalisées dans du code.

En juillet 2019, Chelsea Barabas avait signé avec ses collègues Karthik Dinakar et le juriste de l’école de droit d’Harvard Colin Doyle une intéressante tribune dans le New York Times qui pointait le problème spécifique des outils d’évaluation des risques criminels (et qui avait donné lieu à une condamnation de ces techniques par une trentaine des meilleurs spécialistes du domaine). Or, rappellent les chercheurs, ces outils offrent aux juges des recommandations qui font croire que la violence future semble plus prévisible et plus certaine qu’elle ne l’est en réalité. Ce faisant, les évaluations du risque perpétuent idées fausses et craintes qui sont déjà à l’origine, aux Etats-Unis, d’une incarcération massive avant procès. Cognitivement, les juges, par crainte de libérer des individus potentiellement dangereux, surestiment le risque pour refuser la libération avant procès. Pourtant, « même dans les villes où le taux de criminalité et le taux de mise en liberté provisoire sont élevés, il est rare qu’une personne commette des actes de violence en attendant son procès ». Pour limiter cette surincarcération, les juridictions ont de plus en plus recours à des outils d’évaluation des risques criminels. En utilisant de grandes quantités de données sur les antécédents criminels, les algorithmes d’évaluation du risque tentent de calculer le risque de violence future d’une personne en se fondant sur les tendances de la fréquence à laquelle des personnes ayant des caractéristiques similaires ont été arrêtées pour un crime violent dans le passé. Les différents algorithmes s’appuient sur des caractéristiques personnelles différentes, comme les condamnations antérieures, la durée de l’emploi actuel ou même le code postal. Certains tiennent même compte du fait qu’une personne possède ou loue une maison ou un téléphone mobile.

Pour leurs promoteurs, les évaluations algorithmiques du risque sont présentées comme étant plus objectives et plus précises que les juges pour prédire la violence future et reposent sur l’espoir qu’elles puissent corriger l’intuition humaine trop souvent défectueuse des juges. Le problème est que les étiquettes d’évaluation des risques qui s’affichent sur les dossiers masquent surtout la profonde incertitude des prédictions, notamment parce qu’à nouveau, la violence avant un procès est rare, il est statistiquement impossible d’identifier des personnes plus susceptibles que d’autres de commettre un crime. 92% des personnes que l’algorithme signale comme pouvant commettre un acte violent avant procès ne sont pas arrêtées. En fait, ces outils sacrifient l’exactitude au profit de distinctions douteuses entre des personnes qui ont « toutes une probabilité faible, indéterminée ou incalculable » de commettre un crime avec violence. Ces évaluations algorithmiques du risque étiquettent les personnes comme étant à risque sans donner aux juges une idée de la probabilité ou de l’incertitude sous-jacente de cette prédiction. Par conséquent, ils participent à surestimer le risque de violence et l’incarcération provisoire… c’est-à-dire à renforcer le biais des juges. Le développement de prédictions risque surtout de cimenter les craintes irrationnelles et la logique de l’incarcération massive derrière un vernis d’objectivité pseudo-scientifique. Ni les juges ni les logiciels ne peuvent prédire qui commettra ou non de crimes violents.

Certaines technologies sont certainement incompatibles avec la démocratie

Dans une tribune pour la Boston Review, les philosophes Annette Zimmermann, Elena Di Rosa et Hochan Kim, s’énervaient également du risque de neutralisation des biais… cette promesse, comme le souligne Irénée Régnault de Mais où va le web ? qui a consacré un article détaillé à cette tribune, d’autorégulation des algorithmes. Mais la neutralité ne signifie pas la justice. Pour les philosophes, la quête d’algorithmes plus justes « ne réside peut-être pas dans leur amélioration, mais dans le fait de décider de ne pas les déployer ».

Pour les trois philosophes, rendre les algorithmes plus justes n’est pas suffisant, il faut entendre que certaines technologies sont certainement incompatibles avec la démocratie. Pour eux également, « il convient donc d’aller plus loin et d’interroger les liens entre les systèmes d’intelligence artificielle et les configurations sociales et politiques existantes », se demander en quoi un système exploite et développe des inégalités. Pour contester les dimensions sociales, morales et politiques de la décision algorithmique, nous avons besoin de processus publics et démocratiques adaptés à ces enjeux par des autorités de contrôle indépendantes, des processus de délibération citoyens, des associations et des journalistes qui fassent un travail d’enquête et de révélation des problèmes… Comme le dit Irénée Régnauld, pour mieux réguler les technos, il nous faut certainement plus de démocratie… Reste que plus de démocratie ne signifie pas nécessairement que les excès des systèmes puissent être contrés (« on peut tout à fait prendre de « mauvaises décisions » démocratiquement »). Autant dire que, pour saisir les enjeux de ces systèmes, nous avons certainement besoin d’une démocratie et de débats bien plus vivants qu’ils ne sont.

Hubert Guillaud

Fin décembre 2017, la ville de New York avait lancé un groupe de travail sur la question des algorithmes (appelé New York City Automated Decision Systems (ADS) Task Force que nous évoquions rapidement ici), chargé d’élaborer une politique sur ces questions. Saluée comme une initiative modèle, le groupe de travail était censé produire des règles pour encadrer l’utilisation des technologies de traitement dans les politiques publiques. Mais voilà, rapporte CityLab, l’initiative s’est enlisée. Le groupe de travail n’a même pas réussi à avoir accès aux informations de base sur les systèmes de traitement automatisés déjà utilisés par la ville ni à produire un catalogue de ces systèmes.

Le rapport non officiel (.pdf) (intitulé « Se confronter aux boîtes noires ») publié par l’AI Now Institute (@ainowinstitute) s’inquiète justement des limites des procédures administratives existantes pour affronter les décisions automatisées. À l’heure où les décisions sont de plus en plus automatisées, la question du contrôle de l’équité de ces décisions demeure souvent entière, et ce alors qu’en reproduisant nos biais, ils peuvent se révéler encore plus injustes et discriminants que d’autres types de procédures. Le groupe de travail de la ville de New York – qui comprenait également Meredith Whittaker, cofondatrice de l’AI Now Institute – a formulé des recommandations structurelles en recommandant la création d’une structure dédiée au sein de l’administration municipale auquel le maire de New York, Bill de Blasio, avait répondu positivement en créant un poste de responsable de la gestion et des politiques algorithmiques au sein du bureau des opérations du maire, mais qui semble avoir relevé pour l’instant du pur affichage. Les membres du groupe de travail ont souligné que les organismes municipaux n’ont pas été à même de fournir une liste des systèmes automatisés en service, du fait des secrets commerciaux liés aux technologies de leurs fournisseurs de services. « Il y a eu des retards et des obscurcissements, puis, au printemps 2019, des refus catégoriques », a expliqué Albert Fox Cahn à Fast Company, directeur exécutif de l’association Stop Surveillance (@STOPSpyingNY), du Centre pour la justice urbaine (@urbanjustice) qui a participé à ce groupe de travail. Cahn rappelle dans sa tribune que la Task Force avait pour but d’examiner toutes les fonctions automatisées de la ville : de la répartition scolaire des élèves en passant par les logiciels qui décident du ramassage des ordures… Il souligne que le conseil municipal avait d’abord exigé que la ville n’ait recours qu’à des systèmes de décision open source, mais qu’elle a rapidement cédée sur ce point. Il explique encore que les discussions du groupe de travail se sont rapidement enlisées autour de la question visant à déterminer ce qui relevait ou ne relevait pas de décisions automatisées, sans parvenir à un consensus pour déterminer le périmètre de leur action. Petit à petit, le périmètre s’est restreint aux systèmes d’IA et de machine learning, excluant les formes d’automatisation plus simples, celles, nombreuses, qui fonctionnent via un simple tableau sous Excel. Or, souligne-t-il « Vous n’avez pas besoin d’un modèle en langage naturel de plusieurs millions de dollars pour développer un système dangereux qui prend des décisions sans surveillance humaine, et qui a le pouvoir de changer la vie des gens ». Les fonctionnaires de la ville ont tenté de limiter le champ d’action du groupe de travail au code source algorithmique, mais sans parvenir à ouvrir au groupe de travail un accès à ces codes. Ce n’est pas tant que les données n’existent pas, pointe Cahn : la ville dispose d’informations sur les systèmes et même des informations sur leurs fonctionnements, mais il est difficile pour les services d’assumer une transparence. Le rapport officiel de la ville en reste à des préoccupations sur les biais, le financement ou la régulation nécessaire, sans faire de réelles propositions pour lever ces difficultés.

Si le récent rapport (.pdf) de la ville de New York reconnait que le groupe de travail a eu des difficultés à obtenir des informations du fait de la protection liée au caractère propriétaire des systèmes utilisés. Le rapport non officiel souligne que les municipalités doivent mieux contrôler les contrats qu’elles passent avec les fournisseurs de technologies, notamment via des clauses d’obligation de transparence. Pour l’AI Now Institute, l’échec de New York risque d’être un bien mauvais exemple pour toutes les autres administrations et risque de créer un dangereux précédent permettant aux villes de ne rien faire pour améliorer ces situations. La ville de Portland qui a récemment adopté une résolution sur la protection de la vie privée a demandé une évaluation des impacts des systèmes de décision automatisés, mais elle n’a pas réalisé d’inventaire des systèmes concernés, a déclaré Hector Dominguez coordinateur des données ouvertes de la ville. À Seattle, la ville a mis à jour une liste (.pdf) de technologies de surveillance utilisées par les agences municipales. La ville et le comté de San Francisco ont eux recours à une boîte à outils pour évaluer l’impact des systèmes algorithmiques.

Dans un article, les professeurs Deidre Mulligan (@DMulliganUCB) et Kenneth Bamberger de Berkeley, estiment que les autorités doivent mettre à jour leurs politiques d’achats de technologie, pour « passer d’une mentalité de passation de marchés publics à une mentalité de décision politique », afin de permettre de construire et d’utiliser des outils qui soient alignés avec les valeurs que les collectivités veulent mettre en oeuvre (dans son livre, Ben Green, le data scientist de la ville de Boston, ne disait pas autre chose). Comme ils le soulignent encore dans leur article, le risque est de laisser les décisions de conception aux services privés et d’abdiquer la responsabilité des acteurs publics et la participation du public dans l’élaboration des politiques publiques. Pour eux, il est nécessaire d’avoir recours à une conception « contestable » (qui fait écho aux modalités de contestations que nous évoquions il y a peu), c’est-à-dire « une conception qui expose les valeurs des caractéristiques et des paramètres choisis et qui prévoit une participation humaine et itérative à l’évolution et au déploiement des systèmes de décision automatisés ».

L’exemple emblématique de cet échec fait écho aux échecs récents que bien des entreprises de technologie ont rencontré à mettre en place des garde-fous, via des comité d’éthiques dédiés à la question de l’IA. Il souligne également combien les politiques publiques ont une marche de responsabilité à franchir pour devenir exemplaires : et cet enjeu là ne se limite pas à New York ou aux villes américaines, mais concerne dès à présent les politiques publiques de tous les pays engagés dans des questions de transformation numérique.

*

Profitons de cet article pour faire, comme chaque année (2018), un point rapide sur un autre rapport de l’AI Now Institute : son rapport annuel 2019 (.pdf) qui pointe 12 recommandations pour améliorer les questions de justice liées au déploiement des systèmes automatisés :

• – Interdire l’analyse émotionnelle automatisée (c’est-à-dire toutes les technologies qui visent à faire de l’analyse de sentiment, de personnalité, des émotions ou relatives à la santé mentale) ;
• – Décider d’un moratoire sur la reconnaissance faciale, notamment liée à leur utilisation dans les milieux sociaux sensibles et sur des questions politiques allant de la surveillance au maintien de l’ordre, à l’éducation et à l’emploi ;
• – Fournir des mesures de protection pour les communautés contre lesquels ces technologies sont utilisées, afin qu’elles puissent évaluer, contester ou rejeter leur déploiement ;
• – Invite l’industrie de l’IA a apporter des changements structurels pour remédier au problème systémique de son absence de diversité ;
• – Inviter la communauté des chercheurs à dépasser la question de l’équité technique et de correction des biais pour s’intéresser à la politique et notamment aux conséquences de l’utilisation de l’IA, à ces effets en matière de classification et déplacer ses préoccupations jusqu’aux enjeux « non techniques » (comme nous y invitait déjà la fondatrice de l’AI Now Institute, Kate Crawford) ;
• – Renforcer l’étude sur l’impact climatique de cette industrie ;
• – Ouvrir un droit à la contestation à l’encontre des décisions abusives liées aux systèmes automatisés, notamment pour les travailleurs confrontés à ces systèmes, via leurs syndicats.
• – Permettre aux ingénieurs qui travaillent sur ces systèmes de contester les développements non éthiques dont ils participent ;
• – Renforcer la législation sur la protection biométrique de la vie privée, car les données biométriques de l’ADN aux empreintes faciales sont au coeur des utilisations les plus toxiques de l’IA ;
• – Réglementer l’intégration des formes de surveillance publiques et privées, commerciales et étatiques en rendant obligatoire la transparence des partenariats, des acquisitions et des contrats entre ces deux secteurs ;
• – Elargir les études d’impact algorithmiques aux questions de climat, de santé et de déplacements ;
• – Améliorer l’enseignement de l’IA notamment en obligeant les chercheurs à documenter leurs modèles et leurs données ;
• – Enfin, les législateurs devraient exiger un consentement éclairé pour l’utilisation de toute donnée à caractère personnel dans le cadre des applications d’IA liées à la santé.
Tweet
Pocket
]]> 2817 https://www.lemonde.fr/blog/internetactu/2020/01/22/logiciels-de-planification-des-horaires-dans-les-biais-cognitifs-du-management-par-les-couts/ Wed, 22 Jan 2020 10:34:42 +0000 https://www.lemonde.fr/blog/internetactu/?p=2811 Continuer la lecture de « Logiciels de planification des horaires : dans les biais cognitifs du management par les coûts »
]]>
0 0 0

Les logiciels de planification des horaires des employés sont très courants dans la distribution et la restauration notamment (aux États-Unis, ces logiciels impactent la vie de 16 millions de personnes qui travaillent dans la distribution et 12 dans la restauration). Ils ajustent les heures de travail en prévoyant l’affluence en magasin (et donc le nombre d’employés nécessaires) selon d’innombrables données comme l’historique des ventes, l’affluence, la météo… explique la journaliste et essayiste Brigid Schulte (@BrigidSchulte) – auteur de Overwhelmed (Débordé : travailler, aimer et jouer quand personne n’a le temps, Harper Collins, 2014, non traduit) et directrice du Better Life Lab (@BetterLifLab) du think tank centriste New America – dans une enquête pour le Washington Monthly. Pourtant, si nombre de magasins ou de restaurants semblent dysfonctionnels pour les clients (mauvais service, absence d’aide et d’information, attente interminable…), peut-être est-ce lié à la manière dont le management organise le chaos dans la vie même de leurs employés. Les horaires chaotiques de bon nombre d’employés (semaines de travail irrégulières, agenda incohérent…) sont liés aux logiciels utilisés et aux prédictions incertaines qu’ils calculent, puisque, malgré celles-ci, bon nombre d’ajustements doivent être faits au dernier moment en appelant ou décommandant un employé dans l’heure.

Des systèmes indifférents aux conditions d’existence

« L’ordonnancement algorithmique a fait des ravages dans la vie, la santé, la stabilité financière et les perspectives d’avenir de millions de travailleurs du secteur des services ». Des millions de travailleurs et leurs familles sont « pris au piège d’un cycle sans fin de travail précaire et imprévisible à bas salaire ». Les ordinateurs décident quand un humain travaille, combien de temps et s’il travaille. En ne le voyant que comme un paramètre dans un tableur, une pièce d’un puzzle, indifférent à ses conditions d’existence. Le développement de ces systèmes n’a pas eu d’autres visées qu’améliorer l’efficacité et les rendements, en calculant au plus juste la main-d’œuvre, c’est-à-dire les dépenses.

Pourtant, ces logiciels pourraient très facilement être programmés pour traiter les employés comme des êtres humains. Certaines entreprises l’ont déjà compris et ont constaté que cette correction n’améliorait pas que la santé et le bien-être des employés, mais également la satisfaction client et les ventes. Mais ce n’est pas le cas de la majorité des entreprises : pour la plupart, elles les utilisent pour punir les travailleurs les plus pauvres et les maintenir dans leur état. Ces logiciels se sont surtout déployés avec le développement du temps partiel suite à la crise de 2008. Selon plusieurs études menées par les démographes et sociologues Daniel Schneider (@dannyjschneider) et Kristen Harknett (@kristenharknett), ceux-ci ont longuement observé comment la crise avait affecté les ménages américains (chute de la natalité, augmentation du taux de divorce…) : la montée du chômage et la perte d’emploi semblaient les principales raisons de ces nouvelles instabilités. Pourtant, les chercheurs ont constaté que ces conséquences se prolongeaient même chez ceux qui avaient conservé un emploi ou en avaient trouvé un nouveau. En fait, la précarité et l’instabilité (le fait de ne pas savoir quand ni combien de temps ils travailleraient) semblaient des facteurs d’explication plus marqués que d’autres.

Depuis 2016, les deux chercheurs ont lancé le projet Shift (@Shift_UCB), qui s’intéresse aux effets des pratiques de planification des horaires sur la santé et le bien-être des travailleurs pour mesurer comment les entreprises transfèrent leurs risques vers les travailleurs et leurs familles.



Plus de la moitié des travailleurs à faibles salaires recensés indiquent que leurs volumes horaires et leurs horaires changent de jour en jour et de semaine en semaine. Deux tiers indiquent devoir être disponibles en permanence si on les appelle. 90% qu’ils n’avaient pas ou peu d’influence sur l’établissement de leurs horaires de travail. Et bien sûr, cette impuissance et cette grande volatilité des horaires s’aggravent si vous êtes une femme, une personne de couleur, un jeune, ou une personne avec des enfants. Les postes stables semblent de plus en plus rares : pour nombre de salariés de ces secteurs, la flexibilité est la règle.

Or, constatent les chercheurs, l’irrégularité des horaires est associée à des niveaux plus élevés de dépression, de stress, de nervosité, de désespoir, de trouble du sommeil… (à salaire équivalent par rapport à un travailleur ayant des horaires stables et réguliers). Normal : contrairement aux dépenses, les revenus des salariés ainsi précarisés peuvent fluctuer de 30% d’une semaine l’autre. Pour les chercheurs, des horaires plus prévisibles ont plus d’impact sur la santé et le bien-être qu’un meilleur salaire, du fait de la désorganisation et de l’absence de contrôle que cela implique. Pire, les chercheurs ont récemment souligné que ce stress du temps désorganisé avait des conséquences sur les enfants, chez qui on retrouve des niveaux d’anxiété, de stress et de dépression plus élevés que ceux dont les parents travaillent à heures fixes.

Le biais cognitif du management par les coûts

Syndicats et associations de travailleurs ont commencé à combattre ces horaires volatiles. En février, des travailleurs ont gagné un recours collectif en Californie en arguant que la planification d’horaire à la volée tenait d’une forme de retenue de salaire abusive. Plusieurs organisations ont fait adopter une loi sur les horaires stables. D’autres villes et États ont adopté des lois sur l’établissement d’horaires équitables, permettant d’apporter un meilleur préavis et de garantir une rémunération en cas de déplacement annulé au dernier moment. Depuis 2018, après nombre de contestations, Walmart garantit désormais un préavis de 2 semaines sur les horaires et permet à ses employés de choisir des heures de base et a introduit 9 heures de repos entre les quarts (pour empêcher que des gens terminent tard et reprennent le lendemain matin tôt). L’entreprise a également créé une application pour permettre à ses employés d’échanger leurs quarts de travail, un dispositif important pour introduire de la souplesse dans ces processus. Autant de changements qui ont permis de réduire les taux d’absentéisme, mais aussi d’augmenter la productivité et les ventes. Car contrairement à ce que pensent les entreprises, ces horaires flexibles ont bien plus d’impacts négatifs que la seule économie immédiate sur les dépenses qu’ils promettent.

Pour remédier à cela, il suffit bien souvent de configurer autrement ces logiciels de gestion d’horaires et de favoriser la régularité d’une semaine l’autre. Bien souvent, explique la chercheuse Susan Lambert, la question de l’instabilité des horaires ne dépend pas que du logiciel, notamment parce qu’il ne sait pas affronter les imprévus, comme une livraison ou une promotion de dernière minute. Or, les gestionnaires sont poussés à atteindre des objectifs de vente stricts, calculés au jour voire à l’heure même, basée sur des prévisions qui prennent en compte historique des ventes, météo, affluence… et ventes en temps réel pour s’ajuster toujours plus finement. Et pour parvenir à tenir ces objectifs, les logiciels brident également les budgets de main-d’œuvre. « Ce qui se passe, explique Susan Lambert, c’est qu’un gestionnaire dit : « Nous étions censés vendre 60 pulls à l’heure actuelle, mais nous n’en avons vendu que 30 ! Quelqu’un doit rentrer chez lui !”

Pour le professeur en marketing Saravanan Kesavan, les coûts liés au manque de personnel ne peuvent pas être mesurés facilement, alors que le sureffectif (qui a peut-être un coût moindre), est très visible. Pour Marshall Fisher, professeur à la Wharton School, les entreprises sont confrontés à un biais cognitif, une mentalité d’école de commerce qui les incite à devoir à tout prix maintenir des coûts de main-d’œuvre faibles (« un management par les coût » courtermiste qui promeut la surveillance pour améliorer la productivité, ce qui est loin d’être démontré !)… Et pour elles, la seule manière de tenir cet objectif serait d’avoir recours à des horaires instables. Pour Rachel Deutsch, qui dirige l’initiative pour une semaine de travail équitable (voir également la campagne lancée) au Centre pour la démocratie populaire (@popdemoc), ces hypothèses sont fausses, mais omniprésentes. En Oregon, les entreprises de ventes au détail, d’hôtellerie et de restauration comptant plus de 500 employés sont tenues de donner des estimations de bonne foi des heures de travail mensuelles. À partir de 2020, elles devront donner aux travailleurs leurs horaires 2 semaines à l’avance, un droit de repos d’au moins 10 heures entre les quarts de travail, un droit de regard sur leurs horaires et une compensation pour tout changement d’horaire de dernière minute.



Pourtant, il n’est pas nécessaire de modifier la loi pour traiter convenablement ses employés, rappelle la célèbre spécialiste du management Zeynep Ton du Good Jobs Institute du MIT qui a publié l’un des livres de référence sur le sujet « Stratégie pour de bons emplois : comment les entreprises les plus intelligentes investissent dans leurs employés pour réduire les coûts et augmenter les profits (non traduit, Amazon Publishing, 2014). Comme le souligne la responsable des relations humaines de Mud Bay, une coopérative d’aliments pour animaux qui a déployé son propre logiciel de planification d’horaire : « ce n’est pas à la technologie de décider comment faire tourner notre entreprise ».

Hubert Guillaud

Tweet
Pocket
]]> 2811 https://www.lemonde.fr/blog/internetactu/2019/12/12/technopouvoir-comment-le-numerique-est-devenu-lenjeu-de-son-propre-accomplissement/ Thu, 12 Dec 2019 09:37:14 +0000 https://www.lemonde.fr/blog/internetactu/?p=2807 Continuer la lecture de « Technopouvoir : comment le numérique est devenu l’enjeu de son propre accomplissement »
]]>
0 0 0

Avec Technopouvoir : dépolitiser pour mieux régner (Les liens qui libèrent, 2019), Diana Filippova (@dnafilippova), responsable éditoriale de l’agence Stroïka, cofondatrice du mouvement politique Place Publique et de la communauté promouvant la société collaborative, Ouishare, signe un puissant essai de philosophie politique critique de la technologie et de ses effets. Un livre dense, plutôt impressionnant et qui ne réduit pas la complexité de son sujet, mais au contraire, le déploie.

Technopouvoir est assurément un livre technocritique, qui s’inscrit dans cette filiation riche, ancienne, nourrie qui a déjà produit une réflexion dense et abondante, mais qui est resté à la marge, incapable de produire les effets de ses constats. De l’extérieur, le technocritique est demeuré le technophobe. Pour Diana Filippova, malgré ses efforts, si la technocritique n’a pas produit d’effets, c’est peut-être parce que, malgré la justesse de ses constats, elle peine à saisir l’intrication technique qui est la nôtre. Pour elle, le choix même du terme technopouvoir – plutôt que technoscience – souligne combien, avec le numérique, la technique a définitivement pris le pas sur la science. Les technologies sont devenues des objets de pouvoir, c’est-à-dire « un répertoire d’actions, de stratégies, de tactiques qui se fondent sur les techniques et leur organisation afin de nourrir ceux qui exercent le pouvoir, souhaitent le conserver ou entreprennent de la conquérir ». Le technopouvoir est un enchevêtrement de logiques techniques transformées en modalités de pouvoir. La puissance de la techno, n’est plus tant le bras armé du capitalisme, que le moyen, le milieu de sa propre réalisation, comme si la technologie avait assujetti à sa propre efficacité tant le politique que le pouvoir économique. Le numérique, l’architecture technique de la technologie, est devenu l’arme ultime : l’enjeu de son propre accomplissement. À l’heure du changement permanent, « la politique est dès lors réduite à l’organisation des conditions et de la gestion de ce changement », c’est-à-dire à l’organisation des conditions du marché par la techno, au détriment de la politique elle-même. « La politique n’est plus le royaume des fins, mais celui des moyens destinés à atteindre des buts qui s’imposent à lui de l’extérieur ». Le politique est rétrogradée au rang de technique que seule la technique peut activer ! La Chine comme les États-Unis, Facebook comme Google, disposent du même arsenal technique. Les technologies de pouvoir sont également autoritaires, quels que soient les pays ou les entreprises qui les proposent, et reposent tous sur le contrôle qu’elles induisent et l’efficacité qu’elles produisent. La technique nous est pourtant présentée comme neutre, dépolitisée, comme si elle n’offrait « aucune alternative » à son propre accomplissement, comme si elle était « le produit de forces naturelles sur lesquelles nous n’aurions pas prises » – et effectivement, nous n’en avons pas beaucoup, tant son imbrication, son intrication semble totale. Il semble n’y avoir plus aucune alternative à la totalisation technique : pas même un espace pour débattre de ses fins. La critique technologique est désarmée, tant elle est confrontée à une totalisation toxique. « La complexité. L’invisibilité. L’enfouissement des causes et des effets dans la coque opaque d’un système-objet dont on nous dit qu’il s’utilise et s’observe plutôt qu’il ne s’explique et se comprend. Un système total, interdépendant, dont aucune partie ne peut-être remise en cause sans ébranler le tout ». La technologie a caché ses effets dans ses tréfonds : l’extractivisme et le désastre écologique qu’elle induit sont enfouis sous la douce et rassurante lumière des écrans, l’injustice sociale sous la réactivité immédiate, l’exploitation et l’aliénation sous la commodité… « Notre société qui valorise l’appât du gain et la réussite individuelle se retrouve autant dans les voitures que dans les plateformes numériques dont elles sont le produit. » Le numérique semble l’accomplissement parfait de l’efficacité de la technique pour elle-même, même si l’on peut s’interroger sur les valeurs que porte cette efficacité, cette optimisation permanente d’elle-même.

Le technopouvoir s’impose par des techniques, des « micropolitiques » (qui agissent sur les corps comme sur les idées, les comportements, les conduites individuels et collectifs), qui sont autant de moyens de dépolitisation « en vue de l’accomplissement le plus efficace possible de fins éminemment politiques » : le design, le nudge, la manipulation douce, le storytelling… sont les modalités pour produire en profondeur le « système technicien », c’est-à-dire sa complexité pour elle-même, sa « boîte noire ». Nous sommes face à une complexité qui n’est plus compréhensible, que nous ne sommes capables seulement d’observer, d’orienter, de « gouverner », c’est-à-dire d’en gérer les externalités et le fonctionnement. Seul compte le résultat : cette efficacité pour elle-même ! La complexité est la structure de la technique qui permet de l’imposer à tous, en enfouissant les causes et les finalités, et en imposant à fois l’impossibilité à la comprendre comme l’impossibilité à la contester. Le chiffre et la mesure deviennent le but de l’action. La gouvernance ne repose plus sur la subordination des individus, mais sur leur programmation pour mieux les mouler dans et au système. Le technopouvoir s’impose par l’obéissance. L’idéologie n’est pas terminée, elle s’est fragmentée et individualisée, elle s’est enfoncée dans les profondeurs des choix techniques…

Le livre de Diana Filippova est un livre désabusé sur la puissance de la technologie. Le Technopouvoir en s’infiltrant dans toutes les modalités de gouvernement sous forme de microdécisions est en train de réussir la dépolitisation du monde au profit de la seule perspective d’un progrès technique sans fin ni but, autre que lui-même, sans espace d’autonomie individuelle ou collective. « L’automatisation n’est plus un choix, mais un impératif qui découle du double impératif technologique et néolibéral qui le sous-tend ». Nous n’avons plus que de la liberté une apparence, cernés par « une architecture conçue pour orienter rigoureusement les choix », coincés dans une architecture où le coût marginal d’exercice du pouvoir est nul… « Notre répertoire d’action est structuré dans un ensemble fini, prévisible et compatible avec les objectifs poursuivis par le logiciel, le site internet, la plateforme, le service ». La loi contre la haine en ligne délègue la justice aux plateformes. La dématérialisation des services publics s’annonce totale et s’impose sous le seul vocable de l’austérité et de l’efficience (« Mais quel objectif de pouvoir l’austérité sert-elle ? »). La symbolique politique semble neutre et consensuelle alors qu’elle vise à substituer notre milieu par un autre, à dissoudre notre monde commun dans une idéologie masquée sous sa bienveillante neutralité technique. « La modernisation de l’État n’est ainsi que l’autre nom, prétendument neutre, de son désengagement et du démantèlement progressif de ses fonctions. Les mots issus du champ lexical de la technique – automatiser, numériser, rationaliser – recouvrent d’un vernis de neutralité et de nécessité des choix politiques très définis ». Une idéologie déterminée qui se masque sous la technicisation de nos milieux de vie… qui introduit de la techno pour réduire tout ce qui semble encore inefficace, toute friction, toute conflictualité.

Le problème, c’est que nous sommes non seulement dépolitisés et dépossédés, mais également dépourvus de moyens de résistance. Nous voilà sans échappatoires, acculés par la technologie, pris dans ses rets. Aucun cadre ne peut aujourd’hui refuser de se soumettre à ce qui est devenu son principal outil de travail comme de contrôle, le smartphone. Nous sommes pris au piège. Notre douce technophilie nous a lentement assujettie en nous confinant dans un malaise croissant… d’un espace qui ne nous offre plus aucune liberté.

Pire, assène Diana Filippova : « le numérique est manifestement devenu un obstacle pour l’émergence, le déploiement et le succès » de tout mouvement contestataire. Le panoptique s’est refermé sur nous-mêmes ! « Les technologies de l’information n’ont pas seulement échoué à tenir les promesses de démocratisation et de décentralisation dont elles ont toujours été investies. Elles en sont arrivées, de façon presque diabolique, à représenter l’une des plus graves menaces contre nos démocraties ».

Alors que faire ? Comment sortir de la « cage d’acier » ? Comment entrer en dissidence ? Comment ramener la critique technique sur le terrain social ? Comment concentrer, faire converger, les technocritiques ? Comment repolitiser ce qui ne cesse d’être dépolitisé ?

Démanteler les Gafa, comme on l’entend si souvent, ne mettra pas fin au système global de surveillance dont ils participent prévient Filippova ! Nous sommes confrontés à un système de plus en plus enchevêtré. « Toute tentative pour contester ce système se heurte presque systématiquement à une aporie » ! Même la réappropriation des capacités techniques ne semble pas une solution : « Il ne suffit pas de redistribuer la propriété d’une plateforme à ses contributeurs, proclamer un nouvel internet coopératif ou encore mettre les travailleurs aux manettes d’une usine pour faire soudain advenir une société écologique, égalitaire et démocratique. » « Aucune démocratie, aucune société collective, aucun système économique viable ne peut naître du capitalisme de surveillance », parce que son moteur est le même que le capitalisme : la marchandisation de tout ! La critique et la dissidence sont les seules armes qui nous restent. Des armes sans grands effets ni puissance. Et ce alors que toute résistance est de plus en plus intime et individuelle, puisque ces outils sont programmés pour nous individualiser. Face à des stratégies aussi multiples, polyphoniques, la résistance ne suffit pas, surtout quand elle demeure massivement individuelle. Elle est désarmée. Elle ne sait pas où agir, surtout face à une complexité qui nous dérobe le sens du monde. « L’efficacité des stratégies du technopouvoir tient au découplage entre les intentions de celui qui parle et le langage qu’il mobilise. Promettre la sociabilité universelle tout en faisant son commerce illégal de l’intimité des gens. Louer la démocratie numérique en vendant les données et les services à des mouvements politiques fascisants. Se déclarer favorable à l’émancipation technologique en concevant des interfaces addictives qui absorbent chaque parcelle inoccupée de notre attention ». Nous sommes comme saisis dans une schizophrénie de machines et de langages qui les structurent qui disent le contraire de ce qu’ils font.

Les rares espaces d’action sont peut-être encore là où la cage d’acier ne fonctionne pas aussi bien que le technopouvoir le dit ou le rêve…

Diana Filippova rapproche la critique du néolibéralisme et de la technique pour nous rappeler que l’autoritarisme de la technologie n’est pas un accident, mais bien une fonctionnalité. L’intrication de la technologie, de l’économie et du pouvoir s’est profondément sédimentée dans le numérique. Elle nous dépossède de nos qualités propres pour n’être plus qu’un produit de données, que cet « homme sans qualités » dont les valeurs ont été remplacées par des hastags et des chiffres, réduit à sa propre programmation.

Reste qu’il manque peut-être à ce livre profondément désenchanté, des issues, des prises… Il me semble par exemple, que la faiblesse de ce technopouvoir, de cette intrication, de ce libéralisme autoritaire, c’est qu’il ne fonctionne pas aussi bien qu’il le rêve. Que l’efficacité idéalisée de la machine est un horizon, une perfection inatteignable. Le transfert du pouvoir politique (le logement, l’éducation, l’emploi, la protection sociale…) aux entreprises technologiques révèle chaque jour ses limites. La manipulation de nos choix, de nos opinions, de nos actes… la fabrication du consentement bogue. La surveillance constante ne produit jamais l’idéal qu’elle promet, à savoir la disparition totale du risque, la sécurité parfaite (au contraire). Tout comme l’attention absolue qu’elle mobilise ne produit absolument aucun enchantement. Comme si cette efficacité pour elle-même menait à sa propre dissolution. Comme le dit Edward Tenner dans son livre, Le paradoxe de l’efficacité (Vintage Books, 2018, non traduit) : une explosion d’efficacité rend le monde bien moins efficace. Il va nous falloir accepter qu’il ne puisse se réduire à son objectivité totale. La quête de l’efficacité absolue nous conduit à une contradiction irréductible : celle de sa propre inefficacité. Le technopouvoir fabrique le vide sur lequel il repose, à savoir une efficacité pour elle-même, sans valeur ni sens, à l’image de la surveillance totale qui, à mesure qu’elle progresse, ne produit aucun résultat réel et détruit la confiance et la liberté.

À lire Diana Filippova la question qui reste en suspend semble plutôt de savoir de combien de temps encore disposons-nous… avant l’avènement de la phase terminale du néolibéralisme, ce technologisme autoritaire que d’autres appellent déjà falscisme.

Hubert Guillaud

Tweet
Pocket
]]> 2807 https://www.lemonde.fr/blog/internetactu/2019/11/28/expliquer-les-boites-noires-les-enjeux-de-lexplication-des-decisions-automatisees/ Thu, 28 Nov 2019 09:49:23 +0000 https://www.lemonde.fr/blog/internetactu/?p=2796 Continuer la lecture de « Expliquer les boites noires : les enjeux de l’explication des décisions automatisées »
]]>
0 0 0

Etymologiquement, expliquer, c’est déployer, déplier, c’est-à-dire soulever les ambiguïtés qui se cachent dans l’ombre des plis. C’est donc également « ouvrir » (avec tout le sens que « l’ouverture » – open – a acquis dans le monde numérique), défaire, dépaqueter, c’est-à-dire non seulement enlever les paquets, dérouler les difficultés, mais aussi montrer les noeuds qu’ils forment et comprendre pourquoi ils se forment. Expliquer, c’est clarifier. Mais clarifier comment ? Pour qui ? Que faut-il expliquer (et donc que faut-il ou que laisse-t-on dans l’ombre des plis ?) ? A qui ? Dans quel but ? Quels types d’explications doivent être disponibles ? Quand et où doivent-elles être disponibles ?… Voici quelques-unes des questions qui se posent quand on s’attaque à la question de l’explicabilité des systèmes techniques, notamment des processus algorithmiques et d’intelligence artificielle, mais également de nombres de technologies complexes, de « boîtes noires » auxquelles nous sommes de plus en plus confrontés. Qu’est-ce qu’expliquer ? Comment doit-on expliquer ce qui se dérobe à l’explication ? Explications sur l’explication.

En philosophie on distingue souvent expliquer de comprendre. Dans le Phédon de Platon, Socrate qui dialogue avec ses amis alors qu’il va mourir explique pourquoi il reste là à dialoguer. Il distingue alors l’explication (qui repose sur des causes physiques, simples, causales de son comportement) de la compréhension (qui nécessite d’entendre les raisons et les valeurs de ses actes). Mais l’une et l’autre ont parties liées. Car expliquer, c’est également amener à comprendre. En ce sens, l’un et l’autre sont également un moyen d’action qui peut amener à générer de l’adhésion, ou au contraire, du rejet ou de la contestation. Expliquer, tout comme comprendre, c’est donc également actionner, c’est-à-dire rendre l’action et la transformation possible.

Le philosophe David-Hillel Ruben qui a consacré dans les années 90 un livre (.pdf) à l’explication de l’explication conclut son ouvrage en soulignant que l’explication est « ce qui relie les relations déterminantes », c’est-à-dire qu’elle consiste à montrer ce qui est responsable de ces relations et ce qui les fait, les fabrique, telles qu’elles sont.

Expliquer pour faire société

La question de l’explicabilité des systèmes techniques et notamment des décisions automatisées est un enjeu éthique fort de l’automatisation de nos sociétés, soulignent le philosophe et éthicien italien Luciano Floridi (@floridi) et le chercheur Josh Cowls (@joshcowls) dans un passionnant article de recherche sur les principes éthiques de l’IA. Pour les deux chercheurs, la question de l’explicabilité, comprise à la fois comme l’intelligibilité (c’est-à-dire la réponse à la question « comment ça marche ? ») et l’éthique de responsabilité (c’est-à-dire la réponse à la question « qui est responsable de la façon dont ça marche ? ») est la modalité qui permet l’application d’une IA éthique et juste. Nombre d’articles de recherche insistent sur la nécessité de rendre les systèmes explicables, c’est-à-dire de comprendre les processus décisionnels de l’IA pour que les utilisateurs comme la société puissent lui demander des comptes. Ce principe d’explicabilité s’exprime souvent sous différents termes allant de la « transparence » à la « responsabilité », en passant par « l’ouverture », « l’intelligibilité » ou « l’interprétabilité ».


Image : Contrairement à la plupart des principes éthiques nés avec la bioéthique (comme l’autonomie ou la justice, le fait d’apporter un bénéfice à la société ou de ne pas faire le mal…) l’explicabilité est un principe d’éthique qui s’est développé avec le développement de l’IA.

L’explication : un enjeu technique ?
La question de l’explicabilité est donc d’abord un enjeu technique, un champ de recherche en soi (on parle d’ailleurs de XAI, pour Explanable artificial Intelligence), d’autant plus important que la performance des techniques d’IA est inversement proportionnelle à leur explicabilité (voir « L’intelligence artificielle va-t-elle rester impénétrable ? » et « Intelligence artificielle : comment sortir de l’opacité ? »). L’apprentissage automatique profond par exemple est l’une des techniques dont les modalités de calculs et les résultats restent les plus obscurs, même à leurs programmeurs. Ce n’est pas pour rien que l’on parle de « boîtes noires » quand on évoque les systèmes de traitement automatisés (cf. « Il est plus que temps que le Big data évalue ses impacts »). L’explicabilité est donc souvent un compromis entre performance et explication. Ce n’est pas le plus simple de ses paradoxes. L’amélioration technique de l’explicabilité des systèmes, notamment en IA, est donc un champ de recherche en soi, qui vise à ce que les systèmes expliquent ce qu’ils font comme leurs résultats, les critères de leurs succès comme de leurs échecs. C’est un champ de recherche qui pour l’instant n’a pas proposé de fortes percées techniques, mais qui renouvelle et approfondit l’épistémologie de l’explication.

D’ailleurs, il se pourrait que ce champ de recherche ne représente qu’un vain espoir, avancent les spécialistes Erwan Le Merrer et Gilles Trédan dans un récent article (.pdf). Pour eux, la quête d’une intelligence artificielle explicable est inatteignable. En fait, expliquent-ils sur AlgorithmWatch, un système peut très bien donner une fausse explication, comme le videur d’une boîte de nuit peut affirmer qu’il ne vous laisse pas entrer parce que vous n’avez pas la bonne cravate ! Un peu comme dans la vie réelle, la véritable raison peut toujours être couverte d’une autre explication. Pour AlgorithmWatch, ce constat plaide pour le développement d’autorités de contrôle et d’enquêtes indépendantes. Comme aujourd’hui les associations peuvent procéder à du « testing » pour évaluer les cas de discrimination à l’entrée des boîtes de nuit, nous avons besoin de pouvoir continuer à réaliser ces tests par delà les explications qui sont fournies par ceux qui déploient les systèmes. Reste que cela nécessite bien sûr des accès les plus ouverts possible au fonctionnement même de ces systèmes, ce qui est bien loin d’être le cas. Bien loin d’être seulement un enjeu technique, l’explicabilité se révèle d’abord et avant tout un enjeu de société. Kate Crawford ne disait pas autre chose quand elle soulignait l’importance de la recherche, de la presse et des associations citoyennes pour débusquer les biais des systèmes.

L’explication est interdépendante et à multiple niveau
Comme nous le notons depuis le début de cet article, l’explicabilité est foncièrement polysémique. Dans le cadre des réflexions réalisées par le groupe de travail Nos Systèmes, nous nous sommes rendu compte que l’explicabilité recouvre une large gamme d’explications, allant d’explications « procédurales » (comment faire, concrètement ? Quelles formalités accomplir ? Quelle succession d’opération exécuter ?…) à la compréhension des critères (quels sont les éléments pris en compte et quels sont leurs « poids » relatifs les uns par rapport aux autres ?) en passant par la clarification des enjeux et motivations (pourquoi ce système ? Que fait-il… ? Et donc que ne fait-il pas ?…).

Outre la gamme d’explications à délivrer, un autre problème concerne les explications elles-mêmes : comment les délivrer ? Une question qui pose à la fois celle de savoir jusqu’où les explications doivent aller (et donc, lesquelles sont passées sous silence) et celle de leur interfaçage avec les systèmes techniques (où et quand doivent-elles être disponibles ?).

En fait, bon nombre de ces notions sont interreliées et interdépendantes. Le niveau d’automatisation du calcul (c’est-à-dire, le fait qu’il prenne des décisions sans interférence humaine) est lié à son explicabilité et son auditabilité (le fait qu’il soit vérifiable, examinable par des tiers). De même le niveau de médiation ou de dialogue influe sur l’explicabilité d’un système : le fait que le traitement propose des modalités de contact ou pas pour demander des explications, le fait qu’il propose (ou pas) une variété de supports d’explications (des FAQ aux vidéos, des schémas aux visualisations, des infographies aux tutoriels en passant par les simulateurs ou par des explications textuelles permettant plusieurs niveaux de compréhension…) ou des réponses personnalisées (avec des garanties sur les délais de réponses voire des modalités offrant des contreparties et des possibilités de recours à l’encontre d’une décision)… sont autant d’éléments qui influent sur l’explicabilité.

On constate au final que plusieurs niveaux d’explications sont possibles… Pour faire simple, les explications peuvent être :

• nulles voire faibles : les explications délivrées sont génériques, procédurales, peu informatives, incomplètes, voire déloyales.
• moyennes : les explications peuvent utiliser des formes multiples (textes, bases de connaissance, vidéos, infographies…) mais demeurent générales avec un degré de profondeur, de complétude, de fiabilité ou de précision faible.
• fortes voire exemplaires : les explications sont personnalisées, voire interactives, précisent les critères, les intentions, les modalités, documentent les résultats avec un degré de précision, de loyauté et de clarté élevé et permettent aux utilisateurs de contester voire leurs offrent des garanties et des modalités de recours en cas d’explication fausse ou insuffisante.

L’explication, une obligation légale et morale
Expliquer – c’est-à-dire motiver les décisions – est essentiel. Comme le rappelait très justement Simon Chignard (@schignard), conseiller stratégie à Etalab : l’explicabilité est aussi et avant tout une obligation légale. Apporter une explication raisonnable, même imparfaite, est nécessaire pour établir une relation de confiance entre le calcul et les calculés, entre un système et ses administrés. Le RGPD a d’ailleurs introduit un droit à d’explication des décisions automatisées. Reste que ces explications doivent être également adaptées au public et justes. Or, le risque bien souvent est de fournir des explications inadaptées aux publics auxquels elles s’adressent, partielles voire partiales, incomplètes ou trop simplistes, ou pire, fausses et mensongères, comme lors d’un refus de crédit qui peut vous donner une raison de refus, alors que la raison principale est tout autre (le fait que vous viviez seul par exemple, que vous soyez une femme ou une personne de couleur… à l’image des très récents soupçons à l’égard de la carte de crédit d’Apple). Un enjeu qui pose une question de fond sur la loyauté des explications elles-mêmes et donc leur contrôle. En ce sens, l’explicabilité est donc à la fois une obligation légale – car le résultat et la modalité d’un calcul doivent pouvoir être rendus au calculé – ce qui suppose des modalités de contrôle. Et une obligation morale : car un système qui délivre un résultat à quelqu’un doit pouvoir le justifier, précisément, fidèlement et factuellement.

L’explicabilité n’est donc pas négociable. Ce qui n’est pas explicable ne peut entrer en discussion avec la société. « L’absence d’interprétabilité n’est pas une option », disions-nous. La philosophe Antoinette Rouvroy nous rappelait qu’il n’y a pas de société sans motivation des décisions, que les finalités d’un traitement doivent nous être transparentes. Que les motivations d’une décision doivent être communiquées et communicables sous une forme intelligible. Pourtant, trop souvent encore, l’explication résiste, notamment parce que les ingénieurs soulignent que fournir des explications fait peser un risque sur la qualité ou la robustesse d’un système. Pour beaucoup de responsables des traitements, les expliquer ou les ouvrir fait peser un risque de subversion, de détournement, comme si la transparence de l’explication faisait peser un risque sur la qualité du traitement lui-même. Chez les data scientists qui conçoivent les algorithmes et les systèmes automatisés, il y a partout une réticence à l’explication par peur d’un « effet rebond » à l’image du Google Bombing qui a longtemps permis aux internautes de se jouer des résultats de Google en y introduisant des formes de détournement. Or, l’opacité des calculs permet surtout de masquer leurs lacunes, leurs faiblesses, leurs failles, c’est-à-dire leurs défauts, les injustices, les biais et les inégalités que les chiffres recouvrent, expliquait brillamment la mathématicienne Cathy O’Neil. Idéalement, un calcul qui mesure parfaitement ce qu’il prétend ne devrait pouvoir être subverti par sa propre transparence. Comme le pointait très récemment la commission éthique des données du gouvernement allemand, plus un système a un impact social, c’est-à-dire un impact sur la vie et l’existence d’individus, plus ceux-ci doivent être contraints à la transparence et contrôlés afin qu’ils mesurent bel et bien ce qu’ils annoncent mesurer.

Où sont les explications ? Vers une échelle des niveaux d’explications ?

L’explication est le parent pauvre des systèmes techniques. Bien souvent, les explications sont tout simplement absentes, comme si elles n’étaient pas nécessaires au fonctionnement des systèmes. Dans le monde de l’innovation, on nous propose souvent une solution avant même de nous expliquer comment elle fonctionne. L’explication vient parfois plus tard. Et nombre de systèmes fonctionnent sans fournir beaucoup d’explications sur ce qu’ils font, comment ils le font, dans quel but et sans proposer de garanties ne serait-ce que sur la fiabilité de leurs explications donc…

Le refus d’explication
Outre leur absence, bien souvent, les explications nous sont refusées. C’est le cas par exemple des « recettes » utilisées par les commissions d’examen des voeux de chaque filière pour trier les candidatures sur Parcoursup. Sous prétexte de protéger les délibérations pédagogiques des jurys d’admission, les algorithmes locaux permettant aux filières de trier les milliers de candidatures qu’elles reçoivent ont été exclus de la règle de communication au public (au prétexte que la loi n’oblige les universités à n’informer que les candidats qui en font la demande). Or, nombre de filières (on estime que c’était le cas de 25% d’entre elles en 2019) ont mis en place des outils de classement des candidats à l’image des feuilles Excel que montrait Julien Gossa en 2018, permettant par exemple de trier les élèves selon leur lycée de provenance (une pratique discrète qui entérine la sélection sociale). Ce dernier pointait d’ailleurs très bien combien l’évaluation des candidats était compliquée, pour ne pas dire impossible. Il n’empêche que mieux saisir les attendus des filières, leurs critères de classements et de tris, demeure un moyen de comprendre les motivations des sélections… mais dans parcoursup, cette compréhension qui est refusée au candidat est bien souvent démultipliée par le fait que chaque filière va utiliser une méthode qui lui est propre, comme autant de recettes auxquelles il est difficile de se conformer.

Ce n’est bien sûr pas le seul endroit où les explications nous sont refusées. Nombres de demandes que nous pouvons accomplir auprès de systèmes qui s’appuient sur des traitements et calculs prennent en compte des critères qui ne sont pas tous explicites. Les demandes d’affectation pour un poste, les demandes de crédits ou les systèmes de tris automatisés de candidatures à des emplois font parti des systèmes automatisés qui délivrent peu ou pas d’information sur leurs modalités, sur les critères utilisés ou d’explications sur leurs décisions. Nous sommes là confronté à un déni d’information et un déni démocratique qu’il est nécessaire d’armer, en obligeant à la démultiplication des explications des procédures de calcul.

Le code et la transparence : l’explication technique
Au mieux, pour les plus ouverts des systèmes de traitement, on trouve une explication technique : le code, voire la formule du calcul est directement accessible. Parfois elles sont accompagnées d’indications sur les données utilisées et leur pondération dans le calcul… C’est là une explication technique pour technicien. Elle est souvent précieuse, primordiale, mais ne parle qu’aux techniciens, pas à la société à laquelle des explications sont dues. Elle nécessite d’être décodée, dépliée, interprétée, argumentée… Mais, depuis le code, des tiers (associations, citoyens, médias…) peuvent s’en emparer pour interroger la construction qui a eu lieu. C’est le cas notamment de nombre de projets publics qui publient leur code source en accès libre (sur Github) comme LexImpact, un outil qui permet d’estimer l’impact de réformes législatives sur des foyers fiscaux types. Ou encore La Bonne Boîte, un outil qui indique les entreprises qui embauchent pour permettre aux demandeurs d’emploi de mieux cibler leurs candidatures spontanées.


Image : Le répertoire GitHub des startups et projets d’Etat.

La vraie limite de cette explicabilité technique est qu’elle ne s’impose qu’aux projets qui ont une obligation légale de transparence, et particulièrement aux projets portés par des acteurs publics ou militants, et pas du tout à la plupart des projets privés, même si ceux-ci ont un impact fort sur la vie des gens (comme des systèmes d’attribution de crédit, de police ou de justice, ou de sélection à l’emploi).

La multimodalité des niveaux d’explications
Nombre de systèmes font néanmoins des efforts pour expliquer ce qu’ils font. Certains livrent des explications très simples et basiques, accessibles au plus grand nombre, mais souvent lacunaires voire parcellaires (et là on peut se poser des questions sur l’intention de ces explications et surtout sur leurs limites, visant parfois à masquer ce qui n’est pas expliqué). Beaucoup proposent des explications procédurales, c’est-à-dire qui expliquent les procédures à suivre, plus que les finalités ou les objectifs du système. Certains proposent des explications assez complètes, à l’image du Score Coeur (.pdf), l’algorithme d’attribution des greffons cardiaques réalisé par l’Agence de biomédecine ou encore cette notice détaillant le calcul de la taxe d’habitation sous forme d’un mode d’emploi synthétique… Deux exemples qui soulignent combien l’explication, quand elle se veut loyale et exhaustive, scientifique, demeure néanmoins un processus touffu, dense, compliqué et qui est donc, par nature, difficile d’accès au plus grand nombre.

Enfin, bien plus rares sont les explications qui permettent de personnaliser les éléments du calcul qui ont été opérés, de délivrer des explications personnalisées donc. Ainsi, Facebook par exemple propose de multiples formes d’explications et d’aide sur son fonctionnement (sur l’utilisation des données, sur le fonctionnement du fil d’actualité et sur l’ordre des publications dans le fil d’actualité comme sur les publicités). Cette large gamme d’explications plutôt claires (on y trouve à la fois des textes, des vidéos, des datavisualisations, des graphes… et même des modules interactifs comme le fait d’expliquer par un exemple d’un article de votre flux provenant de votre compte ce qui justifie que vous le voyez apparaître sur votre mur), est-elle pour autant accessible à tous les utilisateurs de FB ? Est-elle complète ? Est-elle loyale ? Ainsi, FB explique par exemple que l’ordre des publications dans notre fil d’actualité est lié à la fréquence d’interaction, au type de publication, aux réactions qu’ont déjà reçu ces publications et à leur caractère récent. Mais des milliers d’autres facteurs entrent en ligne de compte explique la page. Aucun mot n’est dit par exemple sur le fait que FB nous partage plus volontiers des contenus de nos amis qui rejoignent des thématiques qu’il a identifiées comme importantes pour nous, alors que c’est là un critère fort de l’affichage. Par contre, s’il nous propose des modalités pour réguler cet affichage, notamment en sélectionnant mieux les personnes, les pages ou les groupes que l’on suit, mais pas les thématiques qu’il nous attribue. Les explications sur le fonctionnement de FB sont pourtant parmi les plus riches qu’on puisse trouver, mais on voit rapidement leurs limites. Qu’est-ce qui nous est tue ? Qu’est-ce que l’effort d’intelligibilité masque ? Pourquoi le lien entre ce qui nous est affiché et le modèle économique de Facebook n’est-il pas plus clair ?

Simulation et jouabilité : l’explication actionnable
Les simulations et les possibilités de jouabilité sont plus rares encore, mais elles sont particulièrement stimulantes notamment parce qu’elles offrent souvent l’avantage de permettre une compréhension plus fine et donnent à celui qui reçoit les explications des moyens pour contextualiser et adapter sa réponse aux explications. Les systèmes jouables permettent souvent de montrer un peu mieux la complexité qui opère. La jouabilité a pourtant des limites : rares sont les explications qui expliquent et motivent les choix qui ont été faits, les décisions qui ont été prises, les critères qui ont été retenus et écartés. Rares donc sont les spécifications qui proposent de rendre les choix qui ont été faits plus transparents. Peu proposent des descriptions du calcul, des données utilisées. Encore moins proposent de montrer ou d’évaluer une autre méthode de calcul qu’il aurait été possible de proposer.

Dans cette gamme d’explications jouables, on trouve par exemple, les explications à explorer (voire notre dossier : Vers un design de la médiation, jouer avec les interfaces). Des explications interactives permettant une compréhension active via des procédés interactifs, afin de développer « une intuition sur le fonctionnement d’un système », comme le disait leur concepteur, Victor Bret. Parmi les nombreux outils de ce type, on peut également signaler celui réalisé par le studio Dataveyes pour Outbrain, l’agence de recommandation de contenus sponsorisés qui avait besoin d’expliquer à ses clients comment leur algorithme allait placer leurs contenus publicitaires (voir nos explications détaillées : « Vers des algorithmes exemplaires »). Récemment, la Technology Review a proposé une explication explorable pour aider à comprendre les limites de Compas, le très controversé algorithme de calcul du risque de récidive utilisé par la justice américaine. Dans le cadre de son effort vers une « intelligence artificielle de confiance », IBM Research a publié une boîte à outils open source permettant de comprendre plusieurs modèles d’apprentissage automatique, notamment un petit outil pour comprendre les résultats de l’évaluation Fico, qui attribue un score à chaque Américain souhaitant emprunter (selon divers critères, notamment l’historique de paiement et les emprunts que vous avez déjà à charge). Le petit démonstrateur montre d’ailleurs que les explications du calcul sont différentes selon qui l’utilise : il fournit des réponses différentes selon qu’on est un spécialiste des données, un agent chargé de calculer le crédit ou un client.

L’explication forte
On pourrait enfin proposer un ultime niveau sur l’échelle de l’explication : une forme d’explication forte, qui reprendrait toutes les qualités des précédents niveaux et y ajouterait une forme de garantie, de responsabilité à l’égard de ceux à qui on explique. C’est-à-dire qui garantirait un droit de réponse, de contestation, d’amélioration… Voire même des contreparties ou des procédures facilitant la contestation ou les compensations, en cas de défaut d’explication. Bref, des formes de « symétrie » des traitements où les explications délivrées aux calculateurs seraient équivalentes aux explications livrées aux calculés, où les stratégies des calculateurs seraient transparentes aux calculés et garanties.

Pour l’instant, nous n’avons pas trouvé d’exemple pour illustrer cet idéal.

Les explications pour qui ? Les explications comment ?
Cette échelle des niveaux d’explication est pourtant incomplète. Il lui manque notamment deux facteurs : les publics et les interfaces.

La question de savoir à qui se destinent les explications est importante. Bien souvent, on ne trouve des explications que pour un seul niveau de public, alors que celui-ci est bien souvent multiple. Dans les systèmes techniques, l’explication demeure majoritairement technique : elle est avant tout destinée aux ingénieurs, aux développeurs voir aux agents qui vont être amené à interagir avec le système, qui vont devoir développer des outils qui vont s’y brancher, qui vont discuter avec. Bien souvent, elle vise à rendre les ambiguïtés interprétables plus qu’explicables, c’est-à-dire à expliciter les choix de paramètres, leur pondération… Mais malgré leur technicité, ces explications ne sont pas complètes : elles cachent souvent le coeur du système qui relève du secret commercial, privilégiant seulement les options de branchements, les modalités de choix, les procédures accessibles (pas celles qui ne le sont pas). L’expérience montre que bien souvent un système automatisé doit rendre des comptes et des explications à plusieurs types de publics : des autorités de contrôle, des agents chargés de procéder ou d’accompagner le calcul et le public (qui n’est pas non plus unique : les explications ne sont pas les mêmes pour tous publics, pour des enfants ou des adultes par exemple, pour des patients ou pour leur famille, pour des personnes en interne et des personnes extérieures…). Les publics des calculs sont donc multiples, pluriels… Et les explications qu’il faut délivrer aux uns ne sont pas toujours de mêmes natures de celles qu’il faut délivrer à d’autres. Nous avons pour notre part constaté que nombre de projets ont tendance à réduire leurs explications à un utilisateur idéal, oubliant la pluralité des publics qui sont les leurs, et ce alors que la mise en place de systèmes automatisés perturbe toute la chaîne de compréhension du fonctionnement d’une organisation ou d’un calcul.

Enfin, la question de savoir où sont disponibles ces explications est importante. Bien souvent, les explications sont décorrélées de l’outil lui-même, à la manière d’un mode d’emploi papier pour une machine électronique. Les explications sont trop souvent encore à aller les chercher à côté des systèmes. Il faut aller les trouver dans une nasse d’information complexe ou dans des documents extérieurs aux outils eux-mêmes. Elles sont rarement là où on en a besoin, au coeur des interfaces qu’on explore et qu’on ne comprend pas. La plateforme Données & Design de la Cnil donne un exemple parlant d’information contextualisée intégrée au parcours utilisateur : chaque demande d’information relative aux données personnelles lors du parcours d’inscription est explicite. À chaque étape de l’inscription, d’une interaction, des explications sont délivrées, exactement là où elles sont nécessaires.

Polysémiques, multifacettes, continues… : à quoi servent les explications ?

Expliquer semble simple. Mais comme on vient de la voir, à l’heure des systèmes techniques, l’explicabilité n’est pas seulement polysémique, elle est également multifacette.

Comme le soulignent Robert Hoffman, Shane Mueller et Gary Klein, dans leur article « Explaining Explanation for « Explainable AI » », il est nécessaire d’interroger à quoi servent les explications, de comprendre ce qu’elles accomplissent, leur but. Ainsi, rappellent les chercheurs, l’explication est un processus continu. Fournir une explication n’est pas une fin en soi pas plus qu’il n’est une chose que l’on fait une fois pour toutes : cela ne consiste pas à fournir un matériel didactique plus ou moins satisfaisant. Une explication sert à créer de la confiance à toutes les étapes des interactions, ce qui signifie que l’utilisateur doit être capable d’explorer activement les choix dont il dispose et notamment les erreurs possibles.

L’explication est également un processus de co-adaptation : ce n’est pas seulement des instructions ou des informations qu’on délivre à une personne, c’est une collaboration entre celui qui explique, celui qui reçoit l’explication et le système. L’explication est par nature participante et par exemple, doit savoir s’adapter à ce que le destinataire comprend et même, idéalement, s’adapter en retour.

L’explication doit être « déclenchable » insistent-ils : tout n’a pas besoin d’être expliqué. Par contre, il faut saisir les éléments qui nécessitent de déclencher des explications appropriées.

L’explication est également une exploration : elle doit aider l’utilisateur à comprendre les limites du système. Elle doit aider l’utilisateur à comprendre de lui-même : montrer ce qui n’est pas fait pour mieux montrer ce qui est accompli.

Pour le dire plus simplement, une explication sert à comprendre, à discuter et à contester. Elle n’est pas un outil de communication qui doit faire disparaître ses biais, ses erreurs ou ses choix. Elle est un outil loyal qui doit montrer ses lacunes et ses failles, qui doit aider à améliorer le système et le calcul.

Qu’est-ce qu’une bonne explication ? Les caractéristiques d’une bonne explication

Vers des explications contrastables, actionnables
L’iconoclaste Tim Miller (@tmiller_unimelb) a étudié plus de 250 articles scientifiques dans le domaine de la philosophie, de la psychologie et des sciences cognitives pour mettre en avant que la principale caractéristique d’une bonne explication est d’être contrastive (qu’on pourrait traduire par « contrastable » ou « comparable »). Les gens ne demandent pas « pourquoi il y a quelque chose ? », mais plutôt « pourquoi il y a quelque chose plutôt que rien », rappelle-t-il. C’est-à-dire qu’une explication ne se déroule pas pour elle-même, mais en contexte, en regard d’autres éléments. Le caractère « contrasté » permet aux gens de mieux mesurer la différence entre ce à quoi ils s’attendaient et le résultat (et d’interroger ce qu’ils ne savent pas). Donner une explication contrastée est souvent d’ailleurs plus simple pour celui qui doit fournir l’explication. L’enjeu n’est pas de donner toutes les explications ou toutes les causes, mais de permettre de les balancer entre elles, de rendre les explications actionnables, jouables !

Pour mieux comprendre ce qu’est une explication contrastable ou actionnable, donnons un exemple. L’un des meilleurs est celui qu’a conçu l’agence de design britannique IF pour Flock, une assurance pour drone qui peut être souscrit à la volée. Ce travail a consisté à montrer, dans le design même de l’application, les enjeux et impacts des décisions. Ainsi, l’interface calcule un prix pour assurer un drone à la volée, au moment où l’on souhaite l’utiliser, selon le lieu et les conditions météo du moment (voir ces explications). Mais, une fois qu’elle a calculé le prix de l’assurance, elle vous indique également que si le vent était moins fort, ou que si la probabilité de pluie était moins forte, vous payeriez moins cher. D’autres paramètres sont pris en compte pour vous expliquer la tarification qui s’applique à vous : la proximité d’une école ou d’un hôpital peut faire augmenter le prix et l’application peut vous indiquer que si vous vous en éloignez, cela pourrait en faire diminuer le prix. Dans le cadre d’un travail de prototypage pour une assurance auto basée sur le comportement de l’automobiliste, l’agence IF a également esquissé des interfaces qui permettent au conducteur de voir la différence entre son comportement et la norme. Ces exemples, stimulants, permettent de montrer quels facteurs contribuent aux décisions et comment les atténuer ou agir sur ces éléments.

Vers des explications sélectives – mais loyales
Contrairement à ce à quoi on pourrait s’attendre, une bonne explication pour Miller n’est pas une explication complète ou exhaustive. Une bonne explication est « choisie », sélective (et donc biaisée). Les gens ne s’attendent pas à voir une cause unique et complète ni une liste causale exhaustive. Son caractère « sélectionné » est bien sûr un compromis. Son caractère partiel ou incomplet doit pourtant rester fidèle et loyal à ce qu’il se passe réellement.

Les probabilités n’ont pas tant d’importance que l’on croit, explique encore Tim Miller. Si la vérité est importante, se référer aux probabilités ou aux relations statistiques d’une explication n’est pas aussi efficace que se référer aux causes.

Vers des explications sociales
Enfin, les explications sont profondément sociales… Elles relèvent de l’échange, d’un transfert de connaissance, d’une interaction. En ce sens, elles demeurent profondément contextuelles. A toute question posée, plusieurs réponses peuvent être produites, rappelle Miller. En ce sens, la médiation et l’explication sont profondément dépendantes l’une de l’autre. Un système de décision automatisé ne peut donc faire l’économie de médiations adaptées, d’équipes et de solutions dédiées aux dialogues avec les usagers, et se doit d’organiser ce dialogue entre son système et la société.

Tant mieux. Cela nous rappelle que l’explication n’est en rien réductible à une simple technique, à une question objectivable, mais a tout à voir avec une relation et sa complexité.

Hubert Guillaud
(Avec la complicité de Simon Chignard et Thierry Marcou).

PS : Amis lecteurs, si vous avez vu passer des services qui proposent des modalités d’explications remarquables, n’hésitez pas à nous les signaler.

Tweet
Pocket
]]> 2796 https://www.lemonde.fr/blog/internetactu/2019/10/24/on-ne-peut-pas-se-fier-a-la-reconnaissance-de-lemotion/ Thu, 24 Oct 2019 08:07:35 +0000 https://www.lemonde.fr/blog/internetactu/?p=2792 Continuer la lecture de « On ne peut pas se fier à la reconnaissance de l’émotion »
]]>
0 0 0

Appliquer les technologies de l’intelligence artificielle de la reconnaissance faciale aux questions émotionnelles est en plein essor. Nombre d’entreprises vendent des solutions proposant de détecter les émotions de quelqu’un en se basant sur ses expressions faciales… Nous avons plusieurs fois sur InternetActu.net souligné bien des limites à l’analyse émotionnelle automatisée (« De la conception émotionnelle en ses limites » ; « Peut-on rendre le ciblage psychologique productif ? »…).

James Vincent pour The Verge (@verge), appuie encore un peu plus là où ça fait mal : la croyance que les expressions faciales correspondent fidèlement aux émotions n’est pas fondée ! Croire que si quelqu’un à un front plissé et les lèvres pincées ne signifie pas nécessairement qu’il est en colère. Pour la professeure de psychologie et neuroscientifique Lisa Feldman Barrett, auteure notamment de Comment les émotions sont construites (Pan MacMillan, 2018, non traduit), « Les entreprises peuvent dire ce qu’elles veulent, mais les données sont claires. Ils peuvent détecter un air renfrogné, mais ce n’est pas la même chose que de détecter la colère ». L’Association pour la science psychologique a convié 5 scientifiques à examiner quelques 1000 études sur ce sujet. Conclusions des spécialistes : les émotions sont exprimées d’une grande variété de façon, ce qui rend difficile de déduire de façon fiable comment se sent une personne à partir des seuls mouvements de son visage. Les données montrent par exemple que lorsqu’ils sont en colère, les gens ne se montrent pas nécessairement renfrognés. L’air renfrogné n’est qu’une expression de la colère parmi d’autres et la plupart du temps (70%), les gens n’ont pas l’air renfrognés quand ils sont en colère. En fait, ils ont bien plus souvent l’air renfrognés quand ils ne sont pas en colère !

Cela signifie que les systèmes d’analyse émotionnels automatisés induisent tout le monde en erreur… « Voudriez-vous que dans un tribunal, une situation d’embauche ou un diagnostic médical ou dans un contrôle de sécurité à l’aéroport… faire confiance à un algorithme qui ne serait précis que 30% du temps ? », insiste Lisa Barrett.

L’étude ne nie pas que des expressions faciales communes ou prototypiques puissent exister ni que notre croyance en la puissance communicative des expressions faciales joue un rôle essentiel dans nos sociétés, mais souligne que dans les situations de la vie courante, nous disposons de plus de contexte pour analyser les émotions que seulement tirer des conclusions d’analyses faciales simplistes. La méta-étude souligne qu’il existe de grandes variétés de croyances dans le domaine des études sur les émotions, mais ce qu’elle rejette spécifiquement c’est l’idée d’une « empreinte » fiable de l’émotion par l’expression. Les études qui semblent montrer une forte corrélation entre certaines expressions faciales et les émotions sont souvent imparfaites sur le plan méthodologique, pointent les chercheurs : par exemple, nombre de recherches utilisent des acteurs qui exagèrent l’expression de leurs émotions comme point de départ pour dire à quoi les émotions ressemblent. Bien souvent encore, lorsqu’on demande aux sujets d’étiqueter une émotion à un visage, on le fait depuis une sélection limitée de propositions, ce qui les pousse vers un certain consensus. Or, quand on ne leur propose pas un choix restreint, leurs réponses sont bien plus variées et bien moins assurées.


Image : quand on propose aux gens d’attribuer des émotions à des visages, sans prédéfinir les options, les classements sont bien plus variés et incertains qu’on le pense.

Les gens comprennent intuitivement que les émotions sont bien plus complexes que cela, souligne Barrett. Ces subtilités sont pourtant rarement reconnues par les outils d’analyse des émotions. Le logiciel de Microsoft par exemple, affirme être capable de reconnaître « huit états émotionnels fondamentaux » depuis des expressions faciales « universelles »… La critique n’est pas nouvelle. Pour se défendre, les entreprises affirment souvent que leur analyse est basée sur d’autres signaux, mais sans qu’on sache toujours lesquels et comment ils sont équilibrés entre eux. Affectiva, l’entreprise leader du marché a lancé un outil qui ajoute l’analyse de la parole aux expressions faciales. D’autres ajoutent l’analyse de la démarche ou le suivi du mouvement oculaire… Rana el Kaliouby, la cofondatrice d’Affectiva, qui s’est toujours exprimé prudemment sur son produit, reconnait que l’étude est assez mesurée. « Le rapport des expressions à l’émotion est très nuancé, complexe et peu prototypique ».

Et James Vincent de rappeler que le machine learning est souvent utilisé pour produire des métriques permettant de prendre des décisions « non pas parce qu’elles sont fiables, mais simplement parce qu’elles peuvent être mesurées ». Le risque est bien d’être demain cernés d’analyses fallacieuses, comme le soulignait l’ACLU, l’union américaine pour les libertés civiles. « La reconnaissance des émotions repose sur le même principe sous-jacent que le polygraphe, ou « détecteur de mensonges » : que les mouvements et les conditions physiques du corps peuvent être corrélés de façon fiable avec l’état mental interne d’une personne ». Ce n’est pas le cas ! « Traduite en systèmes automatisés, cette croyance pourrait mener à bien d’autres préjudices ; une caméra corporelle « intelligente » annonçant faussement à un policier que quelqu’un est hostile et plein de colère pourrait contribuer à une décision inappropriée… »

Et James Vincent de souligner un autre risque : que nous adaptions nos comportements aux défauts de nos machines… « De la même façon que les gens agissent maintenant en sachant que ce qu’ils font en ligne sera interprété par divers algorithmes (par exemple, en choisissant de ne pas aimer certaines images sur Instagram parce que cela affecte les publicités que l’on voit), nous pourrions finir par exagérer l’expression de nos émotions sur nos visages parce que nous savons qu’elles seront interprétées par des machines ».

Hubert Guillaud

Mise à jour : L’association Algorithm Watch revient pour sa part sur les limites des systèmes d’analyse émotionnels vocaux, pour faire un constat tout aussi accablant que celui de l’analyse émotionnelle des visages. A compléter par un article de RealLifeMag sur l’analyse de sentiment des employés de centre d’appels, qui eux aussi détectent des tonalités vocales limitées qu’ils transforment en analyse de la « qualité » émotionnelle…

Tweet
Pocket
]]> 2792 https://www.lemonde.fr/blog/internetactu/2019/10/03/kate-crawford-les-biais-sont-devenus-le-materiel-brut-de-lia/ https://www.lemonde.fr/blog/internetactu/2019/10/03/kate-crawford-les-biais-sont-devenus-le-materiel-brut-de-lia/#comments Thu, 03 Oct 2019 07:11:04 +0000 https://www.lemonde.fr/blog/internetactu/?p=2782 Continuer la lecture de « Kate Crawford : « les biais sont devenus le matériel brut de l’IA » »
]]>
0 0 0

Kate Crawford (@katecrawford) est la cofondatrice (avec Meredith Whittaker, @mer__edith) de l’AI Now Institute (@AINowInstitute, blog). Chercheuse à Microsoft Research, professeur à l’université de New York, elle est spécialiste de l’étude des implications sociales des systèmes techniques et notamment des effets du Big Data, des algorithmes et de l’Intelligence artificielle. À l’occasion de l’inauguration de la chaire invitée IA et Justice, ouverte à l’École normale supérieure, elle a livré une passionnante présentation sur les enjeux de ces technologies. Prenons le temps de la dérouler !

« Nous sommes confrontés à des systèmes techniques d’une puissance sans précédent, qui impactent très rapidement tous les secteurs, de l’éducation à la santé, de l’économie à la justice… Et la transformation en cours est concomitante à la montée de l’autoritarisme et du populisme ». Cette évolution n’est pas une coïncidence, avance la chercheuse : l’un et l’autre interrogent la centralisation du pouvoir et nécessitent d’améliorer notre compréhension critique des formes de pouvoir. Cette combinaison renforce les difficultés pour maîtriser ces outils et les rendre responsables et nécessite de comprendre en profondeur les relations entre politique, pouvoir et IA. « L’IA est une nouvelle ingénierie du pouvoir ». La science, la société et les autorités doivent trouver les modalités pour qu’elle rende réellement des comptes. « C’est bien plus qu’une question d’équité, de loyauté, d’honnêteté ou de responsabilité ! C’est une question de justice ! », introduit Kate Crawford non sans passion.


Image : Kate Crawford sur la scène de l’ENS, photographiée par Stéphanie Hare.

Kate Crawford commence par raconter une histoire. Celle d’un projet de recherche de police prédictive, lancée par Jeff Brantingham, l’un des fondateurs du célèbre Predpol (voir « Predpol : la prédiction des banalités » et « Où en est la police prédictive ? »), visant à prédire la criminalité liée aux gangs. Le problème est que cette appartenance à des gangs est déterminée par les services de police d’une manière très subjective et conservée dans des bases de données et sur des fiches très lacunaires et très partiales. Comme l’expliquait un excellent article de The Verge, Brantingham proposait de prédire cette appartenance à partir de différentes données comme l’arme utilisée, le nombre de suspects d’un crime, le lieu et la description du crime que l’on trouve dans les bases de données de la police (le lieu surdéterminant l’association avec un gang sous prétexte qu’un quartier relève de leurs territoires). L’étude a fait l’objet de critiques dans Science. À un colloque, l’un des jeunes coauteurs, alors qu’il était interrogé sur les limites et les implications éthiques de ces recherches, a répondu par un piteux « Je ne suis qu’un ingénieur ». En 2016, un audit sur la base de données CalGang de l’État de Californie a montré des erreurs endémiques sur les dossiers : 23% des personnes présentent dans ce fichier n’avaient aucune connexion avec des gangs… Les ingénieurs ne peuvent pas pourtant séparer ainsi leur responsabilité des conséquences des outils qu’ils conçoivent, s’énerve Kate Crawford. Pire, cette façon de ne pas reconnaître sa responsabilité est en passe de devenir une norme. Axon, l’entreprise qui vend des caméras de corps à la police (voir « Les caméras pour policier sont-elles une solution ? »), via son laboratoire d’IA, affirme pouvoir prédire la criminalité, en faisant de la reconnaissance faciale pour déterminer l’historique criminel d’une personne et de la détection de menace depuis leur expression faciale ! Nous entrons dans une époque où des procédés techniques sont transformés très rapidement en systèmes. Ce faisant, ils renforcent des biais culturels et les automatisent, en les rendant à la fois invisibles et incontournables.

Crawford se rappelle d’Eliza, le premier chatbot mis au point dans les années 60 par l’informaticien Joseph Weizenbaum. Ce pionnier de l’IA nous avertissait déjà que le séduisant potentiel de l’IA risquait de nous faire oublier et ignorer ses profondes implications politiques. Eliza était un programme d’une grande simplicité, mais nombre de ceux qui ont joué avec ont été impressionnés par le programme, convaincus qu’une personne se cachait derrière pour leur parler « A l’époque, les gens les plus intelligents du monde réfléchissaient à l’intelligence artificielle, et c’était passionnant… » Weizenbaum prévenait déjà pourtant de la désillusion à venir de l’IA et soulignait que ces technologies allaient permettre aux ingénieurs de mettre à distance le coût humain des systèmes qu’ils concevaient. C’est exactement ce qu’affirmait le jeune ingénieur du programme de police prédictive. Nous continuons à ne pas regarder les implications sociales des outils que nous créons. 60 ans plus tard, nous sommes encore empêtrés dans ces problèmes, or, les changements sociaux que produit l’IA sont profonds. Nous devons nous préoccuper de ces enjeux sociaux, éthiques et politiques avec le même engagement et la même rigueur que nous appliquons à l’optimisation des systèmes techniques !

L’IA est à la fois une technologie, une pratique sociale et une infrastructure industrielle

L’IA n’est pas seulement une technologie, comme on le croit souvent. « Quand on parle d’IA, on parle d’une écologie de différentes technologies », qui ont beaucoup évolué ces dernières années. Même le machine learning est un assemblage de différentes techniques, rappelle rapidement la chercheuse. Le mot « intelligence » est un piège, notamment parce que l’intelligence artificielle ne fonctionne pas du tout comme la cognition humaine. Mais l’IA surtout, n’est pas qu’une technique, insiste-t-elle. « C’est aussi une pratique sociale qui nécessite de comprendre qui travaille sur ces systèmes, quelles données sont utilisées, comment sont-elles classées… » Le fait que le milieu de l’IA soit dominé par des hommes, des ingénieurs, majoritairement blancs et appartenant aux catégories supérieures crée et adresse des problèmes spécifiques. Enfin, l’IA, c’est également une industrie particulièrement imbriquée et complexe. C’est ce que tentait de montrer Anatomy of an AI System, un travail mené par la chercheuse et Vladan Joler, directeur du Share Labs, qui dressait la cartographie exhaustive de ce qu’implique l’usage de la commande vocale Amazon Echo. Cette carte montrait que derrière l’appareil, nous sommes confrontés à un système de calcul planétaire qui a des impacts nombreux en terme de ressources, de données, de travail… Cette tentative de décomposition de l’appareil d’Amazon montre combien ce qu’on appelle l’IA est aussi une infrastructure industrielle particulièrement concentrée. À chaque fois que nous demandons l’heure à Alexa, nous activons un système extractiviste en terme de matériaux, de données, de travail… qui a des impacts sociaux, environnementaux, économiques et politiques cachés. « L’IA est une nouvelle ingénierie du pouvoir » (« AI reengineering power »).



En 2008, Chris Anderson de Wired prophétisait la fin de la théorie : c’est-à-dire l’âge où l’analyse des données suffirait pour produire des résultats. On pensait alors, explique Kate Crawford, qu’avec plus de données, les systèmes deviendraient neutres. Mais c’est le contraire qui s’est passé, comme elle le pointait déjà en 2013 dans « les biais cachés des Big Data » (et même avant) : avec la démultiplication des données, « les discriminations ont été démultipliées ». Nous en avons eu depuis chaque jour de nombreux exemples… En 2015, l’application photo de Google était prise à étiqueter des étudiants noirs en « gorilles » (et si elle ne le fait plus, c’est visiblement parce que le terme gorille a été supprimé de son moteur d’annotation !). En 2016, une remarquable enquête de Bloomberg montrait que la livraison en un jour d’Amazon dans les plus grandes villes des États-Unis n’était pas proposée dans les quartiers noirs de ces villes. En 2018, on a découvert qu’Amazon avait utilisé un système d’IA pour faciliter son recrutement. Problème : le système écartait systématiquement les femmes, pour se conformer au modèle en vigueur dans la firme, où 85% des employés sont des hommes. Après des tentatives de correction inopérantes, Amazon a dû abandonner ce système ! Avec la chercheuse Rashida Richardson et le professeur de droit Jason Schultz (@lawgeek), Kate Crawford a publié en début d’année une analyse des systèmes de police prédictive américains. Les chercheurs soulignent que les systèmes de prédiction des crimes reposent sur des données historiques « sales » voire illégales, mal documentées, produites par des services qui n’ont pas toujours été exemplaires et qui ont consigné des informations bien souvent en violation des droits civils. Travailler depuis ces données pour créer des systèmes de prédiction du crime conduit donc à renforcer les biais, leurs erreurs et inexactitudes de manière systémique.

« Les biais sont devenus le matériel brut de l’IA »

Pour être plus concret encore, la chercheuse amène son public à regarder les images qui alimentent nos systèmes, à ouvrir le capot et comprendre comment fonctionne l’entraînement des systèmes de reconnaissance d’image. Elle prend l’exemple d’un jeu d’images étiquetées couramment utilisé pour l’entraînement des systèmes à la reconnaissance d’image. C’est un jeu de 13 000 images utilisé pour entraîner les systèmes à reconnaître des schémas… Mais qui n’est pas sans biais. Il est composé de 78% de portraits d’hommes et de 84% de portraits de personnes blanches, ce qui implique que les systèmes entraînés depuis ces données fonctionneront mieux sur les hommes blancs. Ce jeu a été assemblé principalement en « scrappant » (c’est-à-dire en extrayant des données, pas nécessairement avec le consentement des espaces d’où elles ont été aspirées) des photos provenant de Yahoo News entre 2002 et 2004, d’où le fait que le visage qui est le plus présent dans la base soit celui de George W. Bush. Ce simple exemple souligne combien les jeux de données reflètent les hiérarchies sociales et les structures de pouvoir existantes.

Autre exemple en utilisant AVA, une base de données de vidéos annotées, permettant aux machines de comprendre les actions humaines et les activités humaines, comme de tenir un verre ou d’être assis sur une chaise. Le problème est que quand on regarde les vidéos associées à une activité, comme de jouer avec enfants, vous ne voyez que des femmes, aucun homme. Si vous cherchez la catégorie kicking a person (donner un coup de pied à quelqu’un), vous ne trouverez que des scènes violentes avec hommes pratiquant le kung-fu ! Ces exemples montrent que ces bases d’entraînement dévoilent une vision particulière de nos vies, très normative, très stéréotypée et très limitée.

Ces biais ne contaminent pas que les images, ils se retrouvent également dans les mots que ces systèmes utilisent, que ce soit pour la traduction automatique, comme dans l’étiquetage automatique des images et vidéos. Les mots qu’on utilise sont souvent très connotés au genre, relevait une étude. Ainsi des mots comme « génie » ou « tactique » sont associés majoritairement aux pronoms masculins, alors que des mots comme « beau » ou « lecture », sont associés aux pronoms féminins. Ces biais de langage se retrouvent bien sûr dans l’analyse émotionnelle qui consiste à déterminer des émotions depuis des textes ou des images de visages ou d’attitudes. À sa sortie, l’API de Google sur le langage naturel, associait des termes comme juifs ou gay a des sentiments négatifs (voir « Vers des interactions automatisées et empathiques à la fois »). Le terme White Power est associé à un sentiment positif, contrairement au terme féministe… « Les biais sont devenus le matériel brut de l’IA »

Comme le résume un petit graphique humoristique de l’informaticien Moritz Hardt (@mrtz), on a longtemps pensé que tout allait bien avec le machine learning, jusqu’à ce que les systèmes et les études se démultiplient… et montre l’ampleur du problème de la discrimination, et ce alors que le déploiement de ces systèmes engage et impacte des millions de personnes, explique-t-elle en montrant une image de Jack Nicholson dans Shining, son visage halluciné dans le trou de la porte qu’il vient de défoncer à coup de hache et qu’un logiciel d’analyse d’image qualifie de « joyeux ».


Image : Le visage de Jack Nicholson dans Shining soumis à l’outil d’analyse de sentiment de Microsoft, qui le désigne comme « joyeux ».

Pour répondre à ces biais, les spécialistes travaillent à apporter des réponses techniques, mais dont la portée s’annonce limitée, prévient Kate Crawford. « Il est probable que ces solutions ne résolvent rien, voire empire le problème ». En fait, les chercheurs et ingénieurs font une application erronée de l’équité ou de l’inclusion. Appliquer des corrections statistiques sur un corpus n’est pas si simple. Dans une recherche menée avec Solon Barocas, Aaron Shapiro et Hanna Wallach sur le problème des biais, qui s’est intéressé aux solutions techniques proposées par la recherche à ces questions, celles-ci sont principalement de 3 ordres : elles visent à améliorer la précision, à gommer pour neutraliser et à mieux refléter la démographie. Améliorer la précision consiste à collecter toujours plus de données, d’une manière toujours plus précise donc trop souvent toujours plus invasive. Gommer pour neutraliser consiste par exemple à enlever le terme gorille des possibilités d’étiquetage des images de Google, même pour celles qui montrent véritablement des gorilles. Enfin, mieux refléter la démographie consiste à appliquer des corrections statistiques pour qu’elles soient plus représentatives… Mais comme la chercheuse l’a montré, les biais sont partout et profondément intriqués dans les données. Derrière ces corrections statistiques imparfaites, il est nécessaire de poser des questions plus larges et plus profondes. Quelle idée de neutralité est à l’oeuvre ici ? De quelle neutralité veut-on parler ? Comment compenser les inégalités ? Certes on peut corriger le manque de diversité, mais comment, sur quels critères, selon quelle représentation, avec quelle correction ? Si on reprend le jeu des 13 000 images utilisées précédemment, on peut certes y ajouter un peu de diversité… mais combien ? Qui décide de qui doit être représenté dans cette base ? Dans quelle proportion ? Si on ajoute des femmes présidentes d’entreprise dans ces bases, à quelle proportion faut-il le faire ? Faut-il que le système se base au niveau – bien bas – du nombre de femmes présidentes d’entreprises actuel ? Ou au contraire y projeter un modèle idéal de société où les femmes et les hommes pourraient être représentés comme présidents d’entreprises à parts égales ?… Ce simple choix projeté dans les boucles de ces systèmes devient très vite éminemment politique ! « La parité n’est pas la justice », explique Kate Crawford, en tout cas n’est pas suffisante pour l’imposer. Beaucoup d’articles de recherche actuellement tentent de mettre au point des outils d’évaluation des risques algorithmiques afin de les rendre plus équitables, notamment dans le secteur de la prédiction du crime ou de la justice prédictive. L’enjeu par exemple est de traiter de la même façon les populations criminelles, quelle que soit leur couleur de peau. Mais cette parité est-elle pour autant plus juste, alors que ces populations ne sont pas arrêtées de la même façon ? Pour l’instant, nous n’avons pas de procédures fiables pour améliorer ces systèmes décisionnels correctement… La correction « technique » de ces systèmes – présentée comme neutre et objective – risque surtout de refermer les débats et l’intérêt actuel à regarder concrètement comment ils fonctionnent et les problèmes qu’ils posent, s’inquiète la chercheuse, et les éloigner de la scène du débat politique que nous devons avoir. Cette correction n’est ni « technique », ni un problème d’ingénieur ! Elle porte des enjeux politiques considérables !

Alors qu’elle ne l’évoquait pas sur la scène de l’ENS, signalons que Kate Crawford et l’artiste Trevor Paglen (@trevorpaglen) viennent de lancer un projet provocateur, ImageNet Roulette, qui utilise un réseau de neurones entraîné sur les catégories utilisées pour décrire des images de personnes de la base de données ImageNet, très utilisée pour l’entraînement des systèmes. ImageNet Roulette propose aux gens d’y télécharger un portrait et de voir les étiquettes que lui attribue l’IA. Très souvent, ces étiquettes se révèlent particulièrement cruelles, misogynes ou racistes… Un moyen pour montrer, simplement et concrètement, les problèmes que soulève l’IA. L’essai qui accompagne le projet et l’exposition associée, détaille très concrètement lui aussi les limites des jeux d’entraînements que l’on fournit aux machines, la complexité de leur étiquetage, qu’il soit humain ou auto-apprenant.

« Quand on optimise un système par nature discriminatoire, qu’optimise-t-on ? » Kate Crawford pointe une autre étude, « Les nuances du genre » (voir l’article de Wired) qui a testé plusieurs systèmes de reconnaissance faciale pour montrer qu’ils reconnaissent mieux les hommes que les femmes, quels que soient la couleur de peau, mais qu’ils ont des performances bien moindres avec les femmes que les hommes, et encore bien moindre pour les femmes qui ont les peaux les plus sombres ! « Ce sont toujours les mêmes groupes sociaux qui demeurent, dans la société, comme vue au travers des systèmes techniques, assujettis à l’injustice, à la surveillance, à la pauvreté » (c’est que disait également la chercheuse Virginia Eubanks dans son livre, Automatiser les inégalités).

Les entreprises de la tech se veulent rassurantes. Pour elles, nous pouvons réparer ce problème, il suffit d’élargir les jeux de données pour le corriger ! Mais cela signifie collecter toujours plus d’images, notamment des groupes minoritaires.Des groupes qui sont déjà les plus exposés à la surveillance, au contrôle, aux procédures d’expulsion… En élargissant les jeux de données, nous risquons surtout de rendre les populations les plus fragiles plus faciles à contrôler et à surveiller ! « Une surveillance égalitaire n’est pas l’égalité ! » Au contraire ! Le risque est de développer des atteintes encore plus disproportionnées qu’elles ne sont aux groupes les plus minoritaires et les plus fragiles ! Ces systèmes sont « dangereux quand ils échouent, nocifs quand ils fonctionnent ». « Améliorer un système injuste ne peut que créer un plus grand préjudice ». Dans Nature, la chercheuse a appelé à un moratoire sur les technologies de reconnaissance faciale ! Le président de Kairos, un spécialiste des services de reconnaissance faciale a annoncé vouloir arrêter de vendre ses services à la police… Nos données reflètent la complexité et l’injustice de nos systèmes, rappelle Crawford. Pour répondre à ces problèmes, nous devons augmenter les garanties et les garde-fous pour les plus vulnérables. Automatiser la société ne la rend pas plus juste. Il faut aussi regarder plus largement comment et pour qui un système est utilisé. À qui donne-t-il du pouvoir ? Pour Crawford, il est nécessaire pour les concepteurs de systèmes de se poser des questions (à l’image de celles qu’adressent le dernier rapport le dernier rapport de l’AI Now Institute : votre outil donne-t-il plus de pouvoir aux plus puissants ? Si c’est le cas, il va approfondir les inégalités.

Le pouvoir (et le risque) de classer

Par nature, l’IA classe, segmente et regroupe. C’est une fonctionnalité, pas un bug. Or, la classification a toujours été une forme de pouvoir. La classification produit un préjudice encore plus fort que les biais. La chercheuse rappelle alors rapidement l’histoire de la classification scientifique. Elle évoque notamment la phrénologie, cette pseudoscience qui espérait déterminer l’intelligence ou la criminalité depuis des caractéristiques morphologiques (voir « Les Big Data sont-elles la nouvelle phrénologie ? »). Pour cette pseudoscience, les caractéristiques les plus accablantes étaient réservées aux femmes et aux étrangers. L’enjeu de ces formes de classements était déjà d’affirmer la puissance des puissants.

L’accélération de la classification apparaît à la fin du XIXe siècle. Quand un employé du bureau du recensement américain, Herman Hollerith, invente la mécanographie, une machine statistique fonctionnant à partir de cartes perforées. Inspiré par un poinçonneur de tickets de Tram, Hollerith va mécaniser la lecture des fiches de recensement pour en accélérer le traitement. Il quittera l’administration pour créer sa société qui deviendra en 1917, l’International Business Machine Corporation, plus connue depuis sous le nom d’IBM. En 1934, une filiale allemande d’IBM va fournir ce type de solutions au régime nazi qui va s’en servir pour tenir des registres raciaux de la population.

La science de la classification a toujours flirté et attiré la discrimination et le racisme, rappelle la chercheuse. En 2016, deux chercheurs de l’université de Shanghai, Xiaolin Wu et Xi Zhang, ont publié lors d’une conférence sur le Machine Learning un article où ils affirmaient pouvoir prédire depuis une simple photo de visage si une personne allait devenir un criminel. Naïvement, ils ont affirmé que leur étude était dénuée de biais. Pour la mener, ils ont utilisé une base de donnée de criminels du gouvernement chinois et de l’autre une base de données de photos de conducteurs de taxis… Or, les différences de traits du visage qu’ils ont mis à jour n’en étaient pas. Ils ont confondu les traits du visage et les expressions du visage. Il n’y avait pas de différences dans la structure faciale entre les criminels et ceux qui ne l’étaient pas, mais une différence d’expression : sur les photographies des services de police, les criminels ne souriaient jamais ! Crawford évoque un autre exemple, tiré des travaux du psychologue Michal Kosinski (@michalkosinski), l’étude dite Gaydar, du nom de l’application de rencontre dont les photos ont été extraites… Cette étude a utilisé des réseaux de neurones pour détecter des caractéristiques de milliers de visages permettant de prédire l’orientation sexuelle de quelqu’un depuis ses traits de visages. Pour Crawford, cette étude pose de nombreuses questions méthodologiques et éthiques, notamment quand on considère que le fait d’être gay est une pratique criminalisée par quelque 78 pays à travers le monde et pour certains, punis de la peine de mort (même si l’objection éthique de Crawford est juste, l’étude de Kosinski est plus ambigüe que cela comme le montrent les explications de Carl Bergstrom et Jevin West de l’excellent Calling Bullshit ou, en français, l’article de déconstruction de l’ambiguïté de l’alerte de Nicolas Baya-Laffite, Boris Beaude et Jérémie Garrigues pour la revue Réseaux). Pour Crawford, quand l’IA cherche à catégoriser les gens sur le genre, la race ou l’identité sexuelle, depuis leur visage, elle fait une erreur conceptuelle et pratique la confusion des catégories, en pensant que ces classements sont des objets fixes, comme le sont une table ou une chaise. Kosinski a justifié son article en expliquant qu’il était important de montrer aux gens que ce type de classements pouvait être accompli. Mais pour Kate Crawford, nous avons une obligation éthique à ne pas faire des choses scientifiquement contestables, capables de causer de sérieux préjudices et marginaliser plus encore les gens marginalisés. « Ce n’est pas parce qu’on peut fabriquer quelque chose qu’on doit le faire ». Il n’est pas indifférent que la possibilité de détecter le crime ou l’homosexualité se produise au moment où le populisme et l’autoritarisme se développent, insiste la chercheuse. Beaucoup de gens souhaitent des systèmes de pouvoir et de contrôle qui n’aient de comptes à rendre à personne. Le sociologue Stuart Hall – tout comme Michel Foucault – affirmait que les « systèmes de classification sont en eux-mêmes des objets de pouvoir ». Toute classification dépend d’une abstraction, qui vise à mettre certaines choses en avant et à en rendre d’autres silencieuses. Qu’est-ce qui est accentué, optimisé ? Qu’est-ce qui est rendu silencieux ? Nous avons le devoir de ne pas reproduire les erreurs du passé !

Géopolitique de l’IA : articuler la Justice et l’IA

Aujourd’hui, le monde entier s’intéresse aux « superpouvoirs » de l’IA, glisse la chercheuse en faisant une référence implicite au best-seller de Kai-Fu Lee (voir « L’intelligence artificielle chinoise, un modèle ? »). De partout, le risque est que l’IA, parce qu’elle est un système de contrôle et de pouvoir, change la démocratie. C’est évident pour nous, occidentaux, quand on regarde le crédit social chinois, qui très concrètement proscrit certains individus, à l’image des 23 millions de Chinois qui sont interdits de se déplacer. Mais la Chine n’est pas le seul vilain petit canard de l’IA. L’analyse de sentiments par exemple, pose d’innombrables problèmes, à l’image de ceux montrés par le scandale Cambridge Analytica ou de HireVue, un système d’entretien d’embauche en vidéo qui calcule de votre prestation un profil psychographique. Le problème ne concerne pas seulement le secteur privé, mais également le secteur public, à l’image de l’Agence de police douanière et de contrôle des frontières américaine qui utilise un système de prévision du risque des migrants arrêté qui a fait tripler la détention des immigrants notamment par l’interconnexion de bases de données. Le nouvel algorithme mis en place en 2017 recommande désormais la détention dans 100% des cas ! « C’est un outil prédictif qui n’apporte qu’une réponse ». Des milliers d’agents ont accès aux données du système et peuvent les manipuler, par exemple en faisant disparaître les informations permettant de relier des enfants à leurs parents ! Et Crawford d’ironiser : comment la parité et l’équité fonctionnent-elles dans de tels systèmes où des gens à la peau sombre sont facilement identifiés par des gens à la peau blanche qui ne les aideront pas ! Pour la chercheuse, nous touchons là des enjeux majeurs liés aux droits de l’homme, à la responsabilité et aux procédures équitables. La philosophe Hannah Arendt rappelait que ce qui hantait le plus sa génération après le procès de Nuremberg était de comprendre comment cela avait pu arriver ! Et comment avons-nous pu laisser cela arriver ! Elle constatait déjà que la seule chose qui a pu limiter la montée des dérives totalitaires a été de s’opposer à leurs technologies. En 1968, la philosophe nous prévenait déjà :« Le rêve de la police est qu’une carte gigantesque sur les murs de leurs bureaux suffise pour établir à chaque moment qui est en relation avec qui et selon quel niveau d’intimité… » Ce cauchemar ne paraît plus irréalisable aujourd’hui, sa réalisation technique est juste difficile. Pour Crawford, nous avons là une description du danger que nous courons.

Nous avons pourtant déjà répondu à des défis et des dangers de ce type. En matière de risque nucléaire ou de génie génétique par exemple, nous avons tenté d’établir des règles et des garde-fous, estime avec beaucoup d’optimisme la chercheuse. La communauté scientifique doit travailler à comprendre les implications sociales de l’IA, notamment son potentiel à accélérer les inégalités. Pour cela, nous avons besoin d’éthique, estime la chercheuse. Les ingénieurs qui développent ces systèmes ont une grande responsabilité, car les systèmes sur lesquels ils travaillent impactent non seulement des millions de personnes, mais également les générations futures.

L’éthique n’est pourtant pas une solution toute faite qu’il suffirait d’appliquer. Elle interroge comment faire pour que les formes de gouvernance rendent clairement et publiquement des comptes à ceux qu’elles gouvernent. Mais pour Kate Crawford, nous avons surtout besoin d’articuler la question de la justice et de l’IA. Pour elle, l’enjeu tient plus de la justice que de l’équité. D’une justice économique, politique, sociale, environnementale… Il nous faut trouver les moyens pour que ces systèmes automatisés rendent compte de leurs fonctionnements, de leurs actions… Et cela passe nécessairement par le développement de contrôles, de réglementations et de législations. Mais également par les actions individuelles comme collectives que nous menons… Et Kate Crawford de rappeler le rôle de l’ingénieur du recensement français, René Camille, qui a oeuvré contre la machine à identifier les juifs du régime nazi. Chaque ingénieur a un moyen d’utiliser son pouvoir de manière éthique… Pour la chercheuse, nous devons utiliser ce moment critique des technologies qui se fait jour. Souvenons-nous des dangers de l’histoire de la classification, conclut-elle. Et travaillons à nous assurer que nous construisons un monde où chacun pourra vivre.

Après son intervention, Kate Crawford a répondu à quelques questions du public. Pour identifier les biais, interroge une personne, encore faut-il pouvoir les repérer… Beaucoup de données par exemple ne comportent pas d’information sur l’origine ethnique des gens. Pour pouvoir corriger cette question, le risque n’est-il pas qu’on soit toujours plus invasifs à l’encontre de la vie privée ? Et Kate Crawford d’appuyer : à nouveau, même en récoltant des données plus précises, la question demeure de comment les rendre neutres, comment corriger concrètement les résultats ? Bien souvent par exemple, les données raciales sont d’une grande généralité : aux États-Unis, nous avons le plus souvent 4 catégories : noir, blanc, asiatique et autres ! Qui est rangé dans quoi ? Qu’est-ce que ces catégories reflètent ?

Faut-il bannir l’IA dans certains secteurs et si oui, lesquels ? Comment estimer le risque dans l’innovation ?, interroge un autre participant. Il y a 3 ans, personne n’envisageait de bannir la reconnaissance faciale… Et regardez maintenant l’évolution de cette question, notamment en Californie et à San Francisco ! Ça bouge vite. Personnellement, je pense qu’il nous faut des moratoires dans certains secteurs, soutient la chercheuse. Dans le monde de la médecine ou de la pharmacie, on ne laisse pas faire n’importe quoi aux industriels… Cela suppose bien sûr de comprendre les risques, ce qui n’est pas toujours si simple. La qualité des discussions autour de ces enjeux, tant du côté des politiques que du grand public a beaucoup progressé, même si les enjeux sont complexes. Cela demande beaucoup de courage et de pression du public pour contrer la puissance des grandes entreprises du secteur à imposer leur agenda !

Si l’IA est biaisée, les gens portent également leurs propres biais… Entre les biais d’un recruteur humain et les biais d’un recruteur automatique, qui pourrait être le plus objectif ? Peut-on rendre l’IA meilleure que les hommes ?, interroge une autre personne. Ce n’est pas parce que le monde est biaisé que nous devons en ajouter une couche, rétorque Kate Crawford. Certes, le jugement des juges est biaisé, mais ils fonctionnent dans un système où leurs pouvoirs sont contrebalancés. Leurs décisions doivent être motivées. Il y a des garde-fous et des garanties institutionnelles, des procédures, des recours … Dans le domaine des décisions automatisées, nous devons développer des procédures et des garanties également !

Répondant à une autre question sur la collecte de données personnelles toujours plus invasive, la chercheuse souligne que les assistants vocaux par exemple, pour fonctionner, ont besoin de toujours plus de données spécifiques et contextualisées. « Nous sommes dans une course à l’extraction de données et c’est cette culture qu’il faut changer ! » Ces systèmes ne sont pas soutenables et il nous faut des modèles qui utilisent le moins de données possible !

Hubert Guillaud

Tweet
Pocket
]]> https://www.lemonde.fr/blog/internetactu/2019/10/03/kate-crawford-les-biais-sont-devenus-le-materiel-brut-de-lia/feed/ 44 2782