Interview sur le développement de l’intelligence artificielle (IA) et l’égalité

En introduction, pourriez-vous nous parler de votre parcours professionnel et de ce qui vous a mené à travailler dans le domaine de l’intelligence artificielle ? Est-ce que, dans ce parcours, vous avez rencontré des obstacles liés au genre ?

Durant mes études en anthropologie politique, je me suis intéressée aux questions de gouvernance des technologies, aux relations de pouvoir derrière ces technologies et à comment la société se transforme au travers des technologies. Çela m’a amené ensuite à travailler pour Educa, l’agence des cantons et de la Confédération pour l’espace de formation numérique, sur les politiques publiques d’utilisation des données, sur la manière
dont on peut utiliser les données dans les écoles, que ce soient les données des élèves ou du personnel enseignant. J’ai approfondi petit à petit les questions liées à l’utilisation des données, puis à l’intelligence artificielle

Il y a deux ans, j’ai rejoint AlgorithmWatch CH pour travailler plus spécifiquement sur les impacts des algorithmes et de l’IA sur les individus et la société. Aujourd’hui je suis chargée de politique et de plaidoyer pour AlgorithmWatch CH.

Quant aux obstacles liés au genre que j’ai moi-même rencontrés, je pense qu’il s’agit d’un milieu où les femmes sont encore largement sous-représentées, dans toutes ces questions de gouvernance des technologies et plus spécifiquement de l’intelligence artificielle. Je me
suis retrouvée plusieurs fois être la seule femme dans la salle ou à intervenir dans les assemblées qui étaient constituées à plus de 90 % d’hommes. Je pense que pour une bonne gouvernance, il est essentiel de pouvoir compter sur une représentation plus diversifiée et que toutes les parties prenantes puissent participer à ces discussions.

Le public du Magazin-e APC est très large et varié ;
pourriez-vous expliquer les principes de base de l’IA, son fonctionnement et les liens avec les enjeux de genre ?

Le terme intelligence artificielle est un terme générique un peu « fourretout » que nous utilisons avec précaution. Nous privilégions plutôt le concept de base d’algorithme,
que nous pouvons considérer comme la recette de cuisine du système. Nous nous focalisons sur les effets des systèmes algorithmiques utilisés dans la prise de décision sur les droits fondamentaux. Il s’agit de systèmes utilisés pour prendre des décisions de manière autonome, pour faire des pronostics ou des recommandations ou pour générer du contenu qui va avoir de l’influence sur les personnes. Ces systèmes, nous les retrouvons dans plein de domaines différents : ils sont utilisés, par exemple, pour évaluer nos candidatures quand on cherche un nouveau travail, pour traiter automatiquement nos déclarations d’impôts, dans le cadre de la pose de diagnostics médicaux, dans la prévention
de délits ou l’évaluation du risque de récidive des délinquant·e·s.

Il est important de comprendre que ces algorithmes ne sont ni neutres, ni objectifs ; ils sont toujours développés et utilisés par des humains qui vont se baser sur certaines hypothèses et poursuivre leurs propres intérêts et leurs propres buts.

Donc, à moins d’être réellement et activement combattu, les schémas de discrimination qui existent déjà dans la société vont être reproduits dans les résultats que livrent les algorithmes.

D’ailleurs, ne faut-il pas aussi rappeler que la plupart des développeurs·euses de ces algorithmes sont des hommes ?

Oui. Le manque de diversité dans la conception des systèmes d’IA est un enjeu important. Les personnes qui développent les technologies intègrent leurs perspectives, leur vision du monde, dans la conception des systèmes. Mais d’autres facteurs vont potentiellement renforcer les inégalités. Un exemple typique en est la qualité des données : qui est représenté·e dans ces données ? quand est-ce qu’elles ont été récoltées ? comment ontelles été traitées ? etc. Il y a beaucoup de travail humain qui se cache derrière ces technologies et c’est un enjeu clé de comprendre que beaucoup d’étapes différentes peuvent amener à un renforcement des inégalités, que ce soit au niveau des personnes qui participent au développement, de la qualité des données, de tous les choix qui vont être faits, et ce, notamment, dans le modèle et dans l’utilisation du système.

Ces algorithmes se basent donc sur des données récoltées ces dernières années dans la société actuelle, une société de facto encore inégalitaire ?

Exactement. On essaie de résoudre des problèmes d’aujourd’hui ou du futur avec des systèmes qui se basent toujours sur des données du passé. On reproduit donc forcément ce passé, à moins de faire activement quelque chose pour contrecarrer ces effets.

Quelle relation devrions-nous alors établir avec l’IA, pour éviter de renforcer les biais de genre ?

Il est important de commencer par s’informer et expérimenter. Il est important d’avoir un regard critique et de ne pas surestimer ce que ces systèmes peuvent faire. Vouloir penser que ce qui sort de la machine est « neutre et juste », alors qu’en réalité ce n’est pas toujours objectif ou fiable, est très humain. Il est donc toujours important de garder une distance critique et de réfléchir quand et où l’utilisation de ces systèmes est pertinente et quelles
conditions cadres doivent être mises en place, par exemple lorsque ces technologies sont utilisées dans l’administration publique.

Ces systèmes sont de plus en plus utilisés dans la prise de décision, que ce soit pour les calculs d’impôts, dans la police prédictive, dans l’analyse de risque et, dans certains pays, dans la détermination de l’accès à des prestations sociales ; il s’agit parfois de domaines très sensibles. Il est donc primordial de mettre en place des conditions cadres pour une utilisation responsable, comme l’analyse des impacts d’un système sur les droits fondamentaux et l’implémentation des mesures pour réduire ces risques.

Un premier pas indispensable consiste à garantir la transparence. Aujourd’hui, l’automatisation est une boite noire : nous ne savons pas où, par qui et pourquoi ces systèmes sont utilisés. La transparence doit être renforcée, par exemple par le biais de registres publics des systèmes utilisés.

Pourriez-vous expliquer concrètement comment l’IA amplifie les inégalités femmes-hommes, et ce que nous pouvons faire, au niveau des employeurs et des politiques, pour corriger ces biais ?

Premièrement, si on ne fait rien pour contrer cela, l’IA reproduit les stéréotypes. Lors de l’utilisation un générateur d’images basé sur l’IA pour générer une image d’une personne médecin, par exemple, le système produira plutôt l’image d’un homme. En revanche, s’il est demandé au système de générer une image d’une personne travaillant dans les soins infirmiers, l’image produite sera plutôt celle d’une femme. Nous pouvons donc observer que l’IA perpétue certains stéréotypes et participe ainsi à les renforcer.

Il y a quelques années, AlgorithmWatch CH avait mené une expérience sur les offres d’emploi sur Facebook : nous avions publié des offres d’emploi non genrées et nous avons observé que les offres pour la conduite de camion étaient plutôt montrées à des profils d’hommes et celles pour la garde d’enfants plutôt à des profils de femmes. Les algorithmes ont donc ciblé certain·e·s utilisateurs·rices par rapport à leur genre, avec des conséquences
sur l’accès à l’emploi. Toujours sur le thème de l’accès à l’emploi : si une entreprise dans laquelle les femmes occupent historiquement moins de postes à responsabilité que les hommes, décide d’utiliser un système automatisé de recrutement qui se base sur les données historiques sans effectuer de correction, le système va reproduire ce déséquilibre.
Le risque que l’utilisation de ces systèmes conduise à reproduire et amplifier les inégalités est donc bien réel. Face à ce risque, deux aspects sont fondamentaux : d’une part, il est primordial de renforcer la transparence, c’est-à-dire de pouvoir savoir où, par qui et pourquoi sont utilisés ces systèmes ; d’autre part, il est nécessaire de renforcer la protection contre la discrimination, au travers notamment de mesures préventives et en facilitant les voies de recours pour les personnes concernées.

Il est également important de clarifier qui est responsable quand un algorithme discrimine. On ne peut pas simplement déléguer la responsabilité à une machine.

Pourriez-vous expliquer brièvement le concept de tendance intersectionnelle et le rôle qu’il joue dans l’IA ? La variable genre est-elle la seule à ressortir ou y en a-t-il d’autres ?

On entend par discrimination intersectionnelle, la discrimination multiple qui peut résulter de l’interaction entre différentes identités sociales, que ce soit le genre, l’origine, le milieu socio-économique, le fait d’être en situation de handicap, etc. Plus une personne cumule de caractéristiques, plus la possibilité d’être désavantagée est grande.

Une femme en situation de handicap, par exemple, sera souvent bien plus discriminée qu’une femme valide ; la même logique s’applique à une femme racisée, qui rencontrera plus de difficultés dans son parcours de vie qu’une femme blanche.

Les systèmes basés sur l’intelligence artificielle sont généralement complexes et prennent des décisions en fonction de plusieurs critères, comme le genre ou l’âge par exemple. Ils peuvent donc potentiellement avoir des effets discriminatoires de type intersectionnels.

Souhaiteriez-vous transmettre un dernier message sur l’IA et son impact sur les inégalités de genre ?

Deux points me semblent fondamentaux. Premièrement, les systèmes basés sur l’intelligence artificielle ont également le potentiel d’être utilisés comme outils pour révéler les discriminations et faire la lumière sur les inégalités.

Ces systèmes sont en effet particulièrement utiles pour analyser de grandes bases de données et pour identifier des schémas de discrimination. Mais, pour cela, ces systèmes doivent être conçus et utilisés dans ce but. Or, aujourd’hui, leur utilisation est souvent motivée par des objectifs de productivité ou de réduction de coûts.

Deuxièmement, pour une utilisation responsable de l’IA, il est nécessaire de renforcer la protection contre la discrimination. Le Conseil fédéral analyse d’ici la fin de l’année le besoin de régulation en matière d’intelligence artificielle. Avec 45 organisations, nous avons remis fin septembre au Conseil fédéral un appel qui demande que la protection contre la discrimination par l’IA et les algorithmes soit une priorité de la future régulation autour de
l’IA. Cette problématique a également trouvé écho au niveau du Parlement et nous espérons que notre appel sera entendu par le Conseil fédéral.

AlgorithmWatch est une organisation non gouvernementale d’utilité publique basée à Zurich et Berlin qui s’engage pour que les algorithmes et l’Intelligence artificielle (IA) renforcent la justice, la démocratie, les droits humains et la durabilité au lieu de les affaiblir.

 Chiara Montecchio & Mariantonia Rosset pour la Commission de l’égalité de l’APC