Réduire les méfaits des consommateurs

Les secteurs privé et public se tournent de plus en plus vers des systèmes d'intelligence artificielle (IA) et des algorithmes d'apprentissage automatique pour automatiser des processus décisionnels simples et complexes.1 La numérisation à grande échelle des données et les technologies émergentes qui les utilisent perturbent la plupart des secteurs économiques, y compris le transport, la vente au détail, la publicité et l'énergie, et d'autres domaines. L'IA a également un impact sur la démocratie et la gouvernance alors que des systèmes informatisés sont déployés pour améliorer la précision et favoriser l'objectivité dans les fonctions gouvernementales.
La disponibilité d'ensembles de données massifs a facilité l'obtention de nouvelles informations via les ordinateurs. En conséquence, les algorithmes, qui sont un ensemble d'instructions étape par étape que les ordinateurs suivent pour effectuer une tâche, sont devenus des outils plus sophistiqués et omniprésents pour la prise de décision automatisée.2 Bien que les algorithmes soient utilisés dans de nombreux contextes, nous nous concentrons sur des modèles informatiques qui font des inférences à partir de données sur les personnes, y compris leur identité, leurs attributs démographiques, leurs préférences et leurs comportements futurs probables, ainsi que les objets qui leur sont liés3.
Les algorithmes exploitent des volumes de macro et micro-données pour influencer les décisions affectant les personnes dans un éventail de tâches, de la formulation de recommandations de films à l'aide aux banques pour déterminer la solvabilité des individus. »
Dans le monde pré-algorithme, les humains et les organisations ont pris des décisions en matière d'embauche, de publicité, de condamnation pénale et de prêt. Ces décisions étaient souvent régies par des lois fédérales, étatiques et locales qui réglementaient les processus décisionnels en termes d'équité, de transparence et d'équité. Aujourd'hui, certaines de ces décisions sont entièrement prises ou influencées par des machines dont l'échelle et la rigueur statistique promettent des efficacités sans précédent. Les algorithmes exploitent des volumes de macro et micro-données pour influencer les décisions affectant les personnes dans un éventail de tâches, de la formulation de recommandations de films à l'aide aux banques pour déterminer la solvabilité des individus.4 Dans l'apprentissage automatique, les algorithmes reposent sur plusieurs ensembles de données ou données de formation , qui spécifie les sorties correctes pour certaines personnes ou certains objets. À partir de ces données de formation, il apprend ensuite un modèle qui peut être appliqué à d'autres personnes ou objets et faire des prédictions sur ce que les bons résultats devraient être pour eux.5
Cependant, comme les machines peuvent traiter différemment des personnes et des objets situés de façon similaire, la recherche commence à révéler des exemples troublants dans lesquels la réalité de la prise de décision algorithmique ne répond pas à nos attentes. Compte tenu de cela, certains algorithmes courent le risque de reproduire et même d'amplifier les préjugés humains, en particulier ceux qui affectent les groupes protégés.6 Par exemple, les évaluations automatisées des risques utilisées par les juges américains pour déterminer les limites de cautionnement et de détermination de la peine peuvent générer des conclusions incorrectes, entraînant des effets cumulatifs importants sur certains groupes, comme des peines de prison plus longues ou des peines plus lourdes imposées aux personnes de couleur.
Dans cet exemple, la décision génère un biais », terme que nous définissons largement car il se rapporte à des résultats qui sont systématiquement moins favorables aux individus au sein d'un groupe particulier et où il n'y a pas de différence pertinente entre les groupes qui justifie de tels dommages. 7 Biais dans les algorithmes peut provenir de données de formation non représentatives ou incomplètes ou de la dépendance à l'égard d'informations erronées qui reflètent les inégalités historiques. S'ils ne sont pas contrôlés, les algorithmes biaisés peuvent conduire à des décisions qui peuvent avoir un impact collectif et disparate sur certains groupes de personnes même sans l'intention du programmeur de discriminer. L'exploration des conséquences prévues et imprévues des algorithmes est à la fois nécessaire et opportune, d'autant plus que les politiques publiques actuelles peuvent ne pas être suffisantes pour identifier, atténuer et remédier aux impacts sur les consommateurs.
Avec des algorithmes apparaissant dans une variété d'applications, nous soutenons que les opérateurs et les autres parties prenantes concernées doivent être diligents pour traiter de manière proactive les facteurs qui contribuent au biais. Le fait de faire surface et de réagir au biais algorithmique dès le départ peut potentiellement éviter des impacts néfastes pour les utilisateurs et de lourdes responsabilités contre les opérateurs et les créateurs d'algorithmes, y compris les programmeurs informatiques, le gouvernement et les leaders de l'industrie. Ces acteurs constituent le public de la série de propositions d'atténuation à présenter dans ce document parce qu'ils construisent, autorisent, distribuent ou sont chargés de réglementer ou de légiférer la prise de décision algorithmique pour réduire l'intention ou les effets discriminatoires.

Notre recherche présente un cadre pour l'hygiène algorithmique, qui identifie certaines causes spécifiques des biais et utilise les meilleures pratiques pour les identifier et les atténuer. Nous présentons également un ensemble de recommandations de politique publique, qui promeuvent le déploiement équitable et éthique de l'IA et des technologies d'apprentissage automatique.
Ce document s'appuie sur la perspicacité de 40 leaders d'opinion issus de disciplines universitaires, de secteurs industriels et d'organisations de la société civile qui ont participé à l'une des deux tables rondes.8 Les participants à la table ronde ont activement débattu des concepts liés à la conception algorithmique, à la responsabilité et à l'équité, ainsi qu'à la compromis techniques et sociaux associés à diverses approches de détection et d'atténuation des biais.
Notre objectif est de juxtaposer les problèmes auxquels sont confrontés les programmeurs informatiques et les leaders de l'industrie lorsqu'ils développent des algorithmes avec les préoccupations des décideurs politiques et des groupes de la société civile qui évaluent leurs implications. Pour équilibrer les innovations de l'IA et des algorithmes d'apprentissage automatique avec la protection des droits individuels, nous présentons un ensemble de recommandations de politiques publiques, de meilleures pratiques d'autorégulation et de stratégies axées sur le consommateur, qui favorisent toutes le déploiement équitable et éthique de ces technologies .
Nos recommandations de politique publique comprennent la mise à jour des lois sur la non-discrimination et les droits civils à appliquer aux pratiques numériques, l'utilisation de bacs à sable réglementaires pour favoriser l'expérimentation anti-biais, et des ports sûrs pour utiliser des informations sensibles pour détecter et atténuer les biais. Nous décrivons également un ensemble de meilleures pratiques d'autoréglementation, telles que l'élaboration d'une déclaration d'impact sur les biais, des principes de conception inclusifs et des équipes de travail interfonctionnelles. Enfin, nous proposons des solutions supplémentaires axées sur l'alphabétisation algorithmique parmi les utilisateurs et des mécanismes formels de rétroaction aux groupes de la société civile.
La section suivante fournit cinq exemples d'algorithmes pour expliquer les causes et les sources de leurs biais. Plus loin dans l'article, nous discutons des compromis entre l'équité et la précision dans l'atténuation des biais algorithmiques, suivis d'une offre solide de meilleures pratiques d'autoréglementation, de recommandations de politiques publiques et de stratégies axées sur les consommateurs pour lutter contre les biais en ligne. Nous concluons en soulignant l'importance de s'attaquer de manière proactive à l'utilisation responsable et éthique de l'apprentissage automatique et d'autres outils de prise de décision automatisés.

Exemples de biais algorithmiques
Le biais algorithmique peut se manifester de plusieurs manières avec des degrés divers de conséquences pour le groupe de sujets. Considérez les exemples suivants, qui illustrent à la fois une gamme de causes et d'effets qui, par inadvertance, appliquent un traitement différent à des groupes ou génèrent délibérément un impact disparate sur eux.
Biais dans les outils de recrutement en ligne
Le détaillant en ligne Amazon, dont l'effectif mondial est composé à 60% d'hommes et où les hommes occupent 74% des postes de direction de l'entreprise, a récemment cessé d'utiliser un algorithme de recrutement après avoir découvert des préjugés sexistes.9 Les données que les ingénieurs ont utilisées pour créer l'algorithme ont été dérivées des CV soumis à Amazon sur une période de 10 ans, provenant principalement de mâles blancs. L'algorithme a appris à reconnaître les modèles de mots dans les curriculum vitae, plutôt que les ensembles de compétences pertinents, et ces données ont été comparées au service d'ingénierie à prédominance masculine de l'entreprise pour déterminer l'adéquation d'un candidat. En conséquence, le logiciel AI a pénalisé tout curriculum vitae contenant le mot «femmes» dans le texte et a déclassé le curriculum vitae des femmes qui fréquentaient les collèges féminins, ce qui a entraîné des préjugés sexistes.10
Amazon a abandonné un algorithme de recrutement après avoir découvert qu'il avait conduit à des préjugés sexistes dans son recrutement. (Crédit: Brian Snyder / Reuters)
Biais dans les associations de mots
Les chercheurs de l'Université de Princeton ont utilisé un logiciel d'IA d'apprentissage automatique pour analyser et relier 2,2 millions de mots. Ils ont constaté que les noms européens étaient perçus comme plus agréables que ceux des Afro-Américains, et que les mots femme et fille étaient plus susceptibles d'être associés aux arts plutôt qu'aux sciences et aux mathématiques, qui étaient très probablement liées aux hommes.11 En analysant ces associations de mots dans les données de formation, l'algorithme d'apprentissage automatique a repris les préjugés raciaux et de genre existants montrés par les humains. Si les associations apprises de ces algorithmes étaient utilisées dans le cadre d'un algorithme de classement des moteurs de recherche ou pour générer des suggestions de mots dans le cadre d'un outil d'auto-complétion, cela pourrait avoir un effet cumulatif de renforcer les biais raciaux et de genre.
Biais dans les publicités en ligne
Latanya Sweeney, chercheuse à Harvard et ancienne chef de la technologie à la Federal Trade Commission (FTC), a constaté que les requêtes de recherche en ligne de noms afro-américains étaient plus susceptibles de renvoyer des publicités à cette personne à partir d'un service qui rend les dossiers d'arrestation, par rapport à la résultats de la publicité pour les noms blancs.12 Ses recherches ont également révélé que le même traitement différentiel se produisait dans le micro-ciblage des cartes de crédit à intérêt élevé et d'autres produits financiers lorsque l'ordinateur en déduisait que les sujets étaient des Afro-Américains, malgré des antécédents similaires à ceux des Blancs. .13 Lors d'une présentation publique lors d'une audience de la FTC sur les mégadonnées, Sweeney a démontré comment un site Web, qui commercialisait la célébration du centenaire d'une fraternité entièrement noire, recevait des suggestions d'annonces en continu pour acheter des dossiers d'arrestation »ou accepter des offres de cartes de crédit à intérêt élevé .14
Biais dans la technologie de reconnaissance faciale
La chercheuse du MIT, Joy Buolamwini, a constaté que les algorithmes alimentant trois systèmes logiciels de reconnaissance faciale disponibles dans le commerce ne reconnaissaient pas les teints à la peau plus foncée.15 En général, la plupart des ensembles de données d'entraînement à la reconnaissance faciale sont estimés à plus de 75% pour les hommes et à plus de 80% pour les blancs. Lorsque la personne sur la photo était un homme blanc, le logiciel était précis 99% du temps pour identifier la personne comme un homme. Selon les recherches de Buolamwini, les taux d'erreur sur les produits pour les trois produits étaient inférieurs à un pour cent dans l'ensemble, mais ont augmenté à plus de 20 pour cent dans un produit et à 34 pour cent dans les deux autres dans l'identification des femmes à la peau foncée comme femmes. En réponse aux résultats de l'analyse faciale de Buolamwini, IBM et Microsoft se sont engagés à améliorer la précision de leur logiciel de reconnaissance pour les visages à la peau plus foncée.
Biais dans les algorithmes de justice pénale
Reconnaître la possibilité et les causes de biais est la première étape de toute approche d'atténuation.
Selon un rapport de ProPublica, l'algorithme COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), qui est utilisé par les juges pour prédire si les accusés doivent être détenus ou libérés sous caution en attendant le procès, est biaisé contre les Afro-Américains. L'algorithme attribue un score de risque à la probabilité d'un prévenu de commettre une infraction future, en s'appuyant sur les volumineuses données disponibles sur les dossiers d'arrestation, les données démographiques du défendeur et d'autres variables. Comparés aux Blancs qui étaient également susceptibles de récidiver, les Afro-Américains étaient plus susceptibles de se voir attribuer un score de risque plus élevé, ce qui allongeait les périodes de détention en attendant le procès18. Northpointe, la firme qui vend les résultats de l'algorithme, offre des preuves pour réfuter de telles allégations et soutient que des mesures erronées sont utilisées pour évaluer l'équité du produit, un sujet sur lequel nous reviendrons plus loin dans le document.
Bien que ces exemples de biais ne soient pas exhaustifs, ils suggèrent que ces problèmes sont des réalités empiriques et pas seulement des préoccupations théoriques. Ils illustrent également comment ces résultats émergent, et dans certains cas, sans intention malveillante de la part des créateurs ou des opérateurs de l'algorithme. Reconnaître la possibilité et les causes de biais est la première étape de toute approche d'atténuation. Sur ce point, Ricardo Baeza-Yates, participant à la table ronde de NTENT, a déclaré que les entreprises continueront à avoir des problèmes pour discuter du biais algorithmique si elles ne font pas référence au biais lui-même. »
Causes de biais
Barocas et Selbst soulignent que les biais peuvent s'introduire à toutes les phases d'un projet,… que ce soit en spécifiant le problème à résoudre de manière à affecter les classes différemment, en ne reconnaissant pas ou en ne corrigeant pas les biais statistiques, en reproduisant les préjugés du passé ou en considérant une richesse insuffisamment riche. ensemble de facteurs. »19 Les participants à la table ronde se sont concentrés en particulier sur les biais résultant de défauts dans les données utilisées pour former les algorithmes. Les données erronées sont un gros problème », a déclaré Lucy Vasserman, participante à la table ronde de Google,… en particulier pour les groupes que les entreprises s'efforcent de protéger.» Bien qu'il existe de nombreuses causes, nous nous concentrons sur deux d'entre elles: les biais humains historiques et les données incomplètes ou non représentatives.
Biais humains historiques
Les préjugés humains historiques sont façonnés par des préjugés omniprésents et souvent profondément ancrés contre certains groupes, qui peuvent conduire à leur reproduction et à leur amplification dans des modèles informatiques. Dans l'algorithme COMPAS, si les Afro-Américains sont plus susceptibles d'être arrêtés et incarcérés aux États-Unis en raison du racisme historique, des disparités dans les pratiques policières ou d'autres inégalités au sein du système de justice pénale, ces réalités seront reflétées dans les données de formation et utilisées faire des suggestions sur la question de savoir si un prévenu doit être détenu. Si les biais historiques sont pris en compte dans le modèle, il émettra les mêmes types de mauvais jugements que les gens.
L'algorithme de recrutement d'Amazon a révélé une trajectoire similaire lorsque les hommes étaient la référence pour un ajustement professionnel », entraînant la rétrogradation des candidatures féminines et de leurs attributs. Ces réalités historiques se retrouvent souvent dans le développement et l'exécution de l'algorithme, et elles sont exacerbées par le manque de diversité qui existe dans les domaines de l'informatique et de la science des données20.
De plus, les préjugés humains peuvent être renforcés et perpétués à l'insu de l'utilisateur. Par exemple, les Afro-Américains qui sont principalement la cible des options de carte de crédit à intérêt élevé pourraient se retrouver à cliquer sur ce type d'annonce sans se rendre compte qu'ils continueront de recevoir de telles suggestions prédatrices en ligne. Dans ce cas et dans d'autres, l'algorithme peut ne jamais accumuler de suggestions d'annonces contrefactuelles (par exemple, des options de crédit à faible taux d'intérêt) auxquelles le consommateur pourrait être admissible et préférer. Ainsi, il est important pour les concepteurs d'algorithmes et les opérateurs de surveiller de telles boucles de rétroaction négative potentielles qui font qu'un algorithme devient de plus en plus biaisé au fil du temps.
Données de formation incomplètes ou non représentatives
Des données d'entraînement insuffisantes sont une autre cause de biais algorithmique. Si les données utilisées pour former l'algorithme sont plus représentatives de certains groupes de personnes que d'autres, les prévisions du modèle peuvent également être systématiquement pires pour les groupes non représentés ou sous-représentatifs. Par exemple, dans les expériences d'analyse faciale de Buolamwini, la mauvaise reconnaissance des visages à peau plus foncée était largement due à leur sous-représentation statistique dans les données d'entraînement. Autrement dit, l'algorithme a probablement repris certaines caractéristiques du visage, telles que la distance entre les yeux, la forme des sourcils et les variations des teintes de peau du visage, comme moyens de détecter les visages masculins et féminins. Cependant, les traits du visage qui étaient plus représentatifs dans les données d'entraînement n'étaient pas aussi divers et, par conséquent, moins fiables pour distinguer les teints, conduisant même à une mauvaise identification des femelles à peau plus foncée que des mâles.
Turner Lee a fait valoir que c'est souvent le manque de diversité parmi les programmeurs qui conçoivent l'échantillon de formation qui peut conduire à la sous-représentation d'un groupe particulier ou d'attributs physiques spécifiques.21 Les conclusions de Buolamwini étaient dues à sa rigueur dans les tests, l'exécution et évaluer une variété de logiciels propriétaires d'analyse faciale dans différents contextes, en corrigeant le manque de diversité dans leurs échantillons.
Inversement, des algorithmes contenant trop de données ou une surreprésentation peuvent fausser la décision vers un résultat particulier. Des chercheurs de la Georgetown Law School ont découvert qu'environ 117 millions d'adultes américains se trouvaient dans des réseaux de reconnaissance faciale utilisés par les forces de l'ordre et que les Afro-Américains étaient plus susceptibles d'être distingués principalement en raison de leur surreprésentation dans les bases de données de tirs abusifs22. , Les visages afro-américains avaient plus de possibilités d'être faussement appariés, ce qui a produit un effet biaisé.

Stratégies de détection des biais
Comprendre les différentes causes de biais est la première étape de l'adoption d'une hygiène algorithmique efficace. Mais comment les opérateurs d'algorithmes peuvent-ils évaluer si leurs résultats sont effectivement biaisés? Même lorsque les défauts dans les données d'apprentissage sont corrigés, les résultats peuvent toujours être problématiques car le contexte est important pendant la phase de détection des biais.
Même lorsque les failles dans les données d'apprentissage sont corrigées, les résultats peuvent toujours être problématiques car le contexte est important pendant la phase de détection des biais. »
Premièrement, toutes les approches de détection devraient commencer par une manipulation soigneuse des informations sensibles des utilisateurs, y compris les données qui identifient l'appartenance d'une personne à un groupe protégé par le gouvernement fédéral (par exemple, la race, le sexe). Dans certains cas, les opérateurs d'algorithmes peuvent également s'inquiéter de l'appartenance d'une personne à un autre groupe s'ils sont également susceptibles de résultats injustes. Un exemple de cela pourrait être les agents d'admission des collèges qui s'inquiètent de l'exclusion de l'algorithme des candidats des zones rurales ou à faible revenu; ce sont des personnes qui ne sont peut-être pas protégées par le gouvernement fédéral, mais qui sont sensibles à certains préjudices (p. ex., des difficultés financières).
Dans le premier cas, les préjugés systémiques contre les classes protégées peuvent entraîner des impacts collectifs et disparates, qui peuvent avoir une base pour des dommages légalement reconnaissables, tels que le déni de crédit, le profilage racial en ligne ou une surveillance massive.23 Dans ce dernier cas, le les résultats de l'algorithme peuvent produire des résultats inégaux ou des taux d'erreur inégaux pour différents groupes, mais ils ne peuvent pas violer les interdictions légales s'il n'y avait aucune intention de discriminer.
Ces résultats problématiques devraient conduire à une discussion plus approfondie et à une meilleure prise de conscience de la façon dont les algorithmes fonctionnent dans le traitement des informations sensibles et des compromis autour de l'équité et de la précision des modèles.
Algorithmes et informations sensibles
Bien qu'il soit intuitivement attrayant de penser qu'un algorithme peut être aveugle aux attributs sensibles, ce n'est pas toujours le cas.24 Les critiques ont souligné qu'un algorithme peut classer les informations basées sur des procurations en ligne pour les attributs sensibles, ce qui donne un biais contre un groupe même sans prendre de décisions directement en fonction de son appartenance à ce groupe. Barocas et Selbst définissent les proxys en ligne comme des facteurs utilisés dans le processus de notation d'un algorithme qui sont de simples substituts pour les groupes protégés, tels que le code postal comme proxys pour la race, ou la taille et le poids comme proxys pour le sexe. »25 Ils soutiennent que les proxies souvent liés à des algorithmes peuvent produire à la fois des erreurs et des résultats discriminatoires, tels que les cas où un code postal est utilisé pour déterminer les décisions de prêt numérique ou la race déclenche un résultat disparate.26 La plate-forme publicitaire de Facebook contenait des procurations qui permettaient aux spécialistes du marketing du logement de micro-cibler les locataires préférés et les acheteurs en cliquant sur des points de données, y compris les préférences de code postal.27 Ainsi, il est possible qu'un algorithme complètement aveugle à un attribut sensible produise en fait le même résultat qu'un algorithme qui utilise l'attribut de manière discriminatoire.
Bien qu'il soit intuitivement attrayant de penser qu'un algorithme peut être aveugle aux attributs sensibles, ce n'est pas toujours le cas. »
Par exemple, Amazon a pris la décision d'entreprise d'exclure certains quartiers de son système de livraison Prime le jour même. Leur décision reposait sur les facteurs suivants: si un code postal particulier avait un nombre suffisant de membres Prime, était à proximité d'un entrepôt et avait suffisamment de personnes disposées à livrer à ce code postal.28 Bien que ces facteurs correspondent au modèle de rentabilité de l'entreprise, ils a entraîné l'exclusion des quartiers pauvres, à prédominance afro-américaine, transformant ces points de données en procurations pour la classification raciale. Les résultats, même involontaires, discriminaient les minorités raciales et ethniques qui n'étaient pas incluses.
De même, un algorithme de recherche d'emploi peut ne pas recevoir le champ de genre en entrée, mais il peut produire des scores de correspondance différents pour deux CV qui ne diffèrent que par la substitution du nom Mary "pour Mark" car l'algorithme est formé pour faire ces distinctions heures supplémentaires.
Il existe également des arguments selon lesquels le masquage de l'algorithme à des attributs sensibles peut provoquer un biais algorithmique dans certaines situations. Corbett-Davies et Goel soulignent dans leurs recherches sur l'algorithme COMPAS que, même après avoir contrôlé les facteurs de risque légitimes, les femmes empiriquement se sont révélées récidiver moins souvent que les hommes dans de nombreuses juridictions.29 S'il est interdit à un algorithme de signaler un score d'évaluation des risques différent pour deux prévenus criminels qui ne diffèrent que par leur sexe, les juges peuvent être moins susceptibles de libérer des prévenues que des hommes avec des risques réels égaux de commettre un autre crime avant le procès. Ainsi, aveugler l'algorithme de tout type d'attribut sensible peut ne pas résoudre le biais.
Bien que les participants à la table ronde n'étaient pas d'accord sur l'utilisation de procurations en ligne dans la modélisation, ils étaient largement d'accord pour dire que les opérateurs d'algorithmes devaient être plus transparents dans leur traitement des informations sensibles, surtout si le mandataire potentiel pouvait lui-même constituer un préjudice de classification juridique.30 discussion également que l'utilisation d'attributs sensibles dans le cadre d'un algorithme pourrait être une stratégie pour détecter et éventuellement guérir les biais voulus et involontaires. Étant donné que cela peut actuellement être contraint par des réglementations sur la confidentialité, telles que les règles générales de protection des données de l'Union européenne (RGPD) ou la législation fédérale américaine sur la confidentialité, l'argument pourrait être avancé en faveur de l'utilisation de bacs à sable réglementaires et de ports sûrs pour permettre l'utilisation de ressources sensibles. informations lors de la détection et de l'atténuation des biais, qui seront tous deux introduits dans le cadre de nos recommandations politiques.

Détecter les biais
Lors de la détection de biais, les programmeurs informatiques examinent normalement l'ensemble des sorties que l'algorithme produit pour vérifier les résultats anormaux. La comparaison des résultats pour différents groupes peut être une première étape utile. Cela pourrait même se faire par le biais de simulations. Le participant à la table ronde, Rich Caruana de Microsoft, a suggéré que les entreprises envisagent la simulation de prédictions (à la fois vraies et fausses) avant de les appliquer à des scénarios réels. Nous avons presque besoin d'un processus de collecte de données secondaire, car parfois le modèle émettra quelque chose de très différent », a-t-il expliqué. Par exemple, si le score moyen d'un algorithme d'appariement des emplois pour les candidats de sexe masculin est supérieur à celui des femmes, des investigations et des simulations supplémentaires pourraient être justifiées.
Cependant, l'inconvénient de ces approches est que tous les résultats inégaux ne sont pas injustes. Le participant à la table ronde, Solon Barocas, de l'Université Cornell, a résumé cela en déclarant: Peut-être découvrons-nous que nous avons un modèle très précis, mais il produit toujours des résultats disparates. C'est peut-être malheureux, mais est-ce juste? » Une alternative à la prise en compte des résultats inégaux peut être d'examiner l'égalité des taux d'erreur et de déterminer s'il y a plus d'erreurs pour un groupe de personnes que pour un autre. Sur ce point, Isabel Kloumann de Facebook a partagé que la société a des attentes. L'un d'entre eux n'incarcère pas un groupe minoritaire de manière disproportionnée en raison d'un algorithme. »
Comme le montrent les débats autour de l'algorithme COMPAS, même les taux d'erreur ne sont pas un simple test décisif pour les algorithmes biaisés. Northpointe, la société qui a développé l'algorithme COMPAS, réfute les allégations de discrimination raciale. Ils soutiennent que parmi les accusés ayant le même score de risque élevé, les accusés afro-américains et blancs ont des taux de récidive presque égaux, de sorte que, selon cette mesure, il n'y a pas d'erreur dans la décision de l'algorithme.31 Selon eux, les juges peuvent considérer leur algorithme sans aucun référence à la race dans les décisions de mise en liberté sous caution et de libération.
Il n'est pas possible, en général, d'avoir des taux d'erreur égaux entre les groupes pour tous les différents taux d'erreur32. ProPublica s'est concentré sur un taux d'erreur, tandis que Northpointe en a perfectionné un autre. Ainsi, certains principes doivent être établis pour quels taux d'erreur doivent être égalisés dans quelles situations afin d'être équitable.
L'algorithme COMPAS, qui est utilisé par les juges pour prédire si les accusés doivent être détenus ou libérés sous caution en attendant le procès, a examiné de près les allégations de discrimination raciale potentielle. (Crédit: Stephen Lam / Reuters)
Cependant, la distinction entre la façon dont l'algorithme fonctionne avec des informations sensibles et les erreurs potentielles peut être problématique pour les opérateurs d'algorithmes, les décideurs politiques et les groupes de la société civile.33 Les entreprises perdraient beaucoup si nous ne faisons pas de distinction entre les deux », a déclaré Julie Brill de Microsoft. À tout le moins, les participants à la table ronde étaient d'accord pour dire que les algorithmes ne devraient pas perpétuer les inégalités historiques et que davantage de travail doit être fait pour lutter contre la discrimination en ligne34.
Compromis d'équité et d'exactitude
Ensuite, une discussion sur les compromis et l'éthique est nécessaire. Ici, l'accent devrait être mis sur l'évaluation à la fois des notions sociétales d'équité »et des éventuels coûts sociaux. Dans leurs recherches sur l'algorithme COMPAS, Corbett-Davies, Goel, Pierson, Feller et Huq voient une tension inhérente entre la minimisation des crimes violents et la satisfaction des notions communes d'équité. »35 Ils concluent que l'optimisation pour la sécurité publique donne des décisions qui pénalisent les défendeurs de couleur, tout en satisfaisant les définitions de l'équité juridique et sociétale, et peut conduire à davantage de libérations de défendeurs à haut risque, ce qui nuirait à la sécurité publique.36 En outre, les impacts négatifs sur la sécurité publique pourraient également affecter de manière disproportionnée les quartiers afro-américains et blancs, ainsi créant également un coût d'équité.
Si l'objectif est d'éviter de renforcer les inégalités, que doivent donc faire les développeurs et les opérateurs d'algorithmes pour atténuer les biais potentiels? Nous soutenons que les développeurs d'algorithmes devraient d'abord chercher des moyens de réduire les disparités entre les groupes sans sacrifier les performances globales du modèle, en particulier chaque fois qu'il semble y avoir un compromis.
Une poignée de participants à la table ronde ont fait valoir qu'il existe des possibilités d'améliorer à la fois l'équité et la précision des algorithmes. Pour les programmeurs, l'examen des bogues apparents dans le logiciel peut révéler pourquoi le modèle ne maximisait pas la précision globale. La résolution de ces bogues peut alors améliorer la précision globale. Les ensembles de données, qui peuvent être sous-représentatifs de certains groupes, peuvent nécessiter des données de formation supplémentaires pour améliorer la précision de la prise de décision et réduire les résultats injustes. Les expériences de détection faciale de Buolamwini sont de bons exemples de ce type d'approche d'équité et de précision.
La participante à la table ronde Sarah Holland de Google a souligné la tolérance au risque associée à ces types de compromis lorsqu'elle a partagé que l'augmentation du risque implique également de soulever des problèmes d'équité. » Ainsi, les entreprises et autres opérateurs d'algorithmes devraient déterminer si les coûts sociaux des compromis sont justifiés, si les parties prenantes impliquées sont prêtes à une solution par le biais d'algorithmes, ou si des décideurs humains sont nécessaires pour encadrer la solution.