L’utilisation de l’IA dans les réinstallations de réfugiés augmente les risques de discrimination

Les agences de réinstallation sont chargées de veiller à ce que les réfugiés s’épanouissent dans leur nouvel environnement et de prendre des décisions de réinstallation « sans égard à la race, à la religion, à la nationalité, au sexe ou aux opinions politiques ». Malheureusement, l’utilisation par ces agences de systèmes de prise de décision automatisés lors de la réinstallation des réfugiés pourrait être incompatible avec cette exigence.

Les systèmes ADM sont un type d’intelligence artificielle qui utilise des algorithmes et des données pour produire des décisions généralement prises par des humains. Sur les 10 agences qui supervisent la réinstallation des réfugiés, au moins la moitié se tournent vers cette technologie pour les aider dans les décisions de réinstallation.

L’utilisation de l’IA dans les réinstallations de réfugiés augmente les risques de discrimination

En 2018, l’agence de réinstallation des réfugiés HIAS s’est associée à des chercheurs pour créer Annie MOORE, l’un des premiers systèmes ADM à faciliter la réinstallation. Ce système recommande des placements qui maximisent les chances d’emploi des réfugiés entrant dans le pays.

Cependant, les développeurs d’Annie MOORE ont déclaré que le nombre limité de données entravait les capacités de prévision du système, obligeant les chercheurs à s’appuyer principalement sur des données mesurant les résultats d’emploi à court terme des réfugiés 90 jours après leur arrivée.

Le système ne tenait pas compte de l’emploi à long terme, de la santé physique et mentale, de l’éducation ou des revenus du ménage des réfugiés. On peut soutenir que ces facteurs sont tout aussi importants pour mesurer le succès de la réinstallation des réfugiés que les résultats en matière d’emploi à court terme.

Bien que le HIAS ait depuis mis en œuvre un système ADM mis à jour appelé RUTH, le manque relatif de données reste une préoccupation. Notamment, disent les développeurs du système, « alors que HIAS dispose de données sur des centaines de milliers de des réfugiés, ils ne disposent que de données sur 15 exercices fiscaux, ce qui est d’ailleurs incomplet et à plus petite échelle les années précédentes.»

Les technologies ADM peuvent être très efficaces pour accélérer le processus de réinstallation des réfugiés. Cependant, lorsque les développeurs fondent leurs algorithmes sur des données limitées, ils peuvent également perpétuer les inégalités. Cette disparité devient évidente lorsqu’on analyse la façon dont les décisions d’ADM en matière de réinstallation des réfugiés varient selon les données démographiques.

Les auteurs d’un document de travail de février 2023 de la Harvard Business School ont découvert que l’impact des algorithmes de réinstallation actuels peut différer considérablement en fonction de l’âge, de l’éducation et du pays d’origine d’un réfugié. Ils détaillent les problèmes juridiques découlant de telles variations et affirment que « l’utilisation d’un algorithme d’affectation des réfugiés peut être compromise d’un point de vue juridique s’il a des impacts disparates sur les réfugiés de différents pays d’origine ».

Les chercheurs soulignent également le considérant 71 du règlement général sur la confidentialité des données de l’UE, qui oblige les personnes supervisant les systèmes ADM à prévenir les effets discriminatoires fondés sur l’origine raciale ou ethnique d’une personne.

Bien que le Congrès n’ait pas encore adopté une législation aussi complète sur la confidentialité des données, le titre 8 du Code américain donne au gouvernement une compétence suffisante pour réglementer les processus décisionnels des agences de réinstallation si elles pratiquent une discrimination à l’égard des individus en raison de leur nationalité.

En démontrant que les systèmes ADM défavorisent les réfugiés en fonction de leur pays d’origine, les chercheurs ont observé une faille qui nuit aux individus et risque de mettre les agences de réinstallation en porte-à-faux avec la loi fédérale.

La jurisprudence met en lumière d’autres problèmes potentiels qui pourraient surgir pour les agences de réinstallation utilisant les systèmes ADM. Par exemple, dans l’affaire Bauserman c. Unemployment Insurance Agency, les plaignants alléguaient que le système ADM de l’agence d’assurance-chômage du Michigan catégorisait automatiquement les demandes comme frauduleuses, puis percevait des amendes sans procédure régulière.

En juillet 2022, la Cour suprême du Michigan a estimé que les plaignants pouvaient demander des dommages-intérêts à l’État sur la base d’une prétendue violation de la constitution de l’État. L’État du Michigan a approuvé un règlement de 20 millions de dollars pour les personnes accusées à tort de fraude par le système ADM.

Bien que les systèmes ADM utilisés pour la réinstallation des réfugiés diffèrent de ceux utilisés par l’Agence d’assurance-chômage du Michigan, les agences de réinstallation doivent s’assurer que leurs programmes sont conformes aux exigences d’une procédure régulière et n’ont pas d’effets discriminatoires.

Les agences de réinstallation des réfugiés jouent l’un des rôles les plus cruciaux dans le processus de détermination du statut de réfugié. Ils doivent relocaliser les individus qui ont connu des difficultés inconnaissables et travailler pour leur permettre de prospérer aux États-Unis. Ce ne sont pas des tâches simples, il est donc compréhensible que les agences se tournent vers les nouvelles technologies pour obtenir de l’aide.

Cependant, ces agences doivent s’assurer que les systèmes qu’elles emploient ne désavantagent pas les personnes mêmes qu’elles sont censées aider.

Informations sur l’auteur

Clarisa Russenberger est étudiante à la faculté de droit de la Wayne State University à Détroit.

Écrivez pour nous : Lignes directrices pour les auteurs

Journaliste spécialisé dans l’actualité, je combine dix ans d’expérience en rédaction avec une curiosité constante pour la société et l’innovation. Marié et passionné de randonnée, j’aime partager une information claire, fiable et accessible à tous.