L#39image parlait d#39elle-même.
Siwei Lyu, informaticien et qualified en deepfake à l#39Université de Buffalo, a créé un collage de images à partir de centaines de visages que ses algorithmes de détection avaient incorrectement classés comme fake – et la nouvelle composition avait clairement un teint majoritairement moreover foncé.
« La précision d#39un algorithme de détection devrait être statistiquement indépendante de facteurs tels que la race », explique Lyu, « mais il est évident que de nombreux algorithmes existants, y compris le nôtre, héritent d#39un biais. »
Lyu, PhD, codirecteur du Centre pour l#39intégrité de l#39info de l#39UB, et son équipe ont développé ce qu#39ils pensent être les tout premiers algorithmes de détection des deepfakes spécifiquement conçus pour être moins biaisés.
Leurs deux méthodes d’apprentissage automatique – l’une qui rend les algorithmes conscients des données démographiques et l’autre qui les laisse aveugles à ces données – ont réduit les disparités de précision entre les races et les sexes, tout en améliorant dans certains cas la précision globale.
La recherche a été présentée lors de la Conférence d#39hiver sur les apps de la eyesight par ordinateur (WACV), qui s#39est tenue du 4 au 8 janvier, et a été financée en partie par la Defense Advanced Study Tasks Company (DARPA) des États-Unis.
Lyu, l#39auteur principal de l#39étude, a collaboré avec son ancien étudiant, Shu Hu, PhD, aujourd#39hui professeur adjoint d#39informatique et de technologie de l#39data à l#39Université d#39Indiana-Purdue University d#39Indianapolis, ainsi qu#39avec George Chen, PhD, professeur adjoint de systèmes d#39details à Carnegie. Université Mellon. Parmi les autres contributeurs figurent Yan Ju, doctorant au Media Forensic Lab de Lyu à l#39UB, et le chercheur postdoctoral Shan Jia.
Ju, le premier auteur de l#39étude, affirme que les outils de détection sont souvent moins scrutés que les outils d#39intelligence artificielle qu#39ils contrôlent, mais cela ne signifie pas qu#39ils ne doivent pas non in addition être tenus pour responsables.
« Les deepfakes ont tellement perturbé la société que la communauté des chercheurs était pressée de trouver une alternative », dit-elle, « mais même si ces algorithmes ont été créés pour une bonne induce, nous devons toujours être conscients de leurs conséquences collatérales. »
Conscience démographique ou agnostique démographique
Des études récentes ont révélé de grandes disparités dans les taux d’erreur des algorithmes de détection des deepfakes – jusqu’à 10,7 % de différence dans une étude – entre les différentes races. En particulier, il a été démontré que certains parviennent mieux à deviner l#39authenticité des sujets à la peau claire que ceux à la peau plus foncée.
ou peut-être encore in addition préjudiciable, une impression falsifiée d#39eux-mêmes considérée comme réelle.
de sorte que les algorithmes sont meilleurs pour les analyser que les groupes sous-représentés, explique Lyu, professeur SUNY Empire au département d#39informatique et d#39ingénierie de l#39UB, au sein de l#39École de Ingénierie et sciences appliquées.
« Disons qu#39un groupe démographique a 10 000 échantillons dans l#39ensemble de données et que l#39autre n#39en a que 100. L#39algorithme sacrifiera la précision sur le in addition petit groupe afin de minimiser les erreurs sur le in addition grand groupe », ajoute-t-il. « Cela réduit donc les erreurs globales, mais au détriment du furthermore petit groupe. »
Alors que d#39autres études ont tenté de rendre les bases de données moreover équilibrées démographiquement – un processus qui prend du temps – Lyu affirme que l#39étude de son équipe est la première tentative visant à améliorer réellement l#39équité des algorithmes eux-mêmes.
Pour expliquer leur méthode, Lyu utilise une analogie avec un enseignant évalué par les résultats des exams des élèves.
« Si un enseignant a 80 élèves qui réussissent bien et 20 élèves qui réussissent mal, ils obtiendront quand même une assez bonne moyenne », dit-il. « Au lieu de cela, nous voulons donner une moyenne pondérée aux étudiants situés au milieu, les obligeant à se concentrer davantage sur tout le monde plutôt que sur le groupe dominant. »
Premièrement, leur méthode démographique a fourni à des algorithmes des ensembles de données étiquetant le sexe des sujets (homme ou femme) et leur race (blanche, noire, asiatique ou autre) et leur a demandé de minimiser les erreurs sur les groupes les moins représentés.
« Nous disons essentiellement aux algorithmes que nous nous soucions de la effectiveness globale, mais nous voulons également garantir que la general performance de chaque groupe atteint certains seuils, ou du moins est très inférieure à la overall performance globale », explique Lyu.
Cependant, les ensembles de données ne sont généralement pas étiquetés en fonction de la race et du sexe. Ainsi, la méthode démographique et indépendante de l#39équipe classe les vidéos deepfake non pas en fonction des données démographiques des sujets, mais en fonction de caractéristiques de la vidéo qui ne sont pas immédiatement visibles à l#39œil humain.
« Peut-être qu#39un groupe de vidéos dans l#39ensemble de données correspond à un groupe démographique particulier ou peut-être à une autre caractéristique de la vidéo, mais nous n#39avons pas besoin d#39informations démographiques pour les identifier », explique Lyu. « De cette façon, nous n#39avons pas besoin de sélectionner les groupes sur lesquels il convient de mettre l#39accent. Tout est automatisé en fonction des groupes qui constituent cette tranche intermédiaire de données. »
Améliorer l’équité – et l’exactitude
L’équipe a testé ses méthodes à l’aide de l’ensemble de données populaire FaceForensic++ et de l’algorithme de détection de pointe Xception. Cela a amélioré toutes les mesures d#39équité de l#39algorithme, telles que le taux égal de faux positifs entre les races, la méthode tenant compte de la démographie étant la as well as performante.
As well as critical encore, dit Lyu, leurs méthodes ont en fait augmenté la précision globale de détection de l#39algorithme, de 91,49 % à 94,17 %.
Cependant, lors de l#39utilisation de l#39algorithme Xception avec différents ensembles de données et de l#39ensemble de données FF+ avec différents algorithmes, les méthodes – tout en améliorant la plupart des mesures d#39équité – ont légèrement réduit la précision globale de la détection.
« Il peut y avoir un petit compromis entre performances et équité, mais nous pouvons garantir que la dégradation des performances est limitée », déclare Lyu. « Bien sûr, la alternative fondamentale au problème de biais consiste à améliorer la qualité des ensembles de données, mais pour l#39immediate, nous devons intégrer l#39équité dans les algorithmes eux-mêmes. »
