Des pièges de l’évaluation des mesures d’équité sur la base d’exemples hypothétiques

Johnston, Jacob (2025). Des pièges de l’évaluation des mesures d’équité sur la base d’exemples hypothétiques. Mémoire. Gatineau, Université du Québec en Outaouais, Département d'informatique et d'ingénierie, 87 p.

PDF Document sous embargo jusqu'au 7 janvier 2027 Télécharger (3MB)

Résumé

À mesure que l’apprentissage automatique se répand dans toutes les sphères de notre vie, il devient de plus en plus important d’identifer correctement les limites de son utilisation, en particulier lorsqu’il s’agit de parler d’équité. Si elles sont appliquées à des groupes socialement défnis avec une étude superfcielle, des décisions erronées ou biaisées peuvent avoir des conséquences désastreuses, comme le fait que des individus appartenant à des groupes sociodémographiques spécifques reçoivent un traitement inéquitable. La littérature récente a largement accepté deux critères d’équité majeurs : Calibration et Equalized odds. Toutefois, il s’est avéré qu’il est pratiquement impossible de remplir ces deux critères simultanément. Il en résulte un dilemme quant au choix du critère le plus approprié. Les travaux qui défendent chacun des critères décrits dans la littérature précédente s’appuient souvent sur des hypothèses implicites concernant le fonctionnement de l’apprentissage automatique, qui peuvent ne pas correspondre à la réalité. Les situations présentées par les auteurs s’appuient généralement sur des données hypothétiques et inexistantes ou sur des classifcateurs qui peuvent contenir des biais favorisant la conclusion de leur choix. Dans ce mémoire, nous analysons des arguments et des exemples tirés d’articles qui critiquent Equalized odds pour montrer que la Calibration est la méthode qui devrait être mise en avant. Nous pensons que les hypothèses formulées dans ces exemples ne refètent pas la réalité. C’est pourquoi nous avons testé ces afrmations à l’aide de données réelles afn de montrer comment des hypothèses incorrectes peuvent conduire à des conclusions erronées. Nos résultats montrent que les articles que nous avons analysés ont tous commis une forme d’erreur qui les a conduits à la conclusion que la Calibration devait être utilisée dans tous les cas.

As machine learning becomes more prevalent in all spheres of our lives, it becomes increasingly important to correctly identify the boundaries of its uses, specifcally when discussing fairness. If applied to socially defned groups with only cursory scrutiny, erroneous or biased decisions can lead to disastrous consequences, such as individuals of specifc sociodemographic groups receiving unfair treatment. Recent literature has largely accepted two major fairness criteria : Calibration and Equalized odds. However, it has been proven to be virtually impossible to fulfll both criteria simultaneously. Thus, creating a dilemma as to which criterion is the correct one. Works in defense of each of the criteria outlined in the preceding literature often rely on implicit assumptions about how machine learning functions that may not parallel reality. The situations presented by authors typically rely upon hypothetical, non-existent data or classifers that may contain biases that favor the conclusion of their choosing. In this thesis, we analyze arguments and examples from papers that criticized equalized odds to show that calibration is the method that should be put in the forefront. We believe that the assumptions made in these examples do not refect the real world. Therefore, we put these claims to the test with real data in order to show how incorrect assumptions can lead to erroneous conclusions. Our results show that the literature we analyzed all make some form of mistake which led them to the conclusion that calibration should be used in every scenario.

Type de document:	Thèse, mémoire ou essai de 2e et 3e cycle (Mémoire)
Directeur de mémoire/thèse:	Davoust, Alan
Départements et école, unités de recherche et services:	Informatique et ingénierie
Date de dépôt:	26 oct. 2026 12:36
Dernière modification:	26 oct. 2026 12:36
URI:	https://di.uqo.ca/id/eprint/2034

Gestion Actions (Identification requise)

Éditer la notice