Mulligan et ses coauteurs présentent les différentes nuances de l’équité (fairness) à travers plusieurs disciplines – sciences informatiques, philosophie, droit, sociologie), et un tableau qui rassemble différents angles d’analyse dans le but de faciliter des travaux interdisciplinaires. Il s’agit d’une “infrastructure” pour faciliter la communication interdisciplinaire, un “compilation artifact” (un terme inventé par Charlotte Lee, “Between chaos and routine: Boundary negotiating artifacts in collaboration”).
La première partie de l’article souligne les difficultés et pourtant le caractère indispensable de travaux interdisciplinaires sur l’équité, et à quel point le concept de l’équité est difficile à cerner, voire “bordélique” (“messiness of fairness”). A partir de la section 5.0.1, l’article décrit les différentes conceptions philosophiques de l’équité: virtue ethics, deontological ethics, consequentialism, utilitarianism, la théorie du contrat social, l’équité comme un élément de la dignité humaine. La section 5.02 présente l’inégalité et la discrimination sous l’angle juridique, distinguant le concept de discrimination directe (“disparate treatment”) du concept d’effet discriminatoire indirect (“disparate effect”). L’équité est liée au droit constitutionnel américain de “due process” protégé par le 14ème amendement de la constitution. La section 5.03 souligne que l’équité s’insère dans un contexte social : “Race, as a social construct cannot be viewed as a bit or vaiable that can be removed or controlled in an analysis, but rather shifts the gaze to the myriad ways in which racism is reflected in data collection and other social practices and the systems of classification that use and support them.”
Les auteurs se tournent ensuite vers les approches quantitatives de l’équité. La première approche consiste à diviser une chose, comme un gâteau, équitablement (“fair division”), en utilisant différents critères de division considérés comme équitables. Les méthodes de vote équitable sont décrites et enfin, les approches utilisées en apprentissage machine. Les auteurs soulignent l’impossibilité de favoriser à la fois l’équité individuelle et l’équité de groupe. Pour certains, l’équité consiste à rendre l’algorithme aveugle à des caractéristiques protégés, tels que la couleur de la peau. L’égalité démographique (democratic parity) est attrayante à première vue, mais cache des problèmes. L’égalité démographique doit être considérée comme un objectif sociétal à atteindre, mais l’imposer dans les algorithmes peut générer des effets discriminatoires dans un monde où les membres de groupes différents ont effectivement des comportements ou préférences différentes.
L’équité sur le plan statistique conduit à de nombreuses contradictions irréconciliables (“impossibility results”). Les approches quantitatives ne peuvent être considérées comme des éléments devant obligatoirement figurer dans un algorithme, mais plutôt comme illustrant des dérives que l’on doit essayer de minimiser. Mais en raison des résultats contradictoires inhérents aux approches quantitatives, des compromis (tradeoffs) seront nécessaires. Selon les auteurs, il n’existe pas de choix conceptuel qui soit véritable neutre (“lack of any truly neutral design choices”). Dans chaque cas d’usage, une approche peut être privilégiée au dépens d’autres.
Les auteurs tentent ensuite d’appliquer ces multiples approches de l’équité à l’affaire “COMPAS”. Cette affaire montre à quel point le concept d’équité dépend du point de vue de l’acteur concerné, et qu’il est impossible de créer un outil qui satisfasse la conception de l’équité de chaque acteur (juge, accusé, défenseurs des droits, législateur). L’approche adoptée reflétera forcément un choix sur quel aspect de l’équité privilégier. Et qu’est-ce qui doit être équitable? Est-ce que l’objet de notre attention doit être seulement l’outil de scoring, ou plutôt le process dans son ensemble, à savoir l’utilisation de l’outil par des magistrats dans le contexte des décisions sur la détention avant procès ? Se concentrer uniquement sur l’outil conduit à des débats insolubles en raison des incompatibilités mathématiques entre les différentes approches de l’équité. Mieux vaut élargir le champs, pour considérer l’outil dans son environnement d’exploitation: “[…] the mathematical impossibility of operationalizations of fairness in this setting suggests that analysis might better be directed at the broader process.” (p. 19)
L’article aborde le problème des biais humains, et notamment ceux des juges. Cela met en exergue la tension entre l’objectif du législateur, qui est de réduire la part d’arbitraire dans les décisions de ce type grâce à un outil algorithmique en apparence objectif, et la méfiance de différents acteurs envers ces outils automatiques, qui sous l’apparence d’objectivité peuvent reproduire des biais humains incorporés dans les données d’apprentissage. Pour certains, une décision humaine qui s’appuie sur la totalité des circonstances est plus équitable, même si cette décision peut être arbitraire ou imprévisible. En d’autres termes, l’humain même faillible est nécessaire à l’équité.
Les questions d’équité nécessitent des choix politiques. Chaque point de vue – celui des juges, celui des défenseurs des droits, celui des accusés – aura une vision différente de l’équité, et ces visions seront impossibles à satisfaire en même temps. Le concept de l’équité est lié à celui de la justice, et notamment la préférence dans le système de justice à privilégier les faux négatifs: “better that ten guilty persons escape than that one innocent suffer” (Blackstone’s Ratio). Le rôle de la justice est âprement débattu en société, entre l’aspect punitif, l’aspect réparateur, l’aspect de réhabilitation de l’individu de la justice pénale. Autant de contradictions qui auront un impact sur ce qui est “équitable”.
Malgré ces difficultés, certaines caractéristiques semblent essentielles pour qu’un logiciel comme COMPAS soit équitable:
Le tableau en annexe de l’article pose toutes les bonnes questions sur l’équité selon le point de vue de la personne, et le contexte d’utilisation. Le papier de Mulligan et al. fournit une méthode d’analyse permettant à différentes disciplines de se comprendre, une démarche similaire à celle que nous avons poursuivie dans « Flexible and Context Specific Explainability ».