Pour la Commission ne peuvent être qualifiés de “haut risque” que les systèmes dont l’usage fait naître des “risques importants” [3] et qui sont par ailleurs utilisés “dans un secteur où, compte tenu des caractéristiques des activités normalement menées” [4] de tels risques sont à prévoir.
Si la Commission n’identifie pas expressément le secteur financier comme un secteur à « haut risque », contrairement à ce qu’elle fait pour les secteurs de la santé, des transports, de l’énergie et « certains pans du secteur public »[5], son caractère critique ne fait pas débat. Les risques auxquels le « monde de la finance » expose notre société sont parfois qualifiés de « systémiques » : l’éventuelle défaillance d’un acteur du secteur pourrait déstabiliser l’économie mondiale, comme nous en avons fait l’expérience en 2008. Le Conseil de stabilité financière relève d’ailleurs que l’usage de l’IA et des méthodes d’apprentissage-machine (machine learning) pourrait engendrer un risque économique majeur du fait de leur opacité[6].
On peut donc supposer qu’au même titre – mais dans un registre différent – que le secteur médical, judiciaire ou militaire, le secteur financier est par nature à « haut risque ». Le document de réflexion publié par l’Autorité de contrôle prudentiel et de résolution (ACPR) de juin 2020 intitulé « Gouvernance des algorithmes d’intelligence artificielle dans le secteur financier » ne laisse d’ailleurs aucun doute sur le caractère critique du secteur financier[7].
Ceci ne suffit toutefois pas à conclure que l’ensemble des systèmes d’IA qui y sont utilisés doivent être considérés comme étant à « haut risque ».
Certes, certaines activités impliquant des outils d’IA peuvent exposer un acteur financier à des risques majeurs allant jusqu’à la faillite. On pensera notamment aux outils utilisés dans les opérations de marché, comme la pratique du « trading algorithmique » dont l’encadrement demeure encore à parfaire à ce jour[8], ou dans la conception des modèles utilisés pour calculer les ratios de solvabilité. Dans un autre registre, et parce que la Commission les estime à « haut risque en soi »[9], toute application utilisée par un acteur financier en matière de recrutement ou de gestion des ressources humaines entrera dans le champ de la réglementation.
A contrario, certains usages de l’IA dans le secteur financier ne créent aucun risque significatif pour l’établissement concerné ou des tiers. On peut citer par exemple les outils d’automatisation des processus (robotic process automation ou RPA, reconnaissance optique des caractères ou OCR, etc…) ou d’amélioration de l’expérience des clients (agent conversationnel, natural language processing ou NLP, etc…). D’une façon générale, tous les usages n’entraînant création d’aucun droit ou obligation significatif ou n’ayant aucune incidence économique devraient échapper à la réglementaire à venir[10].
Enfin, entre ces deux extrêmes se trouvent la plupart des usages, ceux qui concernent la relation entre un établissement financier et ses clients. On peut par exemple penser aux modèles de scoring auxquels ont déjà recours nombre d’établissements financiers pour déterminer si une demande de crédit peut être satisfaite. L’importance du crédit dans le financement de l’économie suffit-elle à justifier un encadrement spécifique dès lors qu’un outil d’IA est utilisé ?
Il n’existe aucun « droit » au crédit[11] : un établissement financier peut refuser toute demande de prêt sans même à avoir à en donner les raisons[12]. La Cour de cassation réunie en Assemblée plénière a ainsi jugé dans un arrêt remarqué du 9 octobre 2006 que « le banquier est toujours libre, sans avoir à justifier sa décision qui est discrétionnaire, de proposer ou de consentir un crédit quelle qu’en soit la forme, de s’abstenir ou de refuser de le faire »[13]. La décision d’une banque peut le cas échéant faire l’objet d’un recours auprès du médiateur de la banque concernée mais là encore la banque n’aura pas à se justifier.
S’agissant du contrat d’assurance, le principe est le même : une compagnie d’assurance reste libre d’accepter ou non un risque. Aussi peut-on s’interroger sur l’importance des risques engendrés par l’application d’outils d’IA dans un domaine où aucun « droit » ne peut être frustré. Il faut bien évidemment réserver le cas d’un refus de crédit qui serait motivé par la prise en compte illicite d’informations personnelles, hypothèse qui fait déjà l’objet d’une réglementation[14]. On peut d’ailleurs penser que si la liste des informations dont un banquier ou un assureur ne peut tenir compte devait s’accroître, le principe de l’absence d’un droit au crédit ou à l’assurance pourrait être remis en cause.
On constate un mouvement général de « promotion de l’accès au crédit »[15] et à l’assurance[16] qui semble favoriser, dans un contexte d’extension du champ des droits personnels, l’émergence progressive d’un tel droit. S’il devait être reconnu, il ne fait pas de doute que les outils de scoring entreraient dans la catégorie des « applications d’IA qui produisent des effets juridiques sur les droits d’une personne physique ou d’une entreprise, ou l’affectent de manière significative de façon similaire »[17]. On notera que la Commission considère sans plus de précision que les applications ayant une incidence sur les droits des consommateurs peuvent être considérés à « haut risque »[18].
On pourra par ailleurs se demander si la qualification de « haut risque » d’une application n’est pas tributaire de l’absence de toute intervention humaine. Si les dispositifs de scoring donnent une simple indication à un conseiller à qui il incombe in fine de décider si le crédit ou l’assurance est octroyé, doit-on encore considérer que le système d’IA est à « haut risque » ? Ce n’est pas certain car le droit qui risque d’être frustré ici le sera par une décision qui restera humaine. Il faudrait bien évidemment que l’intervention humaine soit significative et pas simplement symbolique.
La Commission semble toutefois prendre une orientation différente puisque dès lors qu’un outil entrera dans le champ de la réglementation elle imposera un contrôle qui pourrait aller jusqu’à un réexamen et une validation préalable du résultat du système d’IA avant que celui-ci ne devienne effectif[19]. La Commission semble aller un cran plus loin que les garde-fous mis en place par le RGPD en matière de traitement automatisé et qui consistent, lorsque ce traitement est nécessaire à la conclusion d’un contrat (hypothèse pertinente s’agissant d’un scoring), en la faculté pour « la personne concernée d’obtenir une intervention humaine de la part du responsable du traitement, d’exprimer son point de vue et de contester la décision »[20].
_____________________________________________________________________
By Xavier Vamparys, Télécom Paris – Institut Polytechnique de Paris
_____________________________________________________________________