Économie numérique
Human–where–in the loop?
24.03.2023
Lors de ce quatrième Lundi de l’IA et de la Finance organisé par l’ACPR et Télécom Paris, nous avons porté un regard international sur la régulation de l’intelligence artificielle dans le secteur de la finance.
David Bounie, professeur d’économie à Télécom Paris, et Olivier Fliche, directeur du pôle Fintech-Innovation à l’ACPR, ont ouvert la conférence en présentant les deux croisements de perspectives adoptés dans la conférence : celui des régulateurs et celui des universitaires d’une part et celui de l’Union européenne et celui de l’Asie.
Nous avons eu le plaisir de recevoir deux experts de la réglementation et de la supervision financière, Jan Ceyssens et Xuchun Li, respectivement de la Commission Européenne et de l’Autorité Monétaire de Singapour, et deux universitaires, John Armour et Douglas Arner, respectivement de l’Université d’Oxford et de l’Université de Hong Kong.
L’approche européenne de l’IA dans la finance – Jan Ceyssens
Comme premier intervenant, nous avons accueilli Jan Ceyssens, chef de l’unité Finance numérique à la Commission européenne, qui nous a aidés à décortiquer la récente proposition de la Commission européenne sur la réglementation de l’IA. M. Ceyssens a commencé par mettre en lumière le contexte de cette proposition. Dans le cadre de sa stratégie visant à faire de l’Europe un leader sur les questions numériques, la Commission a publié en 2021 un paquet sur la stratégie européenne en matière d’IA avec plusieurs objectifs. Parmi ces multiples stratégies, la proposition définit un cadre juridique pour l’IA, basé sur l’hypothèse générale que l’IA est bénéfique pour l’intérêt public, mais qu’elle comporte des risques qui doivent être gérés. Le cadre juridique propose une approche fondée sur le risque, en distinguant entre les systèmes d’IA présentant des risques inacceptables, les systèmes d’IA à haut risque, les IA soumises à des exigences de transparence spécifiques et les IA à risque minimal ou nul.
Les systèmes d’IA à haut risque doivent respecter un certain nombre d’exigences basées sur deux facteurs : leur impact possible sur la sécurité et sur les droits fondamentaux.
Ceyssens a ensuite présenté comment cette proposition s’articulerait dans le secteur financier. La proposition contient un cas d’utilisation dans la finance sur l’évaluation du risque de crédit. Mais la réglementation de l’IA dans la finance va au-delà de ce cadre de surveillance trans-sectoriel : elle doit être intégrée dans le système de surveillance existant par les autorités de contrôle du secteur financier, notamment l’EBA, l’EIOPA et l’ESA. Les prochaines étapes consisteront en la négociation de la proposition législative par le Parlement européen. Une fois adoptée, il y aura 2 ans de période transitoire avant que le règlement ne devienne directement applicable.
Une méthodologie pour une utilisation responsable de l’IA par la MAS (Monetary Authority of Singapore) – Xuchun Li
Le deuxième intervenant était Xuchun Li, chef du bureau de développement de l’IA à l’Autorité monétaire de Singapour (MAS). Il a d’abord présenté la charte FEAT du MAS pour le développement de l’IA et ses 4 principes : Équité, Éthique, Responsabilité et Transparence. Ensuite, Dr. Li a décrit l’approche Veritas, qui consiste en une mise en œuvre pratique des principes FEAT. L’objectif est de créer une méthodologie standardisée et modulaire pour la mise en œuvre des principes ci-dessus, dont le code source est rendu public. La phase 1 de l’approche Veritas a eu lieu en 2020 et s’est concentrée sur les principes d’équité et deux cas d’utilisation : l’estimation du risque de crédit et le marketing client. Les résultats sont deux livres blancs ainsi que le code de programmation associé. La phase 2 aura lieu cette année, couvrira les 4 principes FEAT, et élargira les cas d’utilisation à l’assurance et à la détection des fraudes. Le résultat final de l’approche Veritas sera un livre blanc consolidé présentant des méthodologies pour évaluer l’alignement d’un système avec les principes FEAT.
Aligner la réglementation des produits et la gouvernance d’entreprise – John Armour
Nous avons ensuite accueilli John Armour, professeur de droit et de finance à l’Université d’Oxford. Sa présentation a porté sur la relation entre la réglementation des produits et la gouvernance d’entreprise, en utilisant comme exemple la proposition de la Commission européenne sur la réglementation de l’IA. Il a expliqué que lorsque de nouvelles technologies sont introduites sur le marché, de nouveaux risques sont également engendrés. Certains sont anticipés par une réglementation appropriée, mais d’autres ne sont pas prévus à l’avance : ce sont les risques émergents. La question est de savoir comment gérer ces risques émergents. Une approche est le principe de précaution, largement utilisé dans le domaine pharmaceutique, qui vise à restreindre le déploiement de la nouvelle technologie jusqu’à ce qu’il soit prouvé qu’elle peut être utilisée en toute sécurité. Mais il faut être proportionné dans l’application de ce principe, afin de ne pas renoncer aux avantages que l’IA peut apporter.
La proposition de l’UE s’efforce de faire face aux risques émergents : certains cas d’utilisation de l’IA sont interdits, des normes minimales sont fixées pour les applications à haut risque, et la proposition prévoit également un système permettant de faire passer un système d’IA dans la catégorie à haut risque si de nouveaux problèmes apparaissent. Ce régime encourage également les fournisseurs à élaborer volontairement des normes pour les systèmes classés à haut risque et à autoréguler les systèmes à faible risque. Cette approche semble s’inspirer des notions déjà existantes de réglementation des produits et de « gouvernance produit ». D’une part, la réglementation des produits doit être calibrée selon des analyses coûts/bénéfices qui tiennent compte de l’évolution rapide de l’innovation dans le domaine. D’autre part, la « gouvernance produit » impose aux entreprises de démontrer l’intérêt de leur produit pour le consommateur. Pour une bonne gouvernance interne des produits, il faudra garantir une approche axée sur les avantages pour le consommateur et éviter de se contenter de cocher les cases d’exigences minimales.
Réglementer l’IA dans la finance : Équilibrer les risques et les opportunités – Douglas Arner
Le dernier intervenant de la conférence était Douglas Arner, professeur de droit à l’université de Hong Kong. Il a commencé par souligner que la finance est l’un des secteurs réglementés les plus numérisés et qu’à ce titre, elle représente un terrain très propice au développement de l’IA. Le secteur concentre des volumes massifs de données, de communications et de puissance de calcul et s’appuie déjà sur des moyens analytiques sophistiqués. En outre, un large éventail de spécifications réglementaires spécifiques est déjà en place dans la finance, ce qui crée un contexte de règles et d’objectifs précis où l’IA peut exceller. En outre, les acteurs financiers sont les plus grands dépensiers en matière de technologie, poussés par une course constante à la meilleure IA, comme dans le cas du trading. Cependant, l’IA introduit de nouveaux risques dans la finance : pour la stabilité financière, pour la cybersécurité ou pour l’innovation car l’IA fonctionne mieux dans une concentration massive de données qui favorise les situations “winner takes all”. Plusieurs méthodologies de régulation sont possibles, notamment l’autorisation ou l’identité électronique… Le Dr Arner a souligné une approche fondée sur la responsabilité humaine (“accountability”). Pour conclure, il a mis en évidence certaines différences entre juridictions sur les approches aux données. La Chine, qui reposait à l’origine sur une approche aux données fondée sur la propriété, se tourne aujourd’hui progressivement vers une approche de type “pool de données”, dans laquelle de grandes masses de données seraient mises à la disposition d’un plus grand nombre d’acteurs pour soutenir le développement de l’IA. Dans l’UE, le marché restreint fortement l’utilisation des données afin de protéger les droits fondamentaux.
Table ronde
La deuxième partie du webinaire était consacrée à une table ronde modérée par David Bounie et Olivier Fliche. Les éléments de la discussion comprenaient :
- les différences d’approche entre l’Asie et l’Europe
- comment lier la réglementation transversale et sectorielle : il est toujours nécessaire d’adopter des mesures plus larges et globales, par exemple pour protéger les droits fondamentaux, qui doivent ensuite être intégrées dans les structures existantes.
- l’utilisation des cadres de responsabilité personnelle, qui existent déjà dans les secteurs réglementés, pour accroître la responsabilisation,
- l’importance des interactions entre les entreprises réglementées et les régulateurs (expérimentations, notamment)
- la façon dont nous évaluons les performances d’une IA : est-ce par rapport à un objectif, par rapport au modèle le plus performant ou par rapport aux performances humaines ?
- les avantages et les risques de l’approche “human-in-the-loop”.