L’intelligence artificielle crée des risques inédits

Le recours à l’intelligence artificielle ne se discute pas pour un établissement financier. Gains de productivité et avancées qualitatives sont à la clé. Mais les utilisations de cette technologie restent prudentes. Il s’agit généralement de chatbots (robot logiciel pouvant dialoguer avec un individu) ou d’assistants virtuels qui n’utilisent pas le deep learning, technologie d’apprentissage basée sur des réseaux de neurones artificiels. C’est le stade le plus avancé de l’intelligence artificielle (IA), mais aussi le plus risqué, d’où l’approche progressive des acteurs financiers.

D’après Fabien Lortal, manager chez Alpha FMC, société de conseil dédiée à l’asset et au wealth management, ses clients ont bien identifié les limites et risques de l’apprentissage automatique, notamment celui de la représentativité des données d’apprentissage : « Si elles sont biaisées, les prédictions le seront probablement », rappelle-t-il. La qualité des données à partir desquelles l’IA est entraînée et leur correcte représentativité sont donc primordiales. Au risque, sinon, d’introduire un biais. C’est pourquoi Maud Monin, associée Deloitte au sein du secteur financier, invite à avoir une vision complète des données manipulées. Chez Zelros, start-up qui développe une IA pour les assureurs, les données d’entraînement sont communiquées. « Cela permet de s’interroger sur d’éventuels biais », indique Christophe Bourguignat, directeur général de la start-up.

Dans un document de réflexion sur les enjeux de l’intelligence artificielle pour le secteur financier (décembre 2018), le pôle fintech de l’ACPR (Autorité de contrôle prudentiel et de résolution) recommande de s’assurer que l’usage des données est approprié au regard des objectifs fixés et qu’il n’induit pas de biais involontaire. Pistes étudiées : recourir à un processus plus traditionnel en parallèle et contrôler sur un jeu de données étalon la pertinence et la non-discrimination.

Décisions inadéquates

Les algorithmes peuvent également mal interpréter les données. C’est pourquoi la start-up Lydia, qui développe une application de paiement mobile, a mis au point son propre algorithme de détection de fraudes. «  Les algorithmes classiques pour détecter les fraudes aux moyens de paiement s’appuient sur des cas passés. On passe donc à côté de nouvelles formes de fraude », explique Christelle Marfaing, data scientist chez Lydia. L’algorithme développé s’intéresse aux comportements des clients afin de déceler des bizarreries.

Les algorithmes peuvent aussi mal évoluer. « Entraînés sur des données spécifiques à un cycle économique donné, ils peuvent ne pas anticiper des changements radicaux », constate Maud Monin. Par exemple, comme le souligne Maximilien Nayaradou, directeur des projets R&D du pôle de compétitivité Finance Innovation, « en cas de situation anormale, comme une crise, l’intelligence artificielle peut aggraver les problèmes car elle a été entraînée sur des données cumulées en situation normale ». Chez Zelros, des réentraînements réguliers sont organisés afin d’intégrer de nouveaux paramètres. Au sein de Generali, une cellule d’amélioration continue a été mise en place avec pour objectif de s’assurer que les algorithmes se comportent en accord avec leur entraînement et qu’ils évoluent correctement.

Des erreurs qui peuvent, de plus, passer inaperçues à cause de l’effet « boîte noire », c’est à dire le manque d’explicabilité. « L’intelligence artificielle peut provoquer des discriminations sans que les acteurs qui l’utilisent ne s’en rendent compte car on ne sait pas toujours comment elle fonctionne », insiste Pierre-Charles Pradier, co-directeur académique du Labex ReFi, laboratoire de recherche dédié à l’évaluation des politiques de régulation. Maud Monin pense qu’il est donc « essentiel de posséder en interne des équipes capables de contrôler les algorithmes en nature et en paramétrages ainsi que leurs résultats ». « Dans tous les organes de direction, il faudrait des personnes capables de se poser des questions sur les impacts des nouvelles technologies », ajoute Cécile Wendling, directrice de la prospective du groupe Axa.

Nicolas Meric, CEO de Dreamquark, start-up qui développe une solution d’intelligence artificielle pour les banques et les assurances, rappelle qu’ « il faut pouvoir expliquer les décisions des algorithmes aux clients, comme l’impose le RGPD (Règlement sur la protection des données personnelles, NDLR), aux régulateurs, via par exemple les ‘reportings’ réglementaires sur le blanchiment ou l’attribution de crédit, et aux collaborateurs, afin que ceux-ci prennent en main les décisions remontées par l’IA ». Chez Dreamquark, une technologie permet de remonter dans les paramètres et de les décomposer afin de mieux expliquer les décisions de l’IA.

Autre risque non négligeable : la cybersécurité. D’après une récente étude de Deloitte, 40 % des établissements du secteur finance-assurance disent avoir connu une cyberattaque via l’IA. C’est dire si le sujet est important. Dans son document de réflexion, l’ACPR note que les risques de cybersécurité sont accentués notamment en raison de l’utilisation massive des données et intensive des algorithmes. « L’architecture SI devient plus vulnérable aujourd’hui : les points d’entrées sont plus nombreux et les tâches automatisées peuvent être détournées. La mise en place d’une gouvernance IT permet de réduire la probabilité d’une cyberattaque », conseille Mansour Niang, manager chez Alpha FMC. Cette gouvernance, pour être efficace, doit intégrer différentes directions. « Dès le lancement d’un projet d’intelligence artificielle, les personnes en charge de la sécurité, de la conformité, du RGPD, etc., sont intégrées », raconte David Wassong, directeur innovation et solutions technologiques intelligence artificielle et robotique de Generali France.

Données falsifiées

L’intelligence artificielle fait aussi apparaître de nouveaux risques : « Il est possible de modifier la perception d’un algorithme », souligne Edouard d’Archimbaud, CTO de Kili Technology et auparavant responsable du Lab data science and artificial intelligence chez BNP Paribas CIB. Les médias ont beaucoup parlé des algorithmes de reconnaissance d’image prenant un éléphant pour une chaise en modifiant seulement quelques pixels. Ce peut être problématique pour des solutions comme celle d’Alipay, Smile to Pay, qui permet de payer en un sourire grâce justement à une IA de reconnaissance d’image. Des données falsifiées pourraient aussi toucher des algorithmes intervenant dans les décisions d’investissement. « Des ‘fake news’ pourraient perturber l’algorithme et provoquer un effet domino sur les marchés », pense Fabien Lortal (Alpha FMC). Edouard d’Archimbaud révèle une des pistes de recherche : « l’adversial machine learning », qui consiste à entraîner deux algorithmes ensemble. « Le travail du premier est de tromper le second qui apprend ainsi à ne pas être trompé », précise-t-il.

Dans son rapport, l’ACPR s’émeut aussi du risque de dépendance aux prestataires, qui peut conduire à des relations commerciales déséquilibrées mais aussi à une difficulté d’explication et d’audit. « Une situation d’oligopole aggrave l’effet ‘black box’ », approuve Mansour Niang. Le nombre peu élevé d’acteurs de l’IA sur le secteur financier fait aussi craindre à l’ACPR un comportement moutonnier des acteurs utilisant les mêmes technologies, ce qui serait problématique dans le cas des programmes de trading à haute fréquence puisque les acteurs achèteraient et vendraient tous en même temps. Pour éviter d’être techno-dépendant, Generali mêle des développements internes à des partenariats technologiques avec des grands groupes et des start-up.

Vers un usage raisonnable

La dépendance est certes problématique vis-à-vis des prestataires mais aussi en interne vis-à-vis des data scientists. L’IA ne doit pas devenir un outil d’experts isolés mais présenter un intérêt réel pour les métiers. Rendre l’IA aux opérationnels permet aussi de les rassurer, l’IA étant souvent accusée de supprimer des emplois. Ainsi, David Wassong (Generali) s’est engagé à passer deux fois par an devant les instances syndicales pour présenter ses projets.

Risque souvent négligé mais important : le risque environnemental. Nicolas Meric (Dreamquark) estime que le calcul des données représenterait 2 % de la consommation énergétique mondiale. « Le risque est pour l’instant encore maîtrisé et des solutions apparaissent comme la récupération de l’énergie dégagée par les ‘data centers’. Mais il va falloir évoluer et se poser la question du stockage des données : sont-elles toutes nécessaires ? », se questionne Edouard d’Archimbaud. Et de nouvelles solutions moins énergivores devront être trouvées.

Pour les autres risques de l’IA, la recherche est toujours en cours. Fabien Lortal (Alpha FMC) relate que la Darpa (Defense Advanced Research Projects Agency, agence du département de la Défense des Etats-Unis chargée de la R&D des nouvelles technologies) a lancé un programme de recherche sur le sujet de l’explicabilité. En Europe, le High-Level Expert Group on AI de la Commission européenne (dont fait partie Cécile Wendling d’Axa) a publié en avril 2019 un rapport intitulé « Ethics guidelines for trustworthy AI », qui livre une checklist d’éléments à vérifier pour construire une intelligence artificielle de façon responsable. Cette checklist est en train d’être expérimentée dans des entreprises.

Car la recherche se passe aussi en entreprise. Axa a constitué un panel d’experts indépendants. Il se réunit deux fois par an pour étudier les opportunités et les risques de solutions d’intelligence artificielle. Chez Generali, un centre de compétences qui intègre des étudiants-chercheurs a été créé. La connaissance de l’IA n’en est qu’à ses prémices.