Les domaines de la criminalité financière qui seront les plus touchés par l'IA en 2024 (Source : Biocatch)
Près de 70 % de 600 responsables internationaux de la gestion des fraudes et de la conformité estiment que les criminels utilisent l'intelligence artificielle plus efficacement que les banques pour commettre des crimes financiers. C'est ce qu'estime l'entreprise israélienne BioCatch, spécialisée dans la détection des fraudes et la prévention dans l'industrie financière.
Selon un rapport de ce printemps, environ la moitié des sondés, issus d'entreprises du monde entier ont constaté une augmentation des activités criminelles en 2023 et prévoient une hausse en 2024. Près de 91 % reconsidèrent l'utilisation de la vérification vocale en raison des capacités de clonage vocal de l'IA. Plus de 70 % ont également identifié des identités synthétiques lors de l'intégration de nouveaux clients l'an dernier. Le rapport souligne la nécessité d'une collaboration accrue entre les institutions financières et les autorités pour lutter contre la fraude.
Un cas interroge particulièrement, celui des agents d'IA : la prochaine génération de l’IA, après l’IA générative. Dans une étude en préprint, intitulée Teams of LLM Agents can Exploit Zero-Day Vulnerabilities, une équipe de chercheurs de l'université de l'Illinois met en lumière les dangers posés par les agents. Selon les chercheurs, des équipes d'agents basés sur des LLM peuvent exploiter des vulnérabilités "zero-day", des failles non documentées et non corrigées.
Vers une sophistication croissante des agents IA
Les agents IA ont évolué ces derniers mois pour résoudre des vulnérabilités réelles grâce à des techniques avancées de planification hiérarchique et de gestion des tâches. Le système HPTSA (Hierarchical Planning and Task-Specific Agents) a été conçu pour surmonter les limitations des agents individuels en combinant exploration systématique et exécution de tâches spécifiques par des sous-agents spécialisés.
Schéma général de l'architecture du système HPTSA (Source : Richard Fang et al.)
Les chercheurs ont testé le système HPTSA sur un ensemble de 15 vulnérabilités web réelles, postérieures à la date limite de connaissance du modèle GPT-4 utilisé. Le système a réussi à exploiter 53 % des vulnérabilités testées, une performance nettement supérieure aux scanners de vulnérabilités open-source comme ZAP et MetaSploit, qui n'ont pas réussi à exploiter ces failles.
Cas d'usage et implications
Un exemple illustratif est la vulnérabilité de type CSRF (Cross-Site Request Forgery) dans le système de gestion de contenu (CMS) Flusity. Cette vulnérabilité permet à un attaquant de faire exécuter des actions indésirables par un utilisateur authentifié à son insu. Dans ce cas, le système HPTSA a pu tirer parti de cette faille pour créer de nouvelles entrées de menu, exploitant ainsi la faiblesse du CMS.
Par ailleurs, une faille de type XSS (Cross-Site Scripting) a également été identifiée dans le même système. La vulnérabilité XSS permet à un attaquant d'injecter du code malveillant dans une page web consultée par d'autres utilisateurs. Les agents spécialisés de HPTSA ont réussi à exploiter cette faille en injectant des scripts malveillants dans le CMS. Ces réussites démontrent que les agents d'intelligence artificielle peuvent non seulement détecter des vulnérabilités complexes mais aussi les exploiter de manière autonome.
Des agents d’IA toujours plus puissants
En revanche, l'agent n'a pas réussi à exploiter une vulnérabilité d'autorisation incorrecte dans le système alf.io, une plateforme open-source de gestion d'événements et de billetterie. Cette vulnérabilité se produit lorsque les contrôles de sécurité permettant de vérifier les permissions d'accès des utilisateurs sont mal configurés, permettant ainsi à des utilisateurs non autorisés d'accéder à des fonctions ou des données sensibles. L'échec de l'agent est dû à la difficulté de découvrir des points d'entrée qui ne sont pas clairement documentés ou visibles.
Cela souligne l'importance d'améliorations continues dans les systèmes de sécurité et la nécessité de collaborations accrues entre les chercheurs et les praticiens. Ces efforts sont essentiels pour renforcer la résilience des systèmes face aux attaques de plus en plus sophistiquées.
Le rapport de l'université de l'Illinois met en lumière l'importance de surveiller et de renforcer les défenses contre les agents IA de plus en plus puissants. Alors que les criminels continuent de perfectionner l'utilisation de l'IA pour leurs activités, les institutions financières et les entreprises doivent redoubler d'efforts pour sécuriser leurs systèmes. La collaboration internationale et l'innovation continue seront essentielles pour faire face à ces nouvelles menaces.
Pour en savoir plus :
- Richard Fang et al., Teams of LLM Agents can Exploit Zero-Day Vulnerabilities, Arxiv, 2024
- Biocatch
- IBS Intelligence