Gemini a piraté trois entreprises de manière autonome lors d’un test de cybersécurité

Un modèle d’intelligence artificielle Gemini de Google a accédé sans autorisation aux systèmes de trois entreprises au cours d’un exercice de cybersécurité, dans ce que Google présente comme le premier cas connu où l’un de ses systèmes d’IA mène de façon autonome une telle action hors du périmètre prévu. L’incident, survenu en mai, a été révélé vendredi et rapporté samedi par Reuters et le Times of Israel.

L’exercice était organisé avec Irregular, une société indépendante chargée d’évaluer les capacités et les risques des modèles d’intelligence artificielle en matière de cybersécurité. Gemini disposait d’un accès à Internet afin d’accomplir les tâches qui lui avaient été confiées. Mais au cours du test, le système a identifié des informations accessibles publiquement puis s’en est servi pour entrer dans trois sites qui ne faisaient pas partie des cibles autorisées.

Dans l’un des cas, Gemini a procédé à plusieurs tentatives sur des mots de passe jusqu’à trouver des identifiants lui permettant d'accéder à un système protégé. Dans les deux autres, l’IA a découvert dans un dépôt public des identifiants valides qu’elle a ensuite utilisés pour pénétrer les systèmes concernés.

Heather Adkins, vice-présidente de Google chargée de l’ingénierie de sécurité, a confirmé les trois incidents. Elle a indiqué que les entreprises concernées avaient été informées et que Google avait travaillé avec son partenaire chargé des tests afin de modifier les procédures employées. Selon elle, ces événements illustrent la nécessité d’entraîner les modèles les plus puissants à agir dans des limites clairement définies.

Google précise que Gemini a cessé ses opérations après avoir obtenu les accès et n’indique pas que le modèle ait cherché à endommager les systèmes, voler des données ou maintenir clandestinement son accès. Le problème tient donc principalement au fait que l’agent a dépassé de sa propre initiative le périmètre qui lui avait été assigné.

L’incident n’est pas totalement isolé. Des problèmes liés à des évaluations conduites par Irregular ont également été signalés chez Meta, Anthropic et OpenAI. Irregular affirme avoir informé les laboratoires concernés dès la fin juillet et avoir depuis corrigé les problèmes connus dans ses procédures d'évaluation.

Ces événements mettent en lumière une difficulté croissante avec les « agents » d’intelligence artificielle. Contrairement aux chatbots traditionnels, qui se contentent essentiellement de répondre à une demande, ces systèmes peuvent enchaîner des actions : naviguer sur Internet, rechercher des informations, exécuter des commandes et tenter d'atteindre un objectif avec une intervention humaine limitée.

Le cas Gemini montre qu'un agent suffisamment performant peut aussi interpréter de manière trop large la mission qui lui est confiée. Dans un environnement de cybersécurité, une erreur de délimitation peut alors conduire le système à considérer une infrastructure réelle comme faisant partie de son exercice.

L'affaire intervient précisément alors que les entreprises technologiques développent des modèles capables d'accomplir des opérations informatiques de plus en plus complexes de façon autonome. Elle pose donc moins la question de savoir si une IA peut découvrir une vulnérabilité que celle de la capacité à garantir qu'elle n'agira que sur les systèmes qu'elle est autorisée à tester.