JOURNÉE THÉMATIQUE “TESTER AVEC l’IA” – 11 Décembre 2025

Multiplication des MCP (dans Cursor), qu’apportent-ils ?

Nous avons mis en place l’utilisation de MCP sur nos tests automatisés, principalement sur des tests web (e2e) et API. Nos projets étant variés, nous avons pu expérimenter plusieurs MCP pour Selenium, Playwright, RobotFramework, et WebdriverIO

Demo de l’utilisation de MCP sur 1 framework
En plus d’utilisé les MCP et l’agent IA de Cursor pour nous accompagner dans la génération des scripts automatisés, nous utilisons l’IA pour générer les tests fonctionnels en Gherkin
Par nos expérimentations, nous avons constaté que selon les frameworks les MCP ne proposent pas les mêmes fonctionnalités : de la simple exécution de test à la création de scripts.
Cette conférence s’adresse en particulier aux testeurs et aux automaticiens mais aussi à toutes personnes intéressées par l’apport de l’IA dans l’automatisation des tests

Pendant cette conférence :

Vous aurez plusieurs cas concrets d’utilisation d’un MCP avec Cursor pour automatiser les tests avec ces avantages et ces inconvénients
La liste des atouts à l’utilisation des MCP
La liste des différences entre les différents MCP

Applicabilité de l'IA générative pour le test des systèmes embarqués (focus sur l'aide à l'analyse des exigences)

L’engouement démesuré pour l’IA pousse les clients automobiles d’expleo a imposé sa présence dans les appels d’offres, y compris là où son usage n’est pas justifié.

Le programme AIDEST (AI Driven Embedded System Testing) vise à statuer de manière factuelle et chiffrée l’applicabilité de l’IA pour le test des systèmes embarqués.

L’expérimentation s’inscrit dans le cadre du projet T-REQ (Treatment of Requirement), qui intervient en phase d’analyse des exigences pour détecter précocement les défauts notamment d’incohérence dans les systèmes complexes.

L’activité ciblée est la transformation des exigences vers un format structuré (pattern + règles d’écriture), étape indispensable mais chronophage car réalisée manuellement en raison de la diversité des formats y compris au sein d’une entreprise voire d’un document, la rendant incompatible d’une automatisation algorithmique et des plannings de revue.

La démarche repose sur l’usage d’un chatbot d’IA générative (Copilot) sans fine-tuning ni architecture complexe (pas de RAG), dans une approche volontairement simple (sans codage), peu coûteuse, rapidement industrialisable et généralisable.

Mise en pratique sur 86 exigences du projet ADAS DMS (Driver Monitoring System).

L’IA offre des résultats très satisfaisants en termes de qualité (88%) et de rapidité (+25%), comparés au traitement manuel mais certaines limites sont observées :
- Nécessité d’une démarche itérative pour obtenir des résultats pertinents
- Sensibilité à la sémantique
- Besoin d’informations considérées tacites pour l’humain
- Moins bonne performance lorsque l’IA extrait elle-même les exigences
- Succès à 74% dans le classement selon des règles strictes, 77% de répétabilité et 76% d’exactitude
- Influence négative de la température de l’IA (créativité vs rigueur)
- Nécessité d’un testeur expérimenté pour encadrer l’IA, la rendant non rentable à la 1ère itération (+124%) et difficilement amortissable

Secure GPT for IT : Optimisation des user stories basée sur l’IA Générative, conception de cas de tests intelligents et plus encore

Secure GPT for IT est une plateforme alimentée par la IA Générative développée par AXA France pour améliorer la livraison agile en optimisant les user stories, automatisant la conception des tests et plus encore. Grâce à une intégration transparente avec JIRA / Xray, Secure GPT for IT analyse et affine les exigences, génère et évalue des critères d'acceptation, crée des cas de test et estime la couverture des tests — rationalisant ainsi le processus agile pour les Product Owners, les Développeurs et les Testeurs. La solution s’intègre dans le cycle du développement agile d’AXA France. Elle repose sur le principe fondamental d’utilisation de l’IA chez AXA : « L’IA propose, l’Humain dispose ».

Conçu de manière collaborative avec les Product Owners, les Développeurs, l'AI Factory et les Testeurs, le processus mis en œuvre dans Secure GPT for IT a été validé par des POCs, démontrant une clarté améliorée des user stories et une amélioration de la qualité de livraison. Secure GPT for IT a le potentiel de se développer et de bénéficier aux entités AXA dans le monde entier, favorisant la cohérence et l'innovation au sein des équipes.

Que peuvent apporter les agents IA aux test cyber ?

Un agent IA basé sur un ou plusieurs LLM (Large Language Model) est un système logiciel qui utilise un modèle de langage comme moteur principal pour percevoir, raisonner et qui dispose d’outils pour agir dans un environnement donné. Ce terme « d’agent IA » est très présent et promet des résultats à court terme. Qu’en est-il réellement ?

Découvrez les résultats d’expérimentations sur des tests cyber avec la reproductions de méthodes à l’état de l’art et l’exécution de cas de test Squash. Celles-ci ont été menées sur des LLM locaux de moins de 32B de paramètres et sur des modèles OpenAI. Les expérimentations montrent un important écart de performance entre ces modèles et vient nuancer le pouvoir extraordinaire des agents IA.

Un RAG spécialisé pour l'IA générative au service de la Vérification & Validation des systèmes complexes

Ce retour d'expérience porte sur les travaux réalisés dans le cadre du projet d'innovation VVaMIA - Vérification et Validation assistée par les Modèles et l'IA, soutenu par l'Agence d'Innovation de Défense du Ministère des Armées. Les travaux qui seront présentés portent sur le développement et l'expérimentation d'un système RAG - Retrieval-Augmented Generation pour des assistants de conception et maintenance des tests systèmes et logiciels.
Ce système permet un requêtage automatique des bases de tests (spécifications, documents métiers, expression de besoins, modèles existants, exigences, ...) pour nourrir les tâches de génération et maintenance des conditions de test, cas de test, scénarios de tests et parcours de test, mais également de questions / réponses sur ces bases de test.

La présentation réalisée présentera l'architecture mise en place, les choix techniques pour développer un système RAG adapté aux activités de conception et maintenance des tests. Les résultats obtenus et des données de benchmark sur les différentes tâches de test réalisées avec l'IA / RAG seront montrés, ainsi qu'un premier bilan des travaux réalisés.

Le cas d'essai utilisé pour les évaluations et qui sera démontré est un logiciel de drone, possédant différents types de documents de spécifications. Les technologies IA utilisées combinent une architecture de type agent IA avec des techniques RAG avancées pour retrouver les informations pertinentes dans les bases de test.

Comment l'IA a boosté les tests d'XLOAN

Open a accompagné la société XLOAN (spécialiste du financement aux particuliers et aux professionnels qui dispose d’une plateforme digitale) en mettant en œuvre l’IA Générative pour optimiser la gestion du patrimoine de tests. 
1 - Activités de tests couvertes
Deux axes ont été adressés avec différents cas d’usages bénéficiant de l’apport de l’IA :
• Patrimoine existant : revue automatisée de 1500 cas de tests / mise à jour suite à évolutions de spécifications / détection et élimination des doublons pour réduire la redondance / catégorisation des cas par modules fonctionnels
• Patrimoine à construire : revue des entrants de test / identification des scénarios pertinents / génération automatisée de 200 cas de test

2 - Niveau d’utilisation de l’IA
L’IA n’a pas été cantonnée à de la simple assistance rédactionnelle et a été utilisée comme véritable accélérateur de productivité. Connectée à JIRA et XRAY, elle s’est intégrée au workflow complet, depuis l’analyse des besoins jusqu’à l’intégration des tests, en passant par la revue et l’optimisation du patrimoine.

3 - Conclusions tirées de notre expérience avec l’IA
• Confirmation de la nécessité et de la pertinence à toujours associer une Intelligence Humaine à une Intelligence artificielle (testeur augmenté)
• Gains de productivité significatifs dans la gestion d’un patrimoine volumineux : 25% de gain pour le patrimoine existant et 40% pour celui à construire
• Amélioration de la Qualité et de la pertinence des tests via la validation et la génération guidée par IA
• Réduction de la dette de test grâce à la détection des doublons et à la rationalisation

Un RETEX qui illustre une utilisation concrète, mesurable et directement industrialisable de l’IA dans les tests. Il répond aux préoccupations actuelles des équipes QA : comment exploiter l’IA pour gagner en efficacité et en Qualité, sans perdre en maîtrise.