Tester les agents IA : défis, techniques et retours d'expériences

Les agents IA s'intègrent de plus en plus dans nos systèmes d'information, mais comment s'assurer qu'ils fonctionnent correctement ? Contrairement aux applications traditionnelles, un agent IA est non-déterministe, en partie autonome et capable de s'adapter et réagir aux événements rencontrés lors de la tâche réalisée. 

Pour tester les agents IA, les méthodes QA classiques ne suffisent plus.

En s'appuyant sur 2 ans d'expérience acquise au Lab IA de Smartesting, Bruno Legeard présente les stratégies concrètes pour relever ce défi : évaluation bout-en-bout, test de trajectoire, gestion du non-déterminisme et approche « agent as a judge ». Le tout est illustré par deux retours d'expérience réels, un agent de conception de tests avec RAG et un agent d'exécution de tests fonctionnels.

Que vous soyez testeur, responsable QA ou consultant en testing, vous repartirez avec des techniques directement applicables pour évaluer, mesurer et renforcer la confiance dans vos agents IA.

Qualité sans compromis, l'approche data-driven en environnement agile

Cette présentation retrace la transformation du modèle qualité chez Decathlon pour répondre aux défis de l’agilité à grande échelle. Face à des processus historiquement silotés, nous avons déployé une stratégie basée sur la Quality Assistance et le pilotage Data-Driven.

En nous appuyant sur des indicateurs précis et une gestion industrialisée des tests, la qualité n'est plus un goulot d'étranglement, mais un levier de performance. Portée par nos Quality Advisors, cette approche concilie aujourd'hui vitesse de livraison et robustesse technique, avec des résultats factuels à l'appui.

 

L’automatisation des tests au tribunal

L’automatisation des tests promettait la qualité… et laisse parfois des projets en ruine. Coupable idéal ou simple bouc émissaire de nos mauvaises décisions ? Dans ce procès théâtralisé, échecs cuisants et réussites assumées s’affrontent sans filtre. Le public devient jury, confronte ses convictions et rend le verdict : l’automatisation est-elle coupable… ou mal utilisée ? Une session audacieuse pour bousculer les certitudes et sortir enfin du discours magique sur l’automatisation.  

RAG Na Rock

Les modèles de langage ont profondément renouvelé l’usage de l’IA dans le test logiciel. Pourtant, dans de nombreux contextes industriels, les LLM seuls ne suffisent pas : ils doivent être couplés à des mécanismes d’accès à des données opérationnelles. Cette présentation montre comment les architectures Retrieval-Augmented Generation (RAG) peuvent être exploitées pour l’automatisation du test à grande échelle.

À travers le cas concret du rapprochement d’incidents issus d’exécutions de tests automatisés, nous présentons RAG Na Rock, un système que nous avons conçu, évalué et déployé en production. Le talk analyse les situations où un RAG est nécessaire, compare différentes approches possibles et discute le rôle complémentaire entre LLM et RAG dans l’analyse d’incidents et l’exploitation de bases de données de test dynamiques.

 

de l’IA générative aux tests “augmentés” : Les 7 leçons apprises pour industrialiser l’Intelligence Artificielle dans le cycle de test

Industrialiser l'IA dans le cycle de test : 7 leçons apprises pour passer du buzz à la réalité.

L'IA promet de révolutionner la QA, mais entre le marketing et la réalité terrain, par où commencer ? MGDIS et NIJI vous proposent un retour d'expérience sans filtre sur l'implantation concrète de l'IA générative chez un éditeur de logiciel.

Cette conférence décrypte comment identifier les cas d'usage à forte valeur, sécuriser vos données et maîtriser les coûts. Nous exposons ce qui marche, ce qui échoue et ce qui nécessite encore de la maturité pour transformer vos équipes en testeurs augmentés.

Le dispositif innovant : L'écosystème LLMQA
Découvrez comment MGDIS a déployé trois agents virtuels spécialisés :
Des impacts mesurés (KPIs)
Vélocité : Temps de conception réduit de 4h à 5 minutes.
Coûts : Coût d'un scénario de test passant de 120€ à <1€.
Qualité : Standardisation de l'écriture et fin du syndrome de la "page blanche".

🧠 Les 7 Leçons pour réussir
Socle technique ,Qualité du Prompt ;IA = Copilote ,Formation ,Souveraineté ,Binôme Gagnant ,Pragmatisme,

 

 

Arrêter les vanity metrics !

97 % de couverture de code. 1 200 tests automatisés. Moins de 10 bugs en production. Sur le papier, tout va bien. Sur le terrain, les incidents surgissent, les mises en prod glissent, et les équipes passent plus de temps à produire des chiffres qu'à résoudre les vrais problèmes.
Ce talk part d'un constat simple : les métriques qui rassurent ne sont pas toujours celles qui éclairent.

À travers des exemples concrets issus du terrain, nous décortiquons les pièges les plus courants - couverture de code trompeuse, volumes de tests contre-productifs, taux de bugs qui masquent un mauvais process de remontée - et proposons un changement de posture radical : mesurer pour comprendre, pas pour se rassurer.
Vous repartirez avec un kit de questions pour challenger vos métriques actuelles, un canevas pour co-construire des KPIs utiles avec vos équipes, et surtout… un regard neuf sur ce que "piloter la qualité" veut vraiment dire.

 

Les aventuriers du BDD : déployer le BDD dans 75 squads – part 1

Un retour d’expérience terrain d’un Centre de Test dans un contexte agile@scale, des anecdotes, des leçons apprises, des astuces sur l’implémentation du BDD.

En route vers l’Auto-Maintenance des tests

Comment automatiser l'identification et la correction des erreurs dans vos scénarios de test ? Comment unifier notre expertise avec l’IA et avoir une approche hybride ?

Migration SAP vers S/4 HANA : comment la QA peut devenir un acteur central du succès des projets SAP

À l’heure des migrations vers S/4HANA, la qualité ne peut plus être une simple étape de validation en fin de projet. Elle devient un levier stratégique pour sécuriser les transformations, accélérer les déploiements et garantir la continuité des opérations.

À travers des retours d’expérience concrets, Invarture montre comment repositionner la QA au cœur des projets SAP, notamment au travers d'outils de gestion et création visuelle des tests et leur intégration dans les processus ALM.

Une session dédiée aux directions IT et métiers souhaitant transformer leurs approches qualité en véritable facteur de succès des projets S/4HANA.

Comment les engagements communautaires peuvent vous faire progresser techniquement et humainement.

Contribuer aux projets open-source n’est pas réservé aux développeurs ! Il existe de nombreuses formes de coup de pouce et les compétences de test sont précieuses et rares!

Je vous donne quelques clés pour bien commencer et progresser.

La veille et la participation aux communautés open-source est à portée de clavier et votre implication peut tout changer.

Un développeur infiltré chez les testeurs : Comment faire échouer le BDD, l'ATDD & le TDD surtout à l'ère du Spec-Driven Development

Dans un monde où l’IA générative transforme profondément le développement logiciel, les pratiques comme le BDD, l’ATDD et le TDD n’ont jamais été aussi pertinentes… ni aussi mal appliquées. Cette conférence adopte une approche volontairement décalée : celle d’un développeur “infiltré” chez les testeurs, venu partager ses meilleures techniques pour faire échouer ces pratiques. À travers une “masterclass du sabotage”, nous explorerons avec humour les anti-patterns les plus répandus : BDD réduit à un rituel sans découverte, spécifications floues ou orientées solution, et “TDD theater” où l’on teste sans réellement concevoir. Mais ces échecs prennent une nouvelle dimension avec l’IA. Des spécifications imprécises produisent désormais du code plausible… mais incorrect ou dans le meilleur des cas avec une facture de tokens salée. Le problème n’est pas le test, ni les pratiques xDD elles-mêmes, mais la manière dont on exprime ce que le système doit faire. La conférence propose alors un changement de perspective avec le Spec-Driven Development (SDD) : une approche qui remet la spécification au cœur du développement, en s’appuyant sur des pratiques existantes comme le BDD, le TDD et le DDD. Vous découvrirez comment mieux structurer vos spécifications, éviter les pièges classiques, et tirer parti de l’IA sans perdre le contrôle sur vos systèmes. À l’ère où écrire du code devient de plus en plus facile, une question devient centrale : savons-nous encore décrire clairement ce que nous voulons construire ?

Redéfinir la qualité de l'IA grâce aux tests contradictoires et au red teaming

L'assurance qualité traditionnelle repose sur une hypothèse de stabilité : une entrée A mène à une sortie B. Or, les grands modèles de langage (LLM) introduisent une imprévisibilité significative. Lorsque votre logiciel passe d'un code déterministe à des prompts non déterministes, les solutions de test standard ne parviennent pas à gérer la nature fluide de ces systèmes. Pour renforcer les modèles d'intelligence artificielle, nous devons adopter l'état d'esprit d'un adversaire déterminé, comme M. Scam. M. Scam est la personnification des exploitations malveillantes que les LLM ignorent parfois. Dans cette session, nous verrons comment des techniques malveillantes telles que le token smuggling ou les injections de prompts indirectes peuvent contourner les garde-fous des applications des plus grandes entreprises. Nous irons au-delà des simples évaluations subjectives pour explorer une méthodologie reproductible et dédiée à la qualité de l'IA, affinée au contact de pionniers des LLM et de leaders technologiques, tels que la plateforme comptable Intuit. Vous apprendrez à exploiter une communauté vérifiée d'experts du numérique pour découvrir des « jailbreaks » créatifs et à construire un système capable de protéger votre infrastructure d'IA contre tous les M. Scam de ce monde. Nous dépasserons la crise de confiance en l'IA pour proposer un cadre permettant d'instaurer une confiance technique mesurable dans un monde imprévisible.

Permis de conduire IA : mieux piloter, éviter les amendes et rouler en toute confiance.

De plus en plus d’équipes IT intègrent des solutions d’IA dans leurs activités quotidiennes : expression de besoin, développement, tests ou support. Longtemps proposées en libre-service ou sans coût apparent, plusieurs de ces solutions deviennent désormais payantes ou basculent vers des modèles à la consommation. Comme pour un véhicule, chaque utilisation compte désormais : plus on roule, plus cela coûte.
Dans ce contexte, l’enjeu n’est plus seulement de vérifier que l’IA fonctionne, mais de savoir qui la conduit, sur quels trajets, et avec quelles règles. Une IA unique, accessible à tous et connectée à l’ensemble des données, revient à laisser circuler un véhicule puissant sans permis ni contrôle : les dérives de coûts sont rapides, et le risque devient critique en cas d’accident ou de compromission.
Maîtriser l’IA, c’est donc apprendre à la piloter. Cette conférence propose de considérer l’IA comme un composant industriel, à intégrer dans la chaîne de valeur avec des usages ciblés, des solutions spécialisées jouant le rôle de portes coupe-feu, et des métriques servant de tableau de bord, afin de maîtriser coûts, risques et valeur produite… et ainsi rouler en toute confiance.
Comment éviter que l’usage massif et non maîtrisé de l’IA ne se traduise par des dérives de coûts, de sécurité et de confiance ?
Comment passer d’une IA “en libre circulation” à des usages pilotés, mesurés et intégrés dans la chaîne de valeur, sans freiner l’innovation ?

 Des 7 principes du test aux 7 principes de la qualité (en agile) ?

Dans les projets Agile, les principes du test logiciel sont des fondations solides et indispensables.
Mais comment les faire vivre au sein d’équipes pluridisciplinaires, où la qualité ne concerne pas uniquement les testeurs ?

Lors de cette conférence, nous proposons une réflexion concrète et accessible autour de la qualité :

• Comment partager la responsabilité de la qualité dans toute l’équipe ?
• Comment relier les pratiques de test à des enjeux plus larges : usage, collaboration, priorisation ?
• Comment faire évoluer nos approches pour construire des produits utiles, robustes et durables ?

À travers un exemples terrain, nous verrons comment les principes du test peuvent être complétés et étendus par une vision plus globale de la qualité, adaptée aux contextes Agile.

Une conférence pour tous les acteurs du produit : QA, développeurs, Product Owners, managers…

Objectif : faire de la qualité un véritable levier collectif de performance

Robot hybride pour mission critique : sécuriser le budget avec l’automatisation et des tests intelligents

Cette conférence présente la mise en place d’un robot d’automatisation basé sur Playwright pour tester un système critique de gestion des fonds européens. Initialement conçu pour générer des jeux de données, ce robot a évolué en solution hybride capable de créer et contrôler automatiquement des données financières, permettant de fiabiliser les tests, détecter plus tôt les anomalies et améliorer significativement l’efficacité des équipes.

Vers une gouvernance antifragile: décider à l'ère des collectifs humain agent

Nous n'automatisons plus. Nous déléguons. Cette nuance change tout. L'IA agissante perçoit, planifie, agit, elle n'est plus un outil que l'on manipule, mais un acteur que l'on mandate. Un acteur sans intention propre, mais doté d'une véritable capacité d'action. Cette asymétrie est le nouveau point aveugle des dirigeants.

Les organisations qui l'assument construisent des collectifs hybrides, où cognition humaine et cognition artificielle ne s'additionnent pas : elles se composent. Cette nouvelle composition appelle une Decision Intelligence rigoureuse : savoir à qui déléguer selon le contexte, définir les limites du mandat, tracer la chaîne de responsabilité. L'humain reste l'arbitre des zones grises, mais encore faut-il avoir conçu les conditions de cet arbitrage.

Et quand le système dérive, car il dérivera, une gouvernance antifragile ne cache pas ces écarts : elle les intègre pour renforcer durablement l'organisation.

Vous repartirez avec un cadre décisionnel concret pour déléguer sans perdre le contrôle stratégique.

Êtes-vous prêts à gouverner ce que vous commencez déjà à déléguer ?

When Women Lead Tech: From Entry Level to Executive Management  – par Natia Sirbiladze

What does it take for a woman to transform an entire country's tech sector? Not perfection. Not having all the answers. Just the courage to start anyway.

From entry-level positions to CEO and national ecosystem leader, this talk reveals the unfiltered reality of building in male-dominated tech spaces. Learn how vulnerability became strength, how uncertainty drove innovation, and how one woman's journey from "I have no idea" to executive leadership changed Georgia's entire QA landscape.

Through founding the delivery center and association from scratch, becoming an executive member of the ICT association and shaping ICT sector growth, discover why diverse leadership roles create better leaders, why admitting you're learning makes you stronger, and how authentic leadership—without pretending to know everything—can impact entire markets.

This isn't a story about climbing the ladder. It's about building the ladder while standing on it, and bringing others up with you.

Le bonheur sinon rien ! – par Bernard Rulmont

Un a priori tenace traverse l’histoire humaine et l’histoire de l’informatique : le contrôle serait la solution. En effet, l’humain développe des outils de contrôle qui solutionnent et facilitent l’accès à tant de besoins.

Or, ce n’est pas parce qu’on répond à nos besoins qu’on est pour autant heureux …

Les indicateurs de santé mentale semblent évoluer à l’inverse de la croissance de notre outillage technologique. Alors même que le confort matériel augmente, l’anxiété, la dépression et le sentiment de perte de sens progressent.

L’IA serait-elle une facette supplémentaire de la boule disco technologique qui fait miroiter des progrès tout en nous éloignant de notre aptitude intérieure au bonheur ? 

Et si notre quête du contrôle ressemblait à un bug conceptuel : une vaine tentative d’optimisation globale appliquée à un système, l’humain, qui ne fonctionne pas selon les règles que nous lui imposons ?

Les sentiers du bonheur ne nous apparaissent pas instinctivement évidents !

La psychologie scientifique nous apprend à être heureux en arrêtant de vouloir être heureux.

Laissez-moi vous guider vers un voyage intérieur, non pas pour rejeter la technologie, mais pour interroger nos hypothèses fondamentales, et peut-être amorcer un changement de perspective durable.