Fine-Tuning de petits modèles IA pour les tests

L’IA se développe rapidement pour assister aux activités de test logiciel tout au long du processus de test. On trouve couramment des assistants pour améliorer les US et leurs critères d’acceptation, générer des cas de test et des données de test, exécuter par IA sur IHM ou assister l’automatisation, et analyser les résultats et les logs de test, par exemple. 

Actuellement, ces assistants et agents IA s’appuient principalement sur les grands partenaires commerciaux des fournisseurs de technologies IA, tels que Google, OpenAI, Anthropic et Mistral. 

Une alternative consiste à utiliser des modèles open source, de taille plus petite, en les spécialisant grâce à des techniques de fine-tuning. Le fine-tuning (et d’autres techniques que vous découvrirez lors du tutoriel) implique des phases d’entraînement additionnelles visant à améliorer les performances de ces petits modèles pour une tâche spécifique.  

Le fine-tuning de petits modèles est un enjeu très important, autant pour l’impact carbone de l’IA que pour les questions de souveraineté et de sécurité de nos solutions d’IA. 

Ce tutoriel va vous apporter les connaissances suivantes :  

• Les objectifs et le panorama des technologies utilisables pour spécialiser / améliorer de petits modèles IA dans le contexte des activités de test 
• Le détail d’une chaîne complète de fine-tuning, couvrant la définition d’objectifs réalistes, l’acquisition et de la préparation des données d’entraînement, au choix des techniques et des infrastructures de fine-tuning, jusqu’à l’évaluation des résultats et aux itérations nécessaires pour obtenir un modèle à un niveau de performance satisfaisant. 
• Plusieurs retours d’expérience sur des études de cas liées aux tests logiciels 

• Un bilan et les bonnes pratiques à mettre en place - votre guide de survie avant de se lancer dans l’aventure. 

Ce tutoriel ne vise pas à réaliser techniquement des sessions concrètes de fine-tuning, Nous privilégions un partage à 360° du sujet, interactif et fondé sur l’expérience concrète des animateurs sur des cas d’usage liés aux tests logiciels. 

Ce tutoriel s’adresse aux professionnels des tests logiciels et ne requiert aucune connaissance préalable en IA. 

Stratégies de test de l’IA - par nabil idhammou et florent parolini

Certaines solutions d’IA sont désormais intégrées aux produits, aux processus métier et aux outils de test. Pourtant, leur validation reste souvent réduite à la chasse aux hallucinations, ce qui ne représente qu’une partie des erreurs et risques associés à l’usage de l’IA.

Ce tutoriel propose de changer de prisme : considérer l’IA comme un système logiciel à part entière.
À travers des cas pratiques concrets, les participants apprendront à identifier certaines de ces erreurs, à les qualifier, à les tester et à mettre en place des stratégies d’atténuation réalistes. Objectif : amorcer le passage d’une confiance aveugle ou d’un rejet instinctif à une meilleure maîtrise de la qualité des solutions IA.

Description : Proposer 2 ou 3 cas d’erreurs courants (hors hallucinations) les illustrer par des cas pratiques avec les participants. Fournir des explications / sensibiliser et proposer des solutions d’atténuation.

Chaque situation sera analysée sous l’angle du test logiciel : détection, qualification du risque et impact métier.
Des techniques de test adaptées aux systèmes IA seront présentées.
Des leviers d’atténuation concrets seront discutés : cadrage, prompts, données, contrôles, garde-fous.
L’objectif est de renforcer l’esprit critique et la maîtrise qualité pour les solutions IA.

Comprendre et implémenter l’accessibilité numérique et le RGAA – par mathieu thomas et nathan tessieR

Le RGAA et l'accessibilité vous semble inaccessible ?

Pas de panique, Nathan et Mathieu sont là pour vous l'expliquer... Et vous aider à bien l'appréhender à travers des exemples concrets et une manipulation d'un outil didactique qui permet de couvrir et comprendre l'ensemble des critères du RGAA.

 Objectifs / take away:

- comprendre l'accessibilité numérique

- bien appréhender le RGAA (structure et obligations)

- comprendre l'intérêt des critères d'accessibilité

- avoir une idée de comment implémenter l'accessibilité

 Sommaire:

• intro accessibilité + présentation RGAA - 30 minutes

• Exemple

• sur le site "wallbase" avec un mauvais contraste => modifier et faire le bon contraste - 40 minutes

• Manipulation

• sur le site cftl.fr + un complémentaire pour couvrir plusieurs thèmes, pour prendre en main le RGAA - 75 minutes de pratiques

• chaque équipe travaille sur une page

• Conclusion - 10 minutes