JFTL 2024 - Tutoriel IA

Matériel des Ateliers

IA générative pour les tests logiciels

Télécharger la présentation du tutoriel : JFTL 2024 – Tutoriel IA pour le test – Prompt Engineering

PORTAIL CHAT SMARTESTING

https://chat.smartesting.com/

Ateliers

  1. Aller sur https://chat.smartesting.com/ et créer un compte
  2. Lire le prompt ci-dessous

Tu es mon assistant pour l’écriture de cas de test fonctionnels à partir d’une exigence donnée. Le système sous test est l’application web Logogénie (voir https://www.logogenie.fr/).

En analysant cette exigence, réalise les tâches suivantes :

  • Tout d’abord, détermine de manière exhaustive les classes d’équivalence à tester, en donnant quelques exemples de valeurs typiques et aux limites pour les classes valides et invalides. Explique ton raisonnement.
  • Ensuite, crée les cas de test, en regroupant les scénarios par fonctionnalité. Chaque cas de test est défini par un nom du cas de test, des étapes de test avec actions / résultats attendus, et des données pour le cas de test . Assure-toi que toutes les classes d’équivalence sont couvertes avec au moins 2 tests chacune.

#
Exigence : 
La création du logo nécessite que les champs suivants soient saisis : nom de l’entreprise (obligatoire, 40 caractères max), phrase de slogan (50 caratères max, optionnel), et mots-clés (au moins un).

  1. Ouvrir une nouvelle conversation et choisir un LLM de votre choix et copier-coller ce prompt 
  2. Lire le résultat et évaluer ce résultat en exécutant un cas de test sur l’application Logogenie – www.logogenie.fr 
  3. Recommencer en créant une nouvelle conversation avec deux LLM de votre choix
  4. Analyser les résultats de chaque LLM choisi

Géneration de tests

Partie 1 : Conception assistée par étape d’une suite de tests de bout-en-bout et génération du code d’automatisation des tests.

  1. Ouvrir une nouvelle conversation avec Claude-3-Opus
  2. Utiliser le prompt suivant

Tu es mon assistant pour l’écriture de scénarios de test de bout-en-bout pour  l’application web Logogenie (voir https://www.logogenie.fr/) à partir d’une liste d’exigences fonctionnelles à couvrir. Les exigences sont données avec un identifiant, une description et des critères d’acceptation. 

En analysant les exigences fournies, tu dois générer les cas de test pour couvrir l’ensemble des exigences. Chaque cas de test doit comprendre un identifiant – par exemple TC1, puis TC2, etc – un nom du cas de test, des étapes de test avec le résultat attendu de l’étape.

Vérifie que toutes les exigences sont couvertes.

Voici la liste des exigences :  

Liste des exigences de l’application Logogenie au format : Identifiant  / Description  / Critères d’acceptation

Logogenie_Accès / Il doit être possible d’accéder à la plateforme « logogenie » depuis https://www.logogenie.fr/ La plateforme doit être accessible avec les navigateurs suivants : Chrome, Mozilla Firefox, Edge
ChoixLogo_accès / Il est possible d’accéder à la création d’un logo depuis la page principale.  / Saisir le nom de l’entreprise dans le champ de la page principale puis clicker sur « créer un logo », ou clicker sur « Création de logo » dans la barre de menu de la page principale.  
ChoixLogo_nomEntreprise / Il est obligatoire de saisir le nom de l’entreprise / Le nom de l’entreprise doit contenir maximum 40 caractères (espace compris) et ne peut pas être vide.  
ChoixLogo_PhraseAccroche / Il est possible de renseigner la phrase d’accroche.  / La phrase d’accroche est optionnelle et doit contenir au maximum 50 caractères. 
ChoixLogo_Mots-clés / Des mots clés doivent être saisis. / Au moins un mot-clé.
ChoixLogo_industrie / Il est possible de sélectionner l’industrie dans une liste déroulante.  / Des exemples de choix d’industrie : Informatique, high-tech – Education-formation – Finance-comptabilité
 ChoixLogo_TypePolice / Il est possible de sélectionner le type de police.  / La police par défaut est : Mixte
ChoixLogo_SélectionLogo / Il est possible de sélectionner un logo parmi les logos proposés / À la suite de la sélection d’un logo, l’utilisateur est redirigé vers la page « Personnalisation ». 
Personnalisation_AjoutIcone / Il est possible d’ajouter un icone dans le logo / L’ajout d’icone s’effectue un cliquant sur un icone accessible depuis le menu « Icones »
Personnalisation_CouleurFond / Il est possible de changer le couleur de fond du logo / Il est possible de changer la couleur de fond du logo en écrivant la couleur souhaitée sous forme hexadécimale i.e « #e15c5c »

  1. Rester dans la même conversation
  2. Utiliser le prompt suivant

A partir des cas de tests proposés, tu dois créer des scénarios de tests de bout-en-bout en conservant la couverture des exigences.
Chaque scénario de test de bout-en-bout devra être accompagné d’un libellé décrivant le scénario test, et de la liste des exigences couvertes.
Un nom court pour chaque scénario de test doit aussi être indiqué. Pour chaque scénario de test, les étapes de test sont une paire action de test / résultat attendu.

  1. Rester dans la même conversation
  2. Utiliser le prompt suivant

Ecrit les scénarios de test générés dans le format Gherkin Given … When … Then …

  1. Rester dans la même conversation
  2. Utiliser le prompt suivant

Génére le code des tests automatisés au format Cypress pour ces scénarios.

Partie 2 - Génération de données de test avec image écran

  1. Ouvrir une nouvelle conversation avec GPT-4o
  2. Charger l’image “Logogenie – 1” en utilisant l’icone image à côté de l’invite de prompt
  3. Utiliser le prompt suivant

Tu es mon assistant pour l’écriture de scénarios de test en format Gherkin (Given/When/Then). Le système sous test est l’application web Logogénie (voir https://www.logogenie.fr/).

En analysant l’image écran jointe, détermine de manière exhaustive les classes d’équivalence à tester, en donnant quelques exemples de valeurs typiques et aux limites pour les classes valides et invalides.

Logogenie - 1
  1. Rester dans la même conversation
  2. Charger l’image “Logogenie – 2” en utilisant l’icone image à côté de l’invite de prompt
  3. Utiliser le prompt suivant

En analysant l’image jointe, défini les choix de l’industrie dans un menu déroulant pour les tests.

Logogenie - 2
  1. Rester dans la même conversation
  2. Charger l’image “Logogenie – 3” en utilisant l’icone image à côté de l’invite de prompt
  3. Utiliser le prompt suivant

L’image fournie donne des choix de logos possibles. 

Crée plusieurs cas de test combinant de façon pertinente les données de nom d’entreprise, slogan, mots-clés en relation avec le choix de l’industrie dans le menu et le choix d’un logo.

Logogenie - 3
  1. Aller sur https://chat.smartesting.com/
  2. Lire le prompt ci-dessous

Tu es mon assistant dans le domaine des tests logiciels.

Instruction :

Réalise la priorisation de l’ordre d’exécution des cas de test suivants en tenant compte des priorités données et des dépendances entre tests. Pour la priorité : 1 le plus prioritaire et 3 le moins prioritaire.

Voici les cas de tests à prioriser, donnés sous le format Numéro du cas de test / Description / Priorité / Dépendance : 

A01 / Créer Formation / 2
A02 / Créer Formateur / 3
A03 / Créer Etudiant / 3
B01 / Créer Instance de Formation / 2 / A01
C01 / Lier Formateur à l’Instance de Formation / 1 / B01 et A02
C02 / Lier Etudiant à l’Instance de Formation / 2 / B01 et A03

Tu dois expliquer ton résultat.

  1. Ouvrir une nouvelle conversation et choisir GPT-4-Turbo 
  2. Analyser le résultat et si nécessaire améliorer le prompt / changer de LLM

Note : la réponse correcte est A01 – B01 – A02 – C01 – A03 – C02

Technique RAG

  1. Ouvrir une nouvelle conversation avec GPT-4o
  2. Télécharger le document pdf accessible sur le lien suivant : https://cftl.fr/wp-content/uploads/2024/06/Recommandations_ANSSI_IA_Gen-29-avril-2024.pdf 
  3. Ouvrir ce pdf et jeter un coup d’oeil sur la table des matières
  4. Ajouter ce document à la fenêtre de dialogue sur le Chat LLM : symbole +
  5. Dialoguer avec GPT-4o pour en savoir plus sur les recommandations de l’ANSSI pour la sécurité des systèmes d’IA générative

Exemples de prompts :

  • Quels sont les différents scénarios de partage des responsabilités pour un système d’IA générative suivant le document joint. Analyse la figure 2.
  • Peux-tu être plus précis et détaillé ?
  • …
  1. Ouvrir une nouvelle conversation avec GPT-4o
  2. Télécharger le document accessible sur le lien suivant : https://cftl.fr/wp-content/uploads/2024/06/WT-Wind-Turbine-Requirements_V1.pdf 
  3. Dialoguer avec GPT-4 pour réaliser l’analyse de test de cette application

Exemples de prompts pour l’analyse de test :

  • Décrit le fonctionnement de la turbine éolienne suivant le document joint.
  • Extrait les conditions de tests et les classes d’équivalence pour tester ce système.
  • ….