Rechercher
Saisissez au moins deux caractères, sans donnée personnelle.

    BibliothèqueArticles et FAQ Votre projetDemander un devis
    LangueFR
    Guides pratiques

    Évaluer un outil d’IA avant de l’intégrer à un site web

    Une démonstration réussie ne prouve pas qu’un outil d’IA convient à vos visiteurs ou à votre équipe. Le choix demande des cas de test, des limites explicites et un moyen de reprendre la tâche.

    Voir la méthode

    Personne consultant des documents sur un écran
    Illustration générée par IA

    Définir une tâche et son niveau d’exigence

    Choisissez une tâche précise : suggérer des titres, classer des demandes, traduire une page ou répondre à partir d’une documentation. Définissez le résultat attendu et ce qui constituerait une erreur importante. Une aide à la rédaction interne n’a pas les mêmes conséquences qu’une réponse publique sur un prix, un délai ou une condition contractuelle.

    Le cadre de gestion des risques de l’IA du NIST et son profil consacré à l’IA générative offrent des repères pour organiser l’évaluation. Ils ne valident pas un produit particulier. Votre grille doit relier les risques au contexte de la tâche, au public et à la manière dont le résultat sera utilisé.

    • Tâche et public.
    • Résultat vérifiable.
    • Erreurs acceptables ou bloquantes.
    • Responsable de la décision.

    Examiner les données et la réversibilité

    Listez les données envoyées au service, les personnes qui peuvent y accéder, les règles de conservation et les conditions d’usage annoncées. Vérifiez ces informations dans la documentation et le contrat du fournisseur. Ne partez pas du principe que tous les produits d’un même éditeur ont les mêmes règles. Un compte grand public, une API et une offre d’entreprise peuvent avoir des conditions distinctes.

    Préparez d’abord des exemples anonymisés ou synthétiques clairement identifiés pour les essais. Définissez ce qui peut être exporté, comment changer de fournisseur et quelle tâche restera possible en cas d’indisponibilité. Le stockage des instructions, sources et évaluations doit rester compréhensible pour l’équipe qui reprendra le projet.

    • Données autorisées pour le test.
    • Conditions propres à l’offre utilisée.
    • Accès, conservation et export.
    • Solution de reprise manuelle.

    Constituer un petit jeu de tests exigeant

    Classement fictif de 100 cas : 6 vrais positifs, 2 faux positifs, 4 faux négatifs et 88 vrais négatifs.
    Illustration · Exercice fictif, sans performance attribuée à un outil. REF désigne la référence relue et MODEL la décision testée ; + signifie « à relire ». TP : vrai positif ; FP : faux positif ; FN : faux négatif ; TN : vrai négatif.

    Réunissez des exemples représentatifs et des cas difficiles : information absente, source contradictoire, demande ambiguë, langue différente et tentative de détourner les consignes. Définissez la réponse de référence ou les critères d’acceptation avant l’essai. Un outil qui refuse de répondre lorsqu’une donnée manque peut être plus utile qu’un outil qui produit une réponse convaincante mais inventée.

    Mesurez séparément exactitude, omissions, références, temps de réponse et coût dans le scénario choisi. Relisez plusieurs résultats : une génération peut varier. Conservez la version du modèle ou de l’offre quand elle est connue, les paramètres utiles, la date du test et les exemples utilisés. Aucun score global ne doit masquer un échec sur une tâche essentielle.

    Exercice fictif de classement de demandes, sans résultat attribué à un outil : sur 100 cas de référence, 10 nécessitent une relecture humaine et 90 non. La règle étudiée en signale 8 : 6 sont bien à relire (TP) et 2 sont de fausses alertes (FP). Elle manque 4 cas à relire (FN) et écarte correctement les 88 autres (TN). Le taux de classifications correctes, accuracy, atteint (6 + 88) / 100 = 94 %. Pourtant, la précision des signalements, precision, vaut 6 / 8 = 75 %, et le rappel, recall, seulement 6 / 10 = 60 %.

    Ces mesures répondent à des questions différentes : combien de décisions sont correctes, combien de signalements sont justifiés et combien de cas à détecter sont retrouvés. Le cours de classification de Google explicite leurs dénominateurs ; un score élevé d’accuracy peut masquer des cas rares manqués. Fixez la définition du cas positif, le seuil éventuel et le jeu de référence avant comparaison, puis conservez les quatre effectifs. Un dénominateur nul rend la fraction indéfinie : ne le transformez pas arbitrairement en réussite. Ces métriques de classification ne mesurent pas, à elles seules, la qualité factuelle d’une réponse rédigée ni une fiabilité générale.

    • Cas représentatifs et cas limites.
    • Critères définis avant le test.
    • Erreurs documentées par exemple.
    • Version et date des essais.

    Faites défiler le tableau horizontalement pour lire toutes les colonnes. Au clavier, placez le focus sur le tableau puis utilisez les flèches.

    Exercice fictif : trois mesures pour un même classement
    MesureCalcul sur le lot fictifCe que le dénominateur représente
    Exactitude globale (accuracy)(6 + 88) / 100 = 94 %Toutes les classifications, correctes ou incorrectes
    Précision des signalements (precision)6 / (6 + 2) = 75 %Les huit cas signalés
    Rappel (recall)6 / (6 + 4) = 60 %Les dix cas qui nécessitaient une relecture
    Cas à relire manqués (FN)FN = 4Quatre cas réellement positifs non signalés

    Limiter le déploiement et vérifier dans la durée

    Commencez par un usage où les résultats sont relus. Pour un assistant public, limitez les actions possibles, rendez les sources accessibles et prévoyez une orientation vers une personne quand la demande dépasse le périmètre. Testez la reprise après une panne, une réponse invalide ou une modification des documents. Les résultats doivent être observables sans enregistrer inutilement des données personnelles.

    Refaites les tests après un changement de modèle, d’instructions, de documentation ou de fonctionnalités. Le guide de vérification des sources aide à relire les productions éditoriales. L’annuaire des ressources d’IA présente des points de départ officiels pour comparer les offres, sans garantir leurs résultats.

    Documents de référence

    Complément de lecture

    Pour élargir les options avant un essai, cette bibliothèque propose des parcours sur le choix d’un outil, les sources, les données confidentielles et les tests reproductibles. Utilisez-la pour préparer une liste de solutions à examiner, puis appliquez votre propre protocole aux tâches et contraintes du projet.

    WORLD AI GUIDE : guides de choix et d’évaluation des outils IA

    Contenu mis à jour le

    Matrice de recette à adapter au projet

    Ces contrôles proposés utilisent des cas fictifs. Décidez du comportement attendu avec l’équipe, notez le résultat et attribuez les écarts non résolus avant publication.

    Faites défiler le tableau horizontalement pour lire toutes les colonnes. Au clavier, placez le focus sur le tableau puis utilisez les flèches.

    Cas de test, résultats attendus et preuves utiles
    CasRésultat attenduPreuve à conserver
    Une réponse contient une source qui ne confirme pas l’affirmation.Marquer la réponse comme non étayée et la soumettre à la règle de revue définie.Question témoin, réponse exacte, source consultée et passage qui confirme ou contredit l’affirmation.

    Questions fréquentes

    Combien de tests faut-il prévoir ?

    Le nombre dépend de la diversité et des conséquences des tâches. Commencez par des cas représentatifs, ajoutez les erreurs déjà rencontrées et couvrez les situations critiques. Un petit jeu bien conçu est plus utile qu’une longue série de démonstrations faciles.

    Faut-il relire tous les contenus générés ?

    Le niveau de validation dépend du contexte. Avant une publication éditoriale, vérifiez les faits, sources, droits, cohérence et formulations. Les prix, disponibilités et engagements ne doivent pas être inventés à partir d’une réponse du modèle.