Hors model

Un modèle peut briller sur un benchmark et rater ton lancement sur un format de sortie ou une vérification sautée.

Dans cet épisode, on branche l'évaluation sur la vraie vie : les benchmarks remis à leur place, l'évaluation hors ligne qui précède le lancement, puis les trois portes qu'une IA doit passer, bloquante, souple et canari.

On parle de l'incident le plus dangereux, la lente dérive qui ne déclenche aucune alerte, et de la boucle qui transforme chaque incident en test.

Tu repars avec un système d'évaluation minimum en six pièces, faisable sans plateforme, et un nom pour ce qu'il faut éviter : l'évaluation théâtre.

Chapitres :

0:00 Ouverture

0:32 Intro

1:04 Les benchmarks à leur place

1:42 Avant le lancement

2:36 Les trois portes

3:39 Régler le canari

4:17 Après le lancement

5:13 La mémoire de ce qui a cassé

5:56 Le bon niveau de zoom

6:42 Le minimum viable

7:50 Récap et suite
#HorsModele #IAenproduction #LLMOps #monitoring #evaluationIA

Ton modèle a l'air plus intelligent, mais il a peut-être vu les réponses de l'examen. Cet épisode remonte à l'entraînement, le premier endroit où tu peux empêcher une faiblesse de s'installer dans le modèle.

On passe par les quatre contrôles de données à faire avant d'entraîner, les trois niveaux de fuite entre entraînement et tests, et ce que la courbe de perte ne te dira jamais sur le comportement.

Suivre une consigne recouvre trois compétences (intention, contrainte, format), et le réglage par préférences amène trois dérives : sur-refus, réponses génériques et verbosité.

Tu repars avec l'ordre de décision pour choisir entre un gros modèle et un petit modèle affiné.
Chapitres :

0:00 Ouverture

0:30 Intro

1:09 Les données d'abord

2:07 Les trois niveaux de fuite

2:52 Ce que la courbe ne dit pas

3:19 Trois compétences

4:21 Les dérives des préférences

5:23 Robustesse et lancement

6:10 Gros ou petit modèle

7:16 Récap et suite
#HorsModele #evaluationIA #finetuning #LLM

Ton IA peut écrire une confirmation parfaite sans avoir rien vérifié.

Cet épisode transforme l'évaluation en production en système de contrôle, étape par étape : le contrôle à l'accueil des demandes, la consigne versionnée comme du code, et le contrat de sortie avec réparation limitée et réponse de secours.

On règle la température selon le niveau de risque, et on passe par les quatre obligations d'un appel d'outil, dont la dernière protège le plus tes clients.

On voit aussi comment évaluer la recherche documentaire sans la confondre avec la génération, et les cinq budgets qui tiennent coût et latence.

On termine avec l'échelle de déploiement : ombre, canari, pleine charge.

Chapitres :

0:00 Ouverture

0:32 Intro

1:10 Deux fils et l'accueil

2:02 La consigne est du code

2:48 Le contrat de sortie3:28

La température selon le risque

4:15 Les quatre obligations

5:05 La recherche documentaire

5:56 Les cinq budgets

6:44 Surveiller et déployer

7:37 Récap et suite
#HorsModele #IAenproduction #LLMOps #RAG #evaluationIA

Une IA qui lit des images peut écrire un texte impeccable sur une image qu'elle a à peine regardée, et rien dans sa réponse ne t'alerte.

On voit où les modèles vision-langage cassent en silence, de l'encodeur au modèle qui écrit, et ce que veut dire l'ancrage visuel sur quatre niveaux : objets, attributs, relations, preuves.

On classe un projet par criticité avant d'écrire le moindre test, et on découvre comment une légende parfaitement correcte apprend à une IA à inventer, puis quels pièges la démasquent, du micro-ondes absent aux paires contrefactuelles.

On suit ensuite une équipe qui extrait des factures : un taux d'invention de 4,7 % cachait 12 % sur les longues factures et a bloqué son premier lancement.

Tu repars avec une règle simple pour tes seuils : les fixer par tranche, après avoir analysé les tranches.

Chapitres :

0:00 Ouverture

0:37 Intro

1:16 Où ça casse

1:55 L'ancrage en quatre niveaux

2:48 Classe ton projet d'abord

3:41 La légende qui apprend à halluciner

4:40 Les tests qui démasquent

5:40 L'histoire des factures

6:33 Le chiffre qui cachait tout

7:31 Les portes à part

8:09 Récap et suite
#HorsModele #visionIA #evaluationIA #hallucination #IAmultimodale

Entre ton scan et le modèle, l'image est redimensionnée, découpée, recompressée, et un montant lisible peut arriver sous la forme d'une tache floue.

Dans cet épisode, on met en production le modèle qui lit des factures, là où il n'existe plus aucune réponse de référence.

On voit pourquoi il faut enregistrer l'image telle que le modèle la reçoit, ce que coûte vraiment la résolution, et pourquoi un montant n'est accepté qu'avec trois preuves : une zone citée, l'accord de l'OCR et une confiance suffisante.

On parle aussi des politiques par qualité d'image et des dérives que personne ne note, comme un changement de scanner.

Deux incidents illustrent le tout : une attaque cachée dans un pied de page de facture, et un nouveau scanner qui a fait dérailler l'IA en 48 heures.

Au premier tour, l'assistant médical parle d'un nodule bénin, et au dixième d'une tumeur possible, sans aucune nouvelle image. Cet épisode évalue les assistants IA qui voient, écoutent et parlent, sur toute la durée d'une conversation.

On parcourt le cycle en dix phases, on voit comment les retours produits trahissent une IA qui invente, ce que la transcription de la voix efface, et comment mesurer les contradictions entre ce que l'IA voit et ce qu'elle conclut.

On décortique la dérive conversationnelle et la remise à l'ancre qui la révèle, puis les deux taux qui disent si ton IA sait passer la main. Tu repars avec une fiche en six lignes pour chaque indicateur.

hapitres :0:00 Ouverture

0:36 Intro

1:13 Dix phases

2:02 Données et modalités

2:45 Ce que la transcription efface

3:36 Les contradictions

4:30 La dérive

5:30 Robustesse et équité

6:15 Passer la main

7:09 La fiche d'indicateur

7:38 Récap et suite
#HorsModele #IAmultimodale #evaluationIA #IAsante #IAenproduction

Ton modèle d'IA a peut-être des centaines de spécialistes internes, et n'en fait travailler que quelques-uns.

Cet épisode évalue le mélange d'experts, une architecture où un aiguilleur envoie chaque morceau de texte vers quelques spécialistes.

On voit comment repérer l'effondrement des experts, pourquoi un expert inactif peut être en parfaite santé, comment surveiller les experts rarement sollicités, et ce que révèle la marge de confiance de l'aiguilleur.

On découvre aussi que le goulot se trouve parfois dans le transport entre machines, et que sous forte charge, un modèle peut abandonner des morceaux de texte sans rien dire, au point de paraître excellent en moyenne et d'échouer dans une langue précise.
Chapitres :

0:00 Ouverture

0:32 Intro

1:24 L'effondrement

2:07 Mort ou rare

3:08 Les experts froids

3:55 L'aiguillage en production

4:49 Le transport

5:34 Les morceaux abandonnés

6:32 Des experts d'accord

7:19 Récap et suite
#HorsModele #MoE #evaluationIA #LLMOps #IAenproduction

Un agent IA devait annuler une livraison : il a cliqué sur « confirmer », appelé la mauvaise interface, réessayé la même étape ratée et envoyé une mise à jour irréversible, puis il a répondu « C'est fait ».

Cet épisode montre comment évaluer un agent qui utilise l'ordinateur, une action à la fois, en distinguant l'automatisation robotisée, l'agent et le modèle d'action.

Tu verras pourquoi un appel d'API parfaitement valide peut tourner à la catastrophe, quels contrôles appliquer à chaque étape et comment repérer un agent qui tourne en rond.

On décompose le temps et le coût des longues tâches, puis on classe chaque tâche en cinq issues au lieu de réussi ou raté.

On finit avec le petit modèle qui traduit les intentions en appels de fonctions, jugé aussi sur sa capacité à s'abstenir.

Chapitres :

0:00 Ouverture

0:38 Intro

1:22 Robot, agent, modèle d'action

2:29 Faisable n'est pas valide

3:22 Trois contrôles par étape

4:05 Tourner en rond

4:46 Le temps et l'argent

5:27 Cinq issues, pas deux

6:27 Les violations

6:59 Le petit modèle d'appel

7:41 Récap et suite
#HorsModele #agentsIA #evaluationIA #functioncalling #automatisation

Ton IA a trouvé le prix sur la facture, avec la bonne étiquette, sauf qu'elle a pris celui de la ligne d'en dessous, et l'erreur file vers la comptabilité et l'inventaire.

Cet épisode montre comment évaluer l'extraction d'information dans les factures, reçus, commandes et contrats : trouver, découper et étiqueter, avec les six façons de mal découper une information.

On teste le système sur des documents sales et piégés, et on suit le trajet des erreurs jusqu'à la facturation.

On regarde ensuite l'OCR, la fondation de toute la chaîne, et une démonstration où un score de lecture parfait cache le vrai problème.

Tu repars avec le chiffre que ta direction comprend : le taux de documents traités sans correction humaine.
Chapitres :

0:00 Ouverture

0:32 Intro

1:31 Trouver, découper, étiqueter

2:17 Les six découpages ratés

3:17 Le bruit et les pièges

4:09 Les erreurs voyagent

4:46 L'ocr, la fondation

5:36 Le score parfait qui ment

6:34 Le chiffre que ta direction comprend

7:30 Récap et suite
#HorsModele #OCR #extraction #evaluationIA #automatisation

Une démonstration mathématique impeccable, une conclusion juste, et une erreur dès la deuxième ligne.

Cet épisode explique comment évaluer un modèle de raisonnement à partir d'une définition d'ingénieur, avec cinq choses à mesurer et le piège de l'hallucination de raisonnement, plus dangereuse qu'une erreur de fait parce qu'elle ressemble à une analyse.

On sépare l'évaluation du résultat de celle du processus, on mesure la profondeur et on fait le test le plus révélateur : renommer les variables.

On parle ensuite de l'effet labyrinthe, de la stabilité sur plusieurs exécutions et des limites du vote majoritaire.

Pour finir, un juge automatique attrape la démonstration fausse, à condition d'avoir été lui-même étalonné.

Chapitres :

0:00 Ouverture

0:34 Intro

1:32 Cinq choses à mesurer

2:23 Le résultat ne suffit pas

3:22 Profondeur et variantes

4:22 L'effet labyrinthe

4:58 Mesurer la stabilité

5:43 L'accord trompeur

6:21 Le juge qui doit être jugé

7:15 Récap et suite
#HorsModele #raisonnementIA #evaluationIA #LLM