Hors model

Un directeur demande le chiffre d'affaires des clients actifs, et l'IA écrit une requête qui s'exécute sans erreur en additionnant toutes les factures.

Cet épisode explique comment évaluer les IA qui transforment une question en requête SQL ou en requête de graphe.

On voit pourquoi on évalue toute une chaîne d'étapes autour du modèle, pourquoi la recherche de schéma doit ramener ni trop ni trop peu, et pourquoi une requête valide peut donner un résultat faux.

On passe par la robustesse, la réparation et la gouvernance, puis on tranche la question clé : la fiabilité vient-elle du modèle ou de ce qui l'entoure ?

On termine avec les bases en graphe, où une flèche dans le mauvais sens change la réponse, et les cinq contrôles à appliquer à toute IA qui écrit des requêtes.

Chapitres :

0:00 Ouverture

0:35 Intro

1:25 Un système autour du modèle

2:22 Ni trop ni trop peu

3:18 Valide et fausse

4:02 Robustesse, réparation, gouvernance

4:54 Dans le modèle ou autour

5:35 Quand les données sont un graphe

6:30 La règle d'or

7:21 Récap et suite
#HorsModele #TextToSQL #donnees #evaluationIA #SQL

Le modèle le plus important de ton système d'IA ne dit peut-être que oui ou non.

Pour le dernier épisode de la saison régulière, on évalue les petits modèles qu'on ne voit jamais : le videur et le bibliothécaire.

Les modèles gardiens doivent séparer un propos haineux d'une discussion sur la haine, et leur confiance doit être bien étalonnée pour que le blocage, le laisser-passer et la revue humaine se déclenchent au bon moment.

Les gardiens d'images, eux, peuvent bloquer la bonne image pour une raison qui n'existe pas.

Côté modèles d'embeddings, on visite la ville des idées et ses pièges : les faux jumeaux comme réinitialiser un mot de passe et fermer un compte, le texte qui écrase l'image dans la recherche visuelle, et la dérive dans le temps.
Chapitres :

0:00 Ouverture

0:36 Intro

1:19 Le videur

2:03 Parler de la haine

3:03 Le vrAI chiffre

3:45 Le videur et les images

4:36 Le bibliothécaire

5:23 Les faux jumeaux

6:11 Le collègue bavard

7:00 La dérive

7:23 Récap et suite
#HorsModele #evaluationIA #moderation #embeddings #RAG

Un thermomètre n'a jamais guéri personne. Ce hors-série ferme la saison sur l'évaluation de l'IA en production et la relie à la saison sur les agents : après avoir construit des agents, on a appris à savoir s'ils marchent.

Toute la saison tient en dix leçons, chacune avec une image pour s'en souvenir : la voiture et son moteur, les pieds dans la glace et la tête dans le four, le chèque qui est parti, le GPS avec une vieille carte, le vaccin, le gâteau salé, le videur qui ne danse pas.

Suivent un plan pour bâtir ton premier système d'évaluation en cinq jours, sans plateforme, les trois pièges du débutant, et les questions qui restent ouvertes.

Une IA devient fiable quand on peut la vérifier.
Chapitres :

0:00 Ouverture

0:38 Intro

1:10 Deux saisons

1:51 Système, décision, tranches

2:46 Juges, preuves, dérive

3:57 Mémoire, étapes, échecs

4:56 Le plan pour lundi

5:52 Les pièges du débutant

6:18 Ce qui reste ouvert

6:55 Merci
#HorsModele #evaluationIA #IAenproduction #agentsIA

La moyenne de ton IA monte pendant qu'elle s'effondre sur les demandes les plus risquées, et c'est le premier piège de l'évaluation. Cet épisode montre ce qu'un cas de test doit contenir et comment découper tes cas en tranches pour que les erreurs rares ne disparaissent plus dans la moyenne. On décrit le comportement attendu au lieu de comparer à une réponse modèle, et on utilise les tests adversariaux et les données synthétiques sans se raconter d'histoires. Viennent ensuite l'échelle des juges, du contrôle automatique jusqu'à l'humain, et les défauts d'une IA qui note une autre IA. Tu repars avec quatre questions à te poser avant de parler de régression.
Chapitres :0:00 Ouverture0:31 Intro1:23 Un cas de test2:09 Le jeu de référence3:11 Les tests qui cherchent la panne4:12 L'échelle des juges5:04 Les pièges de l'IA juge6:09 Le bruit6:47 Les quatre questions7:30 Récap et suite
#HorsModele #evaluationIA #LLMasajudge #LLMOps #testIA

Un assistant IA confirme à un client un remboursement qui n'a jamais eu lieu, parce que personne n'avait construit le système capable de voir venir l'erreur. Ce premier épisode de la saison sur l'évaluation de l'IA en production explique pourquoi on évalue un système complet plutôt qu'un modèle, et pourquoi une note de 8,2 sur 10 ne décide rien toute seule. La règle PISA (Preuve, Incertitude, Seuil, Action) relie chaque métrique à une décision : lancer, bloquer, enquêter ou revenir en arrière. On passe en revue quatre fausses évaluations courantes, les raisons pour lesquelles les méthodes classiques cassent avec l'IA générative, et les quatre axes sur lesquels on juge qu'une IA marche : qualité, sécurité, coût, fiabilité. Tu repars avec un modèle de définition de « terminé » et la ligne qui aurait bloqué le remboursement fantôme.
Chapitres :0:00 Ouverture0:38 Intro1:25 Ton IA est un système2:11 La règle PISA3:16 Les fausses évaluations4:07 Pourquoi les vieilles méthodes cassent5:06 Les quatre axes6:07 Toutes les erreurs ne se valent pas6:53 La définition de terminé7:53 Récap et suite
#HorsModele #evaluationIA #IAenproduction #LLMOps #LLM

Hors-série de fin de saison. On reprend Karim, notre gestionnaire TI du premier épisode, pour relier en une seule histoire les neuf épisodes sur les agents IA : le relais humain, le rôle et les outils, les garde-fous et la mémoire, les cinq réflexes, l'échelle d'autonomie, puis les systèmes concrets. Ensuite, on ouvre quatre pistes que la série laisse ouvertes : qui répond des erreurs d'un agent, comment les plus jeunes se forment quand les agents font les premiers jets, ce que tu acceptes de faire sortir de tes données, et la tentation d'aller trop vite vers l'autonomie. Tu repars avec un geste simple pour lancer ton premier agent lundi.

Un titre de quatre mots en entrée, un livre d'environ vingt mille mots en sortie, en quelques minutes. Pour le dernier épisode de la série sur les agents IA, on ouvre les coulisses de trois usines à contenu. Un rédacteur de livres planifie les chapitres puis lance une équipe de rédaction par chapitre, toutes en parallèle, et une machine transforme un article en posts X et LinkedIn qu'elle range en brouillons au lieu de publier seule. Le troisième système analyse un dépôt de code, planifie, rédige la documentation puis la fait relire. Tu repars avec les 3 P de l'usine à contenu, Plan, Parallèle, Passe finale, et le récap de toute la série en une minute pour lancer ton premier agent.

#HorsModele #agentsIA #contenu #IA

Ta veille IA a peut-être un défaut caché : celui qui cherche est aussi celui qui écrit, et quand il ne trouve pas, il comble. Dans cet épisode, on décortique trois agents de veille construits pour éviter ce piège. Il y a d'abord un système de surveillance de marque qui met une équipe d'agents sur chaque réseau social avant de fusionner les constats, puis un chercheur approfondi qui tourne en local, où l'analyste peut renvoyer le chercheur vérifier une information douteuse. Le troisième transforme une question en article publiable et sourcé avec seulement deux agents. Tu repars avec la chaîne Collecter, Vérifier, Raconter pour évaluer n'importe quel outil de veille.

#HorsModele #agentsIA #veille #IA

Une IA qui répond, c'est utile, et une IA qui fait les choses à ta place va beaucoup plus loin. Dans cet épisode, on démonte trois agents qui agissent : un chercheur de vols qui navigue sur un site de réservation comme un humain, un chercheur d'hôtels construit sur exactement la même architecture, et un analyste financier qui transforme une question en langage courant en graphique boursier en écrivant et en exécutant son propre code. Tu vas voir pourquoi la pièce la plus importante n'est pas l'IA, et pourquoi le code généré doit toujours tourner dans un bac à sable. On regarde aussi comment MCP branche tout ça dans tes outils de travail. Tu repars avec le squelette TAR : Traduire, Agir, Rapporter.

Un génie qui ne connaît pas ton entreprise te donnera des réponses brillantes et fausses. Dans cet épisode, on décortique trois systèmes d'agents qui connaissent ton monde. Le premier est un RAG agentique qui choisit entre ta base documentaire et le web, et qui peut tourner entièrement en privé sur un modèle local. Le deuxième est un agent vocal qui écoute, transcrit, cherche dans ta documentation et répond à voix haute, pensé pour les équipes de terrain, avec le détail technique qui l'empêche de te couper la parole. Le troisième a une mémoire de type humain, qui extrait des faits de chaque échange et construit un graphe de connaissances. Tu repars avec le trio lire, écouter, retenir pour cadrer ton propre projet.