LLM as a judge : pourquoi l’évaluation par l’IA ne suffit pas, Laurent Zhang

Épisode de Just a Click par Terry Michel · 11 mai 2026 · 47 min

Comment évaluer un agent IA quand il ne se contente plus de répondre, mais choisit ses outils, manipule des données et déclenche des actions ?

Laurent Zhang est le cofondateur de Mankinds, une plateforme d’évaluation d’applications IA incubée à Station F dans le programme F/ai.

Dans cet épisode, il partage son expérience sur l'évaluation des applications d’IA générative et les systèmes agentiques.

Nous discutons notamment des alternatives au "LLM as a judge" avec des tests plus déterministes, auditables et adaptés aux secteurs régulés.

Il explique :

La différence entre un workflow IA séquentiel vs un agent autonome.

Les limites de la méthode d'évaluation avec un LLM (LLM as a judge) et les alternatives.

L'approche d'évaluation que propose Mankind avec des scoreurs déterministes et des datasets contextualisés.

Pourquoi la conformité n'est pas un frein mais un accélérateur à l'innovation.

(00:00:00) Parcours de Laurent et mission de Mankind

(00:06:21) Systèmes agentiques et limites du LLM as a judge

(00:15:27) Du contexte aux tests déterministes

(00:25:31) Orchestration, modèles et mise en production

(00:36:03) RAG, graphes et adoption de l’IA agentique

—

💼 Vous souhaitez travailler avec moi ? Découvrez mes services ici.

—

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Autres épisodes de « Just a Click »

À propos du podcast

Dans Just a Click, celles et ceux qui construisent des produits tech racontent leurs décisions. Les bonnes comme les mauvaises, et les leçons à en tirer. — 🎙SOUTENEZ LE PODCAST GRATUITEMENT 1. Abonnez-vous 🔔 2. Suivez-moi sur les réseaux 3. Laissez des étoiles sur votre plateforme d'écoute (⭐) —…

Just a Click

Épisodes similaires

Tous les épisodes de Just a Click · Plus de podcasts Technologie