ChatGPT, Claude & co : le LLM ne représente que 10 à 30 % de la 'magie'

Le reste, c’est l’orchestration d’agents déterministes…

On confond encore trop souvent l‘“Intelligence” et l’infrastructure qui soutien les plateformes et agents conversationnels des big techs.

On parle du modèle comme s’il était le cœur battant de l’IA, alors que l’expérience utilisateur repose, en réalité, sur une usine d’orchestration : des agents, des garde-fous, du RAG propre, des outils déterministes, de la mémoire opt-in et surtout, une observabilité continue.

Le LLM n’est qu’un maillon – parfois brillant, mais rarement décisif.

1️⃣ - Une “croyance” qui cache une complexité et une multitude de processus qui n’ont rien à voir avec l’IA générative

Quand un utilisateur demande « Combien de r dans strawberry ? », il imagine parler directement à ChatGPT. En réalité, sa requête traverse une chaîne complexe et orchestrée de manière déterministe :

• Détection de langue et de l’intention de l’utilisateur

• Application des garde-fous (sécurité, RGPD, filtrage sémantique)

• Recherche augmentée (crawling d’internet, RAG, appels multiples d’API, utilisation de fonctions déterministes de traitement)

• Injection de contexte (historique et préférences de l’utilisateur, heure locale, localisation généralement sans le consentement de l’utilisateur)

• Appel (ENFIN) du LLM : avec un prompt système riche et des contraintes précises qui viennent compléter l’intention initiale de l’utilisateur

• Vérifications, formatage, citations, observabilité… là aussi appelant des fonctions qui n’ont souvent rien à voir avec de l’IA générative

👉 Autrement dit : le LLM n’est qu’un composant parmi d’autres. Dans la plupart des applications “grand public”, il pèse 10 à 30 % de la valeur perçue. Le reste provient de l’orchestration.

2️⃣ L’exemple révélateur : strawberry

Demande : « Combien de r dans strawberry ? »

Une plateforme comme ChatGPT va d’abord s’attacher à détecter le caractère déterministe de la requête, puis va réaliser en gros la séquence (simplifiée) suivante : → exécute count(“strawberry”, “r”) → compare avec la sortie du LLM → arbitre en faveur du résultat certain → étiquette la réponse “vérifiée par outil”.

Et le modèle ? Il n’a quasiment rien généré et encore moins pensé. 😇

3️⃣ L’anatomie d’une plateforme IA moderne

[Consigne de l’utilisateur] → [Router & Cleaner] → [Guardrails / Policy Engine] → [Context Builder (profil, consentements)] → [RAG / Tools / API / Fonctions déterministes] → [LLM Call (rôle, style, contraintes)] → [Verifier & Formatter] → [Observability (coût, latence, qualité)] → [Memory Store (opt-in, TTL)] → [Réponse à l’utilisateur]

👉 Message clé : votre pipeline, c’est votre produit. Et le LLM doit rester interchangeable. Ainsi on n’est agnostique et non dépendant. Vous voyez où je veux en venir…

4️⃣ La preuve par l’expérience : le “modèle nu” vs la “plateforme complète”

Depuis cet été, OpenAI a réalisé un véritable coup de génie. La société a publié ses premiers modèles open weight de raisonnement (famille gpt-oss, dont le gpt-oss-120B). Ces modèles tournent en local (GPU A100 80 Go ou L40/L40S en parallèle — exactement ce que nous faisons chez LINAGORA ) avec des performances proches de o4-mini.

➡️ Cela permet, pour la première fois, de mesurer objectivement l’écart entre :

• le modèle nu (sans agent, sans RAG, sans guardrails) fourni par le leader du marché

• et la plateforme ChatGPT officielle (agents, outils, mémoire, politiques, etc.)

Le verdict est sans appel : un écart abyssal. Dans plus de 90 % des cas, la valeur finale provient des agents encadrant le fonctionnement du LLM – pas du LLM lui même.

Pourquoi cette différence ?

Parce que la plateforme :

• route intelligemment la consigne de l’utilisateur vers des outils déterministes,

• injecte du contexte fiable (RAG sourcé, données fraîches),

• applique des politiques (sécurité, conformité, RGPD…),

• et formate des résultats directement exploitables (JSON, tableau, PPTX).

Le modèle open weight brut mis à disposition cet été par OpenAI devient ainsi un excellent révélateur : il montre la part “pure LLM”.

Tout le reste, c’est le travail invisible mais déterminant du reste de l’infrastructure de la plateforme.

D’autres modèles open weight confirment cette observation : DeepSeek-R1 et Qwen 2.5. Sans leur panoplie d’agents, ces modèles restent brillants… mais incomplets pour un usage professionnel.

5️⃣ La conclusion stratégique : investir dans les frameworks d’agents, pas dans la fétichisation des modèles

La vraie question n’est plus « Quel est le meilleur modèle ? » mais « Quelle est notre meilleure orchestration ? »

Pour créer de la valeur, il faut :

• Sécuriser les réponses (guardrails, anti-prompt-injection, RGPD by design)

• Spécialiser le système (outils métiers, schémas contractuels, fonctions déterministes)

• Optimiser les coûts et la latence (routage, cache, inférence locale)

• Orchestrer des réseaux d’agents — certains non génératifs — capables d’agir, vérifier, citer, journaliser

• Déployer à l’échelle (observabilité, SLO, réversibilité modèle/hébergement)

Le LLM est la locomotive. La valeur vient de l’infrastructure des agents.

C’est en bâtissant des frameworks d’agents ouverts, robustes, auditables et portables qu’on livrera les vraies réponses attendues par le marché : sûres, économiques et scalables.

Cela éclaire aussi notre stratégie #LUCIE (un SLM spécialisé dans la langue française) et justifie pleinement les investissements que nous portons avec LINAGORA sur Open-RAG (https://www.open-rag.ai/), n8n , CrewAI …