Plusieurs personnes m'ont demandé la recette de la démo de LUCIE.

Plusieurs personnes m’ont demandé la recette de la démo de LUCIE. Voici une plongée détaillée dans les coulisses du “setup” pour l’événement #POSAIS.

1️⃣ LUCIE, un modèle text2text Tout d’abord, il est important de préciser que LUCIE, dans sa version publiée, est un modèle text2text. À ce stade, la partie conversationnelle et vocale ne fait pas partie des fonctionnalités du modèle, bien que la multimodalité soit sur notre roadmap.

2️⃣ Pourquoi une démonstration avec voix ? Pour rendre la démo plus vivante et interactive, j’ai pris l’initiative d’intégrer un agent conversationnel reposant sur la stack d’ElevenLabs (non OSS). J’ai choisi ElevenLabs principalement pour la qualité exceptionnelle de leur voix “Claire”, qui a été utilisée pour donner vie à LUCIE.

3️⃣ La touche d’ElevenLabs Récemment, ElevenLabs a lancé une fonctionnalité de “Conversational AI”. Accessible à tous, elle permet, moyennant quelques euros, de créer des expériences vocales ultra-réalistes.

4️⃣ Utilisation de “Custom LLM” Une autre nouveauté d’ElevenLabs : leur support des modèles custom via la fonctionnalité “Custom LLM”. Cela permet de connecter un endpoint d’API pour interagir avec son propre modèle.

5️⃣ L’infrastructure technique de la démo Pour garantir des performances rapides et une faible latence, j’ai opté pour une configuration robuste, hébergée sur une machine OVHcloud dédiée (l40s-360). Voici les specs utilisées pour la démo : Mémoire : 360 Go vCore : 60 GPU : 4 × L40S (48 Go chacun)

Une configuration impressionnante, certes, mais elle est adaptée à une démo publique pour éviter tout risque de latence. Ça fonctionne aussi très bien sur une RTX 4090.

6️⃣ Prompt engineering et RAG : les clés du succès L’une des parties les plus critiques a été le prompt engineering, notamment la création d’un system prompt particulièrement optimisé pour orienter le modèle vers des réponses précises. J’ai également intégré un RAG pour recentrer l’attention de LUCIE sur les sujets de discussion souhaités.

7️⃣ La spontanéité au rendez-vous Pour ceux qui se posent la question : non, les réponses concernant la recette de la tarte Tatin ou le résultat du match du PDG d’hier soir n’étaient pas pré-programmées ! 🎯

Ces réponses sont issues de la liberté de génération du modèle, avec une température fixée à 0.5 pour favoriser des réponses ouvertes et variées.

8️⃣ Mention spéciale à 🇨🇭Claude Stabile🐧 Je tiens également à féliciter Claude, qui a réalisé une solution similaire, mais en 100% Open Source ! Bravo pour ce travail inspirant. Je mets son post en commentaire pour ceux qui souhaitent en savoir plus.

En résumé : cette démo montre comment un modèle qui n’est pas (encore) SOTA peut être rendu attractif et démonstratif grâce à une approche pragmatique, un peu d’optimisation technique et une touche de créativité.

Exactement comme je le ferai pour un client qui souhaiterait mettre un agent conversationnel dans une application métier. Du bon sens, rien que du bon sens !