Je suis heureux de vous présenter 'Chocolatine', mon tout nouveau modèle d'IA générative.

Je suis heureux de vous présenter “Chocolatine”, mon tout nouveau modèle d’IA générative. Ce modèle marque une avancée majeure dans mon projet de développement d’une IA open-source de référence pour la langue française, succédant ainsi à mon précédent modèle French-Alpaca.

Chocolatine est un Small Language Model (SLM) de 3 milliards de paramètres développé en réalisant un fine-tuning du modèle Phi-3.5-mini-instruct de Microsoft à partir d’un large corpus en français. Conçu pour traiter des tâches complexes de raisonnement et de manipulation de texte dans la langue de Molière, il est particulièrement adapté aux applications de RAG. De plus, en tant que modèle généraliste, il peut être réentraîné pour des cas d’usage spécifiques. Chocolatine est également disponible en version 14B (14 milliards de paramètres), basé sur Phi-3-medium-4k-instruct.

Chocolatine se distingue par ses performances de pointe : la version 3B atteint 8,12 de moyenne sur MT-Bench-French, dépassant GPT-3.5-turbo d’OpenAI et ses 8,05 sur les évaluations en français. De manière remarquable, l’amélioration du traitement du français renforce aussi les performances globales du modèle, y compris sur les tâches exprimées en anglais. Si bien que Chocolatine obtient des résultats spectaculaires sur les principaux benchmarks anglophones : les deux versions du modèle 3B et 14B se classent numéro 1 de leur catégorie respective sur le Leaderboard OpenLLM d’Hugging Face, le classement mondial des modèles open-source. Chocolatine-14B surpasse même ses concurrents jusqu’à 40 milliards de paramètres.

Outre ses formidables modèles de base (Phi-3-medium/3.5-mini), les performances “state-of-the-art” de Chocolatine peuvent être attribuées à deux éléments-clés :

• Les données utilisées : J’ai choisi le dataset d’Intel Orca-DPO-Pairs traduit en français, sur lequel j’ai fait appliquer une révision complète de cette traduction par Mistral-Large de Mistral AI afin de corriger les erreurs et garantir des données de haute qualité. Cette correction a amélioré significativement les performances du modèle.

• La méthode de fine-tuning : L’entraînement de Chocolatine repose sur l’optimisation des préférences directes (DPO), une technique proche de l’apprentissage par renforcement, qui permet d’ajuster en continu le modèle pour qu’il apprenne à choisir les réponses jugées comme meilleures selon des critères prédéfinis (ton, style, pertinence par rapport au contexte etc). Cette approche permet à Chocolatine de générer des réponses non seulement correctes, mais aussi parfaitement alignées avec les exigences de compréhension et d’expression linguistique.

Je vous invite à tester Chocolatine et à me donner vos retours. N’hésitez pas à liker et partager ce post le plus largement possible :)

cc Pierre Lagarde, Eneric Lopez, Sebastien Bubeck, Paul PETON, Jean-Pierre Riehl, Yann Bilissor, ♾ Nicolas Robert, Franck Joudiou, Stephane Nachez

https://lnkd.in/d2ugXwSD