Michel-Marie MAUDET, DG et co-fondateur de LINAGORA, Bastien Masse, Délégué Géné

Michel-Marie MAUDET, DG et co-fondateur de LINAGORA, Bastien Masse, Délégué Général de l’Association Class’Code, et Olivier Gouvert, ingénieur de recherche chez LINAGORA, vous avaient donné rendez-vous pour ce Webinaire tant attendu sur #LUCIE : le 1ᵉʳ modèle d’IA réellement #OpenSource, avec des données d’entrainement 100 % transparentes !

• de 100 personnes connectées venant de la communauté OpenLLM-France, d’organismes de recherches, du monde de l’industrie et du numérique.

🎯 Les objectifs d’OpenLLM-France L’initiative développe actuellement LUCIE : un LLM ouvert et souverain, lancé en été 2023. Avec plus de 800 acteurs publics et privés, l’initiative regroupe chercheurs, startups et entreprises 🇨🇵 🇪🇺 , dans le but de créer des communs numériques pour l’IA générative.

🎓 Un modèle au service de l’éducation Le projet s’inscrit dans l’initiative de l’État français de soutenir des modèles souverains, adaptés à des cas comme l’éducation. LUCIE sera entièrement Open Source, sous licence APACHE V2, et adapté à des besoins spécifiques comme ceux de l’éducation 👉 stabilité, compatibilité avec la protection des données, documentation.

📈 L’entrainement L’entraînement a débuté sur le supercalculateur #JeanZay du GENCI, avec pour objectif de traiter 3 000 milliards de tokens.

1️⃣ Composition du dataset : pour obtenir un modèle performant, Lucie est entraînée sur un mélange de données : 33% d’anglais, 32,4% de français, 15% de code et de mathématiques et 20% divisé entre l’allemand, l’espagnol et l’italien. 👉 Chaque type de données est pondéré différemment pour prioriser la qualité à la quantité.

2️⃣ Filtrage des données : afin d’assurer une qualité optimale, un filtrage est appliqué selon des critères de qualité pour éviter les informations redondantes, erronées ou offensantes.

3️⃣ Ordonnancement des données et parallélisme : L’entraînement se déroule en appliquant une technique de parallélisme “3D” pour optimiser le processus. 👉 Les données plus anciennes sont traitées en début afin de recentrer le modèle sur des informations actualisées en fin de parcours.

4️⃣ Extension de la fenêtre de contexte : Lucie est en phase d’expansion de sa fenêtre contextuelle : de 4 096 à 128 000 tokens, permettant de mieux traiter les longs textes sans coupures (adapté surtout au #RAG).

5️⃣ Évaluation des performances : le modèle est comparé sur différents benchmarks français et anglais. Sa performance progresse de manière logarithmique, et les résultats montrent des prévisions prometteuses.

6️⃣ Phase d’instruction et d’alignement : afin d’améliorer ses réponses, le modèle passe par une phase d’instruction en deux étapes : (1) le Fine-tuning, (2) l’apprentissage par renforcement.

Actuellement, Lucie est soigneusement entraînée avec une combinaison de données multilingues, un filtrage méticuleux et des stratégies avancées d’entraînement.

En savoir + 👉 https://lnkd.in/gRK_tGp3