La bataille des LLM est en marche !

Depuis leur création dans les années 2010, les modèles de traitement de langage naturel (NLU/NLP), tels que les modèles de Large Language Model (LLM), ont connu une croissance et une évolution sans précédent et en particulier ces derniers mois.

Les applications de ces modèles sont vastes, allant de la traduction automatique, à la reconnaissance de la parole ou encore à l’analyse de sentiments en passant par les chatbots et les assistants virtuels.

Plus récemment, les modèles de LLM ont suscité l’attention de la communauté du traitement de langage naturel en raison de leur capacité à générer du texte de manière autonome, permettant ainsi la création d’IA conversationnelles de nouvelle génération à l’image de ChatGPT.

Il existe plusieurs modèles de LLM développés par des sociétés comme OpenIA ou encore Google. Meta a levé le voile très récemment sur LLaMA (Large Language Model Meta AI).

La course au nombre de paramètres

Avant les LLM, les modèles d’intelligence artificielle étaient principalement constitués de modèles d’apprentissage profond (Deep Learning), conçus pour apprendre et reconnaître des modèles dans les données. Les LLM sont un nouveau type d’algorithme d’intelligence artificielle formé pour prédire la probabilité d’une séquence de mots donnée en fonction du contexte des mots qui la précèdent.

Toutefois pour générer de nouvelles séquences de mots jamais observées auparavant par le modèle, les LLM peuvent être entraînés avec de grands volumes de données textuelles. Toujours et encore l’enjeu des corpus d’apprentissage…

Pourquoi ChatGPT pourrait-il à ce jour supérieur aux autres modèles ?

Outre le volume de données d’apprentissage (175 milliards de paramètres !), OpenAI a aussi introduit à grande échelle l’apprentissage par renforcement du feedback humain (RLHF) dans le processus d’entraînement afin de mieux appréhender les réactions et attentes humaines.

L’apprentissage par renforcement avec retour d’information humain est une couche supplémentaire d’entraînement qui utilise le retour d’information humain pour aider ChatGPT à apprendre à suivre des instructions et à générer des réponses satisfaisantes pour les humains. C’est ce qui produit l’effet “waouh” lors des premières utilisations de ChatGPT.

Quelles alternatives Open Source existent-ils ?

Il y a d’abord BARThez (https://github.com/moussaKam). Pas notre gardien préféré bien entendu mais un modèle développé par des chercheurs français, en particulier Moussa Kamal Eddine qui œuvre pour le traitement du langage naturel en français. Ce modèle est publié sous une licence Open Source pour permettre aux développeurs du monde entier de les utiliser et de les améliorer. Ce que les équipes de #LinTO de LINAGORA ont commencé à faire ces derniers mois.

BARThez n’utilise qu’environ 170 millions de paramètres. Ces paramètres ont été entraînés sur un grand corpus de texte en français pour aider le modèle à comprendre la structure et les modèles du langage naturel en français. Bien que 170 millions de paramètres puissent sembler beaucoup, ils sont relativement modestes par rapport aux modèles LLM les plus avancés comme GPT-3, qui compte plus de 175 milliards de paramètres. Cependant, le modèle BARThez a montré des résultats prometteurs dans des tâches de traitement de langage naturel en français et a attiré l’attention des chercheurs et des développeurs dans la communauté scientifique du traitement de langage naturel.

Une autre initiative à regarder de près est Colossal-AI (https://github.com/hpcaitech/ColossalAI) lancé en 2021 par l’équipe de recherche derrière le modèle GPT-3 de OpenAI. Le but de Colossal-AI est de poursuivre la recherche dans le domaine des modèles de LLM pour construire des modèles de LLM ouverts et transparents. Par ailleurs, on peut démarrer de petit et évoluer : d’une échelle à un seul GPU, à une échelle à plusieurs GPU sur un seul nœud, voire titiller les 175 milliards de paramètres… si vous en avez les moyens matériels ! Enfin, il est possible d’injecter des modèles tels que OPT, GPT-3, BLOOM et de nombreux autres grands modèles pré-entraînés de Hugging Face par exemple dans le processus d’entraînement de votre propre modèle. C’est franchement très prometteur !

Que fait LINAGORA dans le domaine et quelles sont nos ambitions sur le sujet ?

LINAGORA depuis 2016 a décidé d’investir dans la voicetech et les techniques de NLU/NLP. Nous disposons d’une formidable équipe de 20 personnes basées majoritairement à Toulouse qui œuvre à la fois sur la dimension recherche et état de l’art mais aussi construit l’offre produit #LinTO. Une équipe composée de PhD, de spécialistes du langage, des ingénieurs… bref une équipe pluridisciplinaire indispensable lorsque vous souhaitez faire des choses innovantes dans le domaine.

On a étendu cette complémentarité des compétences en participant activement à la création de l’association Le Voice Lab et associe aussi nos expertises avec celles de laboratoires de recherche publics tels que l’#IRIT, les équipes du #LiX de l’ École Polytechnique pour ne citer que ces deux exemples.

Il est donc naturel que l’on intéresse fortement à l’évolution du traitement automatique du langage (TAL) pour participer à l’effort pour faire émerger des modèles ouverts de LLM conçus pour les langues européennes.

Notre approche se veut pragmatique : couvrir des besoins moins génériques que ceux envisagés par rapport par ChatGPT mais par contre être forts sur la qualité des réponses pour permettre la mise en œuvre d’intelligences conversationnelles avec de la “sûreté de fonctionnement” en particulier pour les applications industrielles ou les plus sensibles.

On veut aussi concevoir des modèles moins consommateurs d’énergie, plus respectueux de l’environnement et plus éthiques grâce à la transparence des données d’apprentissage comme nous le faisons déjà avec nos corpus pour #LinTO.

Chez LINAGORA , nous sommes convaincus que les modèles de LLM ouverts, transparents et “éco conçus” sont l’avenir de l’IA conversationnelle. Nous avons une grande expérience dans le développement de technologies Open Source, notamment dans le domaine du traitement de langage naturel.

Si vous êtes intéressé par les modèles de LLM et souhaitez vous impliquer dans le développement de l’IA conversationnelle maîtrisée en Europe, nous vous invitons à vous rapprocher de nous.

Nous sommes déterminés à travailler avec des entreprises et des chercheurs audacieux pour créer des modèles de LLM de nouvelle génération qui répondent aux besoins spécifiques des utilisateurs européens.

N’hésitez pas à me contacter si vous souhaitez en savoir plus sur notre approche et voire les opportunités de collaboration.