J'ai bien aimé cette référence implicite à une nouvelle dimension d'ouverture ou pas des modèles d'IA : celle de la 'pensée'.

J’ai bien aimé cette référence implicite à une nouvelle dimension d’ouverture ou pas des modèles d’IA : celle de la “pensée”. Alors non, il ne s’agit pas de savoir si le modèle est ouvert d’esprit ou pas. La notion “d’open-thought models” fait ici référence à la nouvelle génération de LLM (les grands modèles de langage), initiée par OpenAI avec le modèle o1. Il s’agit de modèles dont les performances dépendent non plus (seulement) de la puissance de calcul déployée au moment de l’entraînement initial (comme le passage de GPT3 à GPT4 par exemple), mais aussi et surtout de celle déployée au moment où le modèle cherche à répondre à la question posée (ce qu’on appelle “test-time compute” dans le jargon). Ce temps de calcul supplémentaire se traduit par de la génération de texte sous forme de “raisonnement” (je mets des guillemets car il ne s’agit en vérité que d’une imitation de raisonnement). Dans le cas des modèles o1 (et de leur successeur annoncé, o3), OpenAI ne rend pas disponible à l’utilisateur ces “pensées” (c’est le terme utilisé par OpenAI, “thoughts”) du modèle. Mais d’autres modèles, comme Gemini 2.0 “Flash thinking” (de Google), donnent accès à l’utilisateur à ces “pensées intermédiaires”. On peut alors dire que ce modèle est “open thought” (même s’il faudrait nuancer, en fonction notamment de ce que les CGU autorisent à faire avec ce que le modèle a généré…), même s’il n’est pas ailleurs pas “open” (au sens de “open weight” par exemple). C’est un sujet à mon avis important à suivre, car ces “pensées” pouvant être utilisées pour entraîner d’autres modèles, leur ouverture peut entraîner des dynamiques assez vertueuses de progrès collectif de la capacité de ces modèles. Même s’il va aussi falloir réfléchir à dans quel contexte ces modèles sont utiles et pertinents, car cette génération massive de texte a un coût, économique et écologique, qui peut devenir totalement aberrant…

PS : Je ne poste plus du tout sur twitter, pardon X (mais je suis actif sur Bluesky). Néanmoins je consulte encore de temps en temps X pour la veille sur l’IA / le machine learning.