Mon analyse du talk « Biais politiques dans les LLMs : comprendre, analyser et atténuer »

Hier soir à Nantes (23/09/2005), chez Shift - Le Hackathon Gen AI : plongée lucide dans les biais politiques des LLMs.

Le talk d’Akram Elbouanani (CEA-List) valait le déplacement. Evan DUFRAISSE, avec qui j’ai travaillé sur l’entraînement de #LUCIE, a co-signé ce papier quand il était encore au CEA-List. Autant dire que je suivais ce sujet de près.

Le talk d’Akram était fluide, hyper documenté et très pédagogique. Il a déroulé :

• un bref rappel sur les origines des biais (intrinsèques avec les embeddings par exemple) ou extrinsèques qui peuvent s’apparenter à des préférences volontairement ou involontairement injectées par le producteur du modèle,

• le cadre méthodologique utilisé pour ses travaux,

• la constitution du dataset,

• l’échantillonnage pour obtenir des données réellement exploitables,

• et la manière de poser des prompts « neutres » (autant que possible) pour évaluer les modèles.

Bref : de la science appliquée, pas du storytelling.

Ce que je retiens :

• Tous types de LLMs (fermés, open-weight, open-source), peu importe l’origine, penchent globalement à gauche avec un dominante progressiste.

• Pour un modèle donné, plus on augmente la taille, plus les biais politiques sont marqués.

• Quand on teste une zone géographique (ex : la Russie) dans la langue locale (ex : russe), on retrouve surtout les biais de la langue dominante d’entraînement du modèle…

• Les biais majoritairement observés viennent des corpus anglophones.

• Mitiger ces biais est complexe et peut introduire d’autres biais voire dégrader les performances.

• Même avec des prompts soigneusement sélectionnés pour viser la neutralité, les résultats restent sensibles au contexte de la question. L’analyse et la généralisation sont donc complexes et la mitigation systématique devient illusoire.

Ce que cela m’inspire, confirme et nous engage collectivement :

• Ces modèles sont des outils de soft power. Il faut l’assumer et s’organiser en conséquence .

• Entraîner sur des données ouvertes, auditables et alignées avec nos valeurs n’est plus une option — c’est un impératif stratégique. 👉 Expérimentation qu’il me tente de lancer : faire un pré-entraînement sans aucun token anglais, pour mesurer l’impact réel sur la distribution des réponses et la polarisation politique.

• Des initiatives comme #LUCIE ont d’autant plus de sens dans ce contexte : viser des IA générative plus ouvertes, plus universelles, plus équilibrées et donc utilisables dans les domaines sensibles (éducation, santé, assurance, médias, défense).

Point de désaccord constructif :

Sur les impacts démocratiques, je ne suis pas totalement aligné avec les conclusions prudentes d’Akram.

Mon expérience et certaines études récentes indiquent que la relation de confiance qui s’installe entre humains et agents conversationnels peut réellement influencer les opinions et les choix (même si le chemin causal est complexe). Le point clé sera dans le futur notre capacité de discernement et notre volonté à exercer (dans tous les sens du terme) notre libre arbitre.

Nous sommes en revanche alignés sur un point cardinal : les LLMs ne sont pas neutres. Et la prolifération de contenus automatisés, toujours plus biaisés à l’image des interactions avec #Grok sur le réseau X, déforme durablement la réalité.

Et maintenant, on fait quoi ? quelques propositions concrètes

• Data : publier des corpus d’entraînement documentés (provenance, licences, répartition linguistique) et des cartes de biais associées.

• Évaluation : standardiser un bench socio-politique multilingue public, avec des prompts contrôlés et une analyse de sensibilité au contexte dans le prolongement des travaux d’Akram. Une démarche similaire doit être aussi appliquée aux autres grands domaines sociologiques pouvant être manipulés par les LLM.

• Modèles : tester des pré-entraînements non-anglophones, et/ou avec des mix plus équilibrés (FR/ES/DE/… vs EN) pour quantifier l’effet sur les biais… sans avoir peur du manque potentiel de token de pré-entraînement.

• Garde-fous côté produit (là où se joue la valeur) : investir pour combler notre déficit sur l’outillage côté agent conversationnel (mémoire, outils, filtres, traçabilité), RAG local et politiques d’explicabilité pour contextualiser les réponses sans les aseptiser.

• Gouvernance : instaurer des comités de revue indépendants sur les projets déployés en éducation/santé/médias/défense et faire en sorte d’avoir plus de modèles tout en luttant sur la concentration et le contrôle par un petit nombre.

Merci Akram pour la clarté du talk, hâte de lire le papier de recherche intégral sur l’étude complète.

Merci à l’équipe Shift - Le Hackathon Gen AI (Maxime Pitussi 🤘, Samuel Berthe, Florence Poyvre, Jaafar Steiblen-Raji, 🧭 Pierre Rondeau…) pour l’accueil et la qualité du line-up. Kudos à Simon Timssale-Bourrioux pour son excellent exposé sur les modèles images et sur nano-banana qui me surprend encore plus de jour en jour.

On continue ? Je suis partant pour co-construire un benchmark ouvert et lancer l’expé “zéro token anglais”. Qui veut en être ?

#OpenSource #LLM #SouveraineteNumerique #Bias #AIForGood #Lucie #OpenLLMFrance #Nantes #Shift