Défis juridiques des données d'apprentissage pour les LLMs : le cas de Commoncrawl et CulturaX

Le développement rapide des modèles de langage tels que GPT soulève des questions essentielles sur l’utilisation légale des données massives. Par exemple les archives de Commoncrawl (https://commoncrawl.org/terms-of-use) sont souvent utilisées pour entraîner ces modèles. Elles offrent effectivement une ressource précieuse mais complexe du point de vue juridique.

Pour l’entraînement de LUCIE, nous nous posons au quotidien ces questions juridiques complexes, notamment en ce qui concerne les droits de propriété intellectuelle et la protection des données personnelles.

Karsten Wade souligne l’importance de ces questions dans sa dernière newsletter que je vous recommande : https://www.linkedin.com/pulse/osai-tldr-8th-ed-its-all-data-karsten-wade-mey4c/. Des deux articles très documentés sont cités que je vous remets ici :

• https://www.wired.com/story/the-fight-against-ai-comes-to-a-foundational-data-set/

• https://foundation.mozilla.org/en/research/library/generative-ai-training-data/common-crawl/

Par exemple, bien que Commoncrawl offre un accès ouvert, le contenu qu’il archive peut parfois inclure des éléments protégés par le droit d’auteur, ce qui complique son utilisation sans consentement explicite des ayants droit.

Ce contexte juridique incertain pose la question de savoir si les entreprises et les producteurs de LLM comme LINAGORA et la communauté OpenLLM 🇫🇷 🇪🇺 peuvent utiliser ces données en toute légalité, ou s’ils s’exposent à des risques de litiges.

Tentons ensemble d’exprimer et mieux comprendre ces problématiques en mettant en lumière les implications légales de l’utilisation de grandes quantités de données web pour l’entraînement des LLM et en nous questionnant sur les limites de l’utilisation éthique et juridiques de telles ressources.

Distinctions éthiques et juridiques entre Crawling et Webscraping

La différence juridique entre le crawling et le webscraping est cruciale pour comprendre les bases légales de la collecte de données sur Internet.

Le crawling fait référence à une méthode automatisée par laquelle un robot parcourt le web, respectant généralement les directives des fichiers robots.txt des sites, ce qui est souvent conforme aux normes légales. Cette technique est largement acceptée lorsqu’elle est utilisée pour indexer le web et alimenter les moteurs de recherche, comme le montre l’utilisation du bot Google par exemple.

En revanche, le webscraping implique une extraction plus ciblée et parfois intrusive de données spécifiques à partir de sites web. Cette pratique peut entrer en conflit avec les droits d’auteur, surtout si les données extraites sont protégées ou si le scraping ne respecte pas les termes de service du site.

Un exemple notable est l’affaire Ryanair Ltd contre PR Aviation, où la cour a statué que le scraping des données de Ryanair violait ses conditions d’utilisation, soulignant les restrictions légales qui peuvent s’appliquer. Pour en savoir plus : https://www.lexplicite.fr/titulaire-dune-base-donnees-protegee-en-interdire-lusage-commercial/

Cette distinction entre le crawling et le webscraping est essentielle pour les producteurs de modèles et la constitution de nos datasets d’entrainement. Mais quid de cette distinction d’un point de vue juridique ?

Les stratégies des géants de l’IA : accès contrôlé aux données et signature d’accord d’exploitation commerciaux

Les géants de l’IA (OpenAI, Google et Microsoft en première ligne), ayant historiquement exploité les vastes quantités de données d’Internet issus de Commoncrawl par exemple ou des plateformes comme YouTube se trouvent désormais dans une position unique. Elles ont profité à la fois du vide juridique mais aussi de la latence des sites d’informations ou riches en contenus à haute valeur de mettre en place les dispositifs techniques pour limiter l’aspiration de leurs contenus. Ainsi, ils ont collecté tout ce dont elles avaient besoin…

Ces entreprises ne se contentent plus de collecter des données : elles développent dorénavant des techniques pour générer des données synthétiques à partir des données qu’elles ont récolté de manière non éthique et parfois en bafouant le droit des auteurs.

Ces nouvelles bases de données synthétiques présentent une complexité accrue pour identifier la provenance des données originales, rendant ainsi difficile la traçabilité et la revendication des droits…

Du coup, depuis quelques semaines, la situation est totalement cynique. Maintenant qu’elles disposent de l’ensemble du matériel d’apprentissage pour leurs modèles de langue, il est dorénavant dans leur intérêt stratégique de restreindre l’utilisation des datasets publics voire de s’assurer que l’accès aux données fraîches d’Internet, comme les actualités. Une de leurs techniques est la mise en place des accords économiques onéreux, que seuls ces acteurs, peuvent offrir aux acteurs des secteurs de la culture et du journalisme qui sont en recherche en permanence de nouvelles ressources de financement.

Là aussi, ne soyons pas dupes ! Cette approche a pour but unique de limiter le développement de modèles de langages alternatifs 100% Open Source, qui rivalisent déjà une partie de leurs offres.

En contrôlant l’accès aux données et en complexifiant l’usage des datasets publics, ces entreprises cherchent à maintenir leur suprématie sur le marché de l’IA.

Exemple des défis juridiques de l’utilisation du dataset CulturaX pour entraîner notre modèle LUCIE

L’utilisation de CulturaX (https://huggingface.co/datasets/uonlp/CulturaX) pour entraîner le LLM LUCIE plonge les équipes d’ OpenLLM 🇫🇷 🇪🇺 dans un labyrinthe juridique. Ce dataset contient aussi bien des thèses académiques, mais également des articles de presse protégés par des droits d’auteur, comme ceux du journal Le Monde.

Cette complexité est exacerbée par les licences Creative Commons qui peuvent s’appliquer différemment selon les documents. Par exemple, certaines œuvres sous licence CC permettent une utilisation commerciale, tandis que d’autres non.

Lors de l’entraînement de modèles d’IA, l’utilisation de telles données nécessite une analyse méticuleuse pour s’assurer de respecter les différents niveaux de liberté ou de restriction associés à chaque licence. En outre, la notion de “fair use” pourrait être invoquée dans certains cas, mais cette approche reste risquée et sujette à interprétation par les juridictions compétentes. Cela soulève des questions pratiques sur la viabilité à long terme des modèles d’IA qui dépendent de telles ressources. D’où les accords signés à la chaîne par les grands acteurs de l’IA actuellement…

Naviguer à travers ces eaux juridiques demande une compréhension profonde des droits d’auteur et des licences applicables, ainsi qu’une stratégie légale solide pour minimiser les risques de litige tout en maximisant le potentiel d’innovation du modèle LUCIE.

Cette partie de notre travail illustre parfaitement les défis à relever pour concilier respect des normes légales et les avancées technologiques nécessaires pour l’émergence d’une IA 100% Open Source.

Conclusion : appel à la communauté juridique pour éclairer la complexité des données d’apprentissage pour l’entraînement de LUCIE

En conclusion, les implications juridiques de l’utilisation des données pour les modèles de langage tels que LUCIE soulèvent des questions critiques pour l’avenir d’une IA Open Source, souveraine et maîtrisée sur le territoire européen.

Il est effectivement crucial de reconnaître que la propriété intellectuelle est régie différemment à travers les juridictions, y compris les distinctions entre la législation française, européenne, et celle d’autres pays comme les États-Unis, le Japon, ou la Chine. Cette diversité crée une complexité significative et est une raison clé pour laquelle il est difficile de standardiser les pratiques de partage des jeux de données d’entraînement au niveau mondial.

Avec OpenLLM 🇫🇷 🇪🇺 , nous nous concentrons sur l’Europe en vue de créer des communs numériques qui visent l’intérêt commun. Il est d’autant plus important que nous ayons des réponses claires à nos interrogations actuelles car notre objectif est aussi de pouvoir publier 100% de nos données d’apprentissage sous licence libre.

A ce stade, voici nos questions :

• Différenciation entre thèses et articles de presse : pourquoi serait-il acceptable d’utiliser des thèses publiques financées par des fonds publics dans theses.fr, tandis que l’utilisation d’articles de lemonde.fr dans CulturaX (et qui proviennent des datasets [‘OSCAR-2301’, ‘OSCAR-2201’, ‘mC4’, ‘OSCAR-2109’]) poseraient problème, même quand ces derniers proviennent de datasets sous licences libres comme ODC BY ou CC0-1.0 (idem pour les autres journaux et texts sur des sports, e.g., rmcsport.bfmtv.com) ?

• Protection des données personnelles : quels types de données personnelles devons-nous scrupuleusement éviter en accord avec les régulations comme le RGPD ? (sachant qu’il y a sans doute des adresses dans le corpus theses.fr par exemple).

• Corrélation entre les licences des données et celle du modèle final : comment les licences des datasets pourraient-elles influencer la licence sous laquelle le modèle final est distribué ? Devrions-nous maintenir une approche conservatrice où la licence la plus restrictive prévaut ?

• Crawling vs. scraping : clarification sans équivoque sur le plan juridique des différences entre ces deux méthodes de collecte de données.

• Gestion des attributions sous licence CC BY : Comment devrions-nous gérer correctement les attributions pour respecter les exigences des licences Creative Commons (pour respecter une licence CC BY, par exemple) dans le contexte de datasets massifs ? Serait-il suffisant d’inclure l’URL vers le document dans les métadonnées et faire une mention globale au dataset au moment de la publication du modèle ?

• Notion de “fair use” : quelles pratiques peuvent être considérées comme équitables sous la notion de “fair use” dans différents contextes juridictionnels?

Nous encourageons les avocats, juristes, et tous les professionnels du droit s’intéressant à ces questions, à partager leurs perspectives et leurs expertises. Vos commentaires nous seraient essentiels pour nous aider à clarifier ces enjeux et à promouvoir une innovation responsable dans le domaine de l’IA.

Rejoignez-nous dans cette discussion capitale pour modeler l’avenir de l’IA Open Source, de confiance et souveraine en respectant les cadres légaux français et européen.