DeepSeek-OCR : une révolution (silencieuse) venue de Chine 🇨🇳 ?

DeepSeek-OCR : une révolution (silencieuse) venue de Chine 🇨🇳 ?

Dans mon avion pour Toulouse ce matin, j’ai pris connaissance des dernières avancées des chercheurs de DeepSeek qui viennent de présenter un concept contre intuitif pour moi…

Leur concept : un compression optique du contexte, baptisée Context Optical Compression.

Au lieu de traiter un texte de 100 000 tokens de manière linéaire et coûteuse, leur approche est de le convertir en image, réduisant ainsi sa taille d’un facteur ×10 à ×20 tout en conservant 97 % de précision. Par exemple : une page de texte qui “pèse” 2000 tokens devient une image d’environ 200 tokens visuels.

Et le modèle DeepSeek-OCR parvient à reconstruire le texte original à partir de cette seule image à la volée au moment de l’utilisation du modèle.

Pourquoi c’est une avancée majeure ?

Parce qu’elle repousse, une nouvelle fois, les limites de mémoire des modèles de langage. Techniquement, leur pipeline repose sur : ➡️ un encodeur visuel combinant SAM (Meta) et CLIP (OpenAI) pour capter les détails et la structure globale, ➡️ un décodeur linguistique de 3B de paramètres, optimisé pour retransformer l’image compressée en texte clair.

Les résultats sont plutôt impressionnants : ➡️ 95 % de fidélité avec une compression ×10, ➡️ 60 % encore exploitables à ×20, et une efficacité énergétique spectaculaire (une seule carte A100 peut traiter >200 000 pages/jour).

Pourquoi c’est clé pour les #SLM comme #LUCIE et l’IA souveraine que nous visons. Cette approche change la donne pour les modèles compacts et les architectures hybrides multimodales : ➡️ Offrir à un SLM une “mémoire étendue” sans explosion du coût en tokens ➡️ Permettre des contextes de plusieurs millions de tokens équivalents sans infrastructures titanesques. ➡️ Et à terme, simuler une mémoire hiérarchisée : les données anciennes recompressées, les récentes en texte natif.

Pour celles et ceux qui, comme nous, travaillent sur des modèles ouverts et frugaux, cette approche pourrait devenir un levier décisif pour créer des IA plus efficaces, plus accessibles et surtout plus sobres.

Chez LINAGORA, nous allons rester le modèle avec Andrzej Neugebauer et voir son efficacité en particulier pour enrichir notre pipeline d’injection dans notre projet https://www.open-rag.ai/.

Le code de DeepSeek-OCR est disponible en open source sur GitHub et Hugging Face.

Un nouveau pas vers une IA plus intelligente… ;-)

#IA #DeepSeek #SLM #OpenSource #SouveraineteNumérique