DeepSeek V4 : le modele qui humilie les IA américaines
DeepSeek V4 vient de sortir. 1,6 trillion de paramètres, open source, entraîné sur des GPU Huawei (pas Nvidia), par une équipe 40 à 100 fois plus petite qu'OpenAI. Et les résultats rivalisent avec Opus et GPT-5.
Eliott MeunierDeepSeek V4 vient de sortir. 1,6 trillion de paramètres, open source, entraîné sur des GPU Huawei (pas Nvidia), par une équipe 40 à 100 fois plus petite qu'OpenAI. Et les résultats rivalisent avec Opus et GPT-5.
Dans cette vidéo, je décortique les innovations techniques qui rendent ce modèle aussi efficace : comment ils ont compressé le KV cache de 96 %, inventé un nouveau mécanisme d'attention en deux couches alternées, et découpé leur réseau de neurones en 256 experts spécialisés. Tout ça comparé au Transformer original de 2017.
Pourquoi DeepSeek V4 rivalise avec les meilleurs modèles pour une fraction du coût (jusqu'à 100x moins cher). → Le RoPE : pourquoi tourner les vecteurs au lieu de les étirer change tout pour le positional encoding. → Le MLA (Multi-head Latent Attention) : compresser le KV cache de 7 168 à 512 dimensions par token. → Le CSA : ignorer 99 % du contexte en sélectionnant uniquement les blocs pertinents avec un Lightning Indexer. → Le HCA : compresser 100 tokens en un seul bloc pour garder la vue d'ensemble. → Le Mixture of Experts : 256 experts spécialisés dont seulement 9 sont activés par token. → Pourquoi seulement 49 milliards de paramètres sont actifs sur les 1,6 trillion.
Au programme
- 00:00 — DeepSeek V4 : les chiffres qui impressionnent
- 02:18 — 3 semaines à lire le paper : ce que j'ai trouvé
- 04:16 — Benchmark : DeepSeek V4 Flash vs Pro vs Opus
- 07:19 — Les innovations sous le capot
- 08:20 — Rappel : tokenisation et embedding (identique à 2017)
- 10:18 — Innovation 1 : RoPE (Rotary Position Embedding)
- 16:00 — Innovation 2 : MLA (Multi-head Latent Attention) et compression du KV cache
- 19:18 — Innovation 3 : CSA (attention ciblée + Lightning Indexer)
- 22:09 — Innovation 4 : HCA (compression x100, vue satellite)
- 25:48 — Innovation 5 : Manifold Constraint Hyper Connections (stabilisation)
- 28:30 — Innovation 6 : Mixture of Experts (256 experts, 9 actifs par token)
Regarder la vidéo sur YouTube · S’abonner à la chaîne
Vidéo publiée le 06/06/2026. Les informations et les outils présentés correspondent à cette date. La description complète et les ressources sont disponibles sur YouTube.