J'ai étudié les LLM pendant 6 mois (et j'ai enfin compris comment ChatGPT fonctionne)

Vous avez essayé de comprendre comment fonctionnent les LLM. Soit on vous dit "ça prédit le mot suivant, comme le clavier de votre téléphone" et vous ressortez frustré. Soit on vous balance des équations et du jargon de chercheur, et vous abandonnez.

Dans cette vidéo, je vous emmène dans le parcours complet d'un token, de l'entrée à la sortie, étape par étape. Pas de vulgarisation creuse, pas d'équations sans explication. L'objectif : que vous ayez une compréhension presque physique, corporelle, de ce qui se passe à chaque étape dans un LLM.

Le parcours complet d'un token : tokenisation, embedding, positional encoding, attention, feed-forward, prédiction. → Ce que sont les 7 000 paramètres qui décrivent chaque token (et pourquoi ça suffit à capturer le sens d'un mot). → Comment fonctionne l'attention : query, key, value et pourquoi certains mots "regardent" d'autres mots dans la phrase. → Ce que fait le multi-head attention : 128 têtes qui cherchent chacune un type de relation différent. → Le rôle du feed-forward network : les questions que chaque neurone pose au token pour enrichir sa représentation. → Comment les 61 couches successives ajoutent de la compréhension, du lexique basique jusqu'à l'intention de réponse. → Pourquoi tout ça produit de l'intelligence (et pourquoi même ceux qui comprennent trouvent ça magique).

Au programme

• 00:00 — Introduction : pourquoi cette vidéo existe
• 02:34 — Le papier "Attention Is All You Need" (2017)
• 05:37 — Vue d'ensemble : les étapes d'un LLM
• 07:01 — Le principe de base : prédire le mot suivant
• 08:43 — Étape 1 : la tokenisation
• 10:42 — Étape 2 : l'embedding (7 000 paramètres par token)
• 13:27 — Visualiser les tokens dans l'espace 3D
• 15:57 — Étape 3 : le positional encoding
• 18:44 — Les blocs Transformer : attention + feed-forward (x61)
• 20:30 — Étape 4 : la masked multi-head attention (query, key, value)
• 27:00 — Exemple concret : "Elon Musk a fondé SpaceX en 2002"
• 30:00 — Étape 5 : les residual connections et la normalisation
• 32:00 — Étape 6 : le feed-forward network
• 37:00 — Exemple géométrique : le mot "chat" qui bouge dans l'espace

Regarder la vidéo sur YouTube · S’abonner à la chaîne

Vidéo publiée le 27/05/2026. Les informations et les outils présentés correspondent à cette date. La description complète et les ressources sont disponibles sur YouTube.