🗨️ NLP 🗨️
Ce cours est grandement inspiré de la série de vidéo de Andrej Karpathy "Building makemore" qui traîte les NLP avec une approche de prédiction du prochain token. Le cours aborde d'abord des modèles très simples pour avoir une intuition sur le traîtement de données discrètes avec un réseau neurones puis les modèles se complexifient petit à petit.
Notebook 1️⃣ : Introduction
Ce notebook introduit le concept de natural language processing (NLP), décrit le cours à venir et construit un dataset que l'on utilisera dans les notebooks suivants.
Notebook 2️⃣ : Bigramme
Ce notebook introduit l'architecture bigramme pour la prédiction du prochain caractère dans un objectif de génération de prénoms.
Notebook 3️⃣ : Réseau Fully Connected
Ce notebook implémente l'architecture d'un article scientifique utilisant un réseau fully connected pour la prédication du prochain caractère.
Notebook 4️⃣ : WaveNet
Ce notebook implémente l'architecture d'un article scientifique utilisant un wavenet pour la prédiction du prochain caractère.
Notebook 5️⃣ : RNN
Ce notebook présente le concept de réseau de neurones récurrents et propose une implémentation d'un réseau de neurones récurrents pour la prédiction du prochain caractère à partir des pièces de Molière.
Notebook 6️⃣ : LSTM
Ce notebook introduit l'architecture long short-term memory (LSTM) et l'implémente en pytorch pour la prédiction du prochain caractère.