🗨️ NLP 🗨️

Ce cours est grandement inspiré de la série de vidéo de Andrej Karpathy “Building makemore” qui traîte les NLP avec une approche de prédiction du prochain token. Le cours aborde d’abord des modèles très simples pour avoir une intuition sur le traîtement de données discrètes avec un réseau neurones puis les modèles se complexifient petit à petit.

Notebook 1️⃣ : Introduction

Ce notebook introduit le concept de natural language processing (NLP), décrit le cours à venir et construit un dataset que l’on utilisera dans les notebooks suivants.

Notebook 2️⃣ : Bigramme

Ce notebook introduit l’architecture bigramme pour la prédiction du prochain caractère dans un objectif de génération de prénoms.

Notebook 3️⃣ : Réseau Fully Connected

Ce notebook implémente l’architecture d’un article scientifique utilisant un réseau fully connected pour la prédication du prochain caractère.

Notebook 4️⃣ : WaveNet

Ce notebook implémente l’architecture d’un article scientifique utilisant un wavenet pour la prédiction du prochain caractère.

Notebook 5️⃣ : RNN

Ce notebook présente le concept de réseau de neurones récurrents et propose une implémentation d’un réseau de neurones récurrents pour la prédiction du prochain caractère à partir des pièces de Molière.

Notebook 6️⃣ : LSTM

Ce notebook introduit l’architecture long short-term memory (LSTM) et l’implémente en pytorch pour la prédiction du prochain caractère.