🌟 Cours spécifiques 🌟

Ce cours présente des concepts très intéressant à comprendre mais non essentiels dans une pratique courante du deep learning. Si vous êtes intéressé par comprendre le fonctionnement d'un réseau de neurones de manière plus approfondie et de découvrir la raison de l'utilisation de techniques comme la BatchNorm, les connexions résiduelles, les optimizers, le dropout, la data augmentation etc ..., ce cours est fait pour vous !

Notebook 1️⃣ : Activation et initialisation

Ce notebook présente les considérentions importantes à prendre en compte lors de l'initialisation d'un réseau de neurones.

Notebook 2️⃣ : BatchNorm

Ce notebook introduit un détail la batch normalization en présentant ses intêrets et son implémentation.

Notebook 3️⃣ : Data augmentation

Ce notebook présente la data augmentation et son utilité pour l'entraînement des réseaux de neurones.

Notebook 4️⃣ : Broadcasting

Ce notebook présente les broadcasting rules de pytorch qui sont des règles sur la manipulation des tenseurs torch. Ces règles sont très importantes à maîtriser.

Notebook 5️⃣ : Optimizer

Ce notebook décrit les différents optimizer utilisables pour entraîner un réseau de neurones.

Notebook 6️⃣ : Régularisation

Ce notebook présente en détails deux méthodes de régularisation : le régularisation L2 et le dropout.

Notebook 7️⃣ : Connexions Résiduelles

Ce notebook introduit les connexions résiduelles et leurs utilités pour l'entraînement de réseaux de neurones profonds.

Notebook 8️⃣ : CrossValidation

Ce notebook introduit la méthode de cross validation pour évaluer les modèles et détecter l'overfitting.

Notebook 9️⃣ : Metriques Evaluation

Ce notebook introduit différents métriques que l'on peut utiliser pour évaluer son modèle.

Notebook 1️⃣0️⃣ : Tokenization

Ce notebook introduit la tokenization en expliquant le fonctionnement, les limitations et en proposant une implémentation du byte-pair encoding.

Notebook 1️⃣1️⃣ : Quantization

Ce notebook introduit la quantization et les méthodes de fine-tuning de modèles LLM. La première partie décrit les différentes forme de quantization et la théorie derrière. La dernière partie introduit les méthodes LoRA et QLoRA pour le fine-tuning.