🤝 Transfer learning et distillation 🤝

Ce cours présente deux concepts majeurs en deep learning : le transfer learning et la distillation des connaissances. La première partie de ce cours présente le transfer learning dans sa globalité puis propose une implémentation pratique. La seconde partie présente le concept de distillation des connaissances et ses variantes puis propose un cas d'application de la distillation des connaissances pour la détection d'anomalies non supervisée.

Notebook 1️⃣ : Transfer learning

Ce notebook introduit le concept de transfer learning et les utilisations possibles du transfer learning.

Notebook 2️⃣ : Transfer learning pytorch

Ce notebook présente un exemple de transfer learning pour la classification à partir d'un dataset contenant un nombre limité d'images.

Notebook 3️⃣ : Distillation

Ce notebook introduit le concept de distillation des conaissances en deep learning ainsi que les utilisations possibles de cette approche.

Notebook 4️⃣ : DistillationAnomalie

Ce notebook montre un exemple de distillation des connaissances pour la détection d'anomalies non supervisée.

Notebook 5️⃣ : Fine Tuning LLM

Ce notebook présente en détail l'architecture de BERT, un modèle conçu pour être finetune sur des tâches annexes.

Notebook 6️⃣ : Fine Tuning Bert HF

Ce notebook propose des exemples de finetuning du modèle BERT avec Hugging Face pour des tâches de token-level prediction et sentence-level prediction.