Génération d’images avec Diffusers

Contents

Génération d’images avec Diffusers#

Dans ce notebook, on va découvrir comment utiliser les modèles de diffusion avec la bibliothèque Diffusers de Hugging Face. Comme ces modèles sont très gourmands en calcul, on se contentera d’un petit exemple avec un modèle léger.

Implémentation#

On utilise le modèle small-stable-diffusion de OFA-Sys (OFA-Sys/small-stable-diffusion-v0).

from diffusers import DiffusionPipeline

diffuser = DiffusionPipeline.from_pretrained("OFA-Sys/small-stable-diffusion-v0") #"stabilityai/sdxl-turbo"

vae/diffusion_pytorch_model.safetensors not found
Loading pipeline components...:  29%|██▊       | 2/7 [00:01<00:03,  1.48it/s]The config attributes {'predict_epsilon': True} were passed to DPMSolverMultistepScheduler, but are not expected and will be ignored. Please verify your scheduler_config.json configuration file.
Loading pipeline components...: 100%|██████████| 7/7 [00:01<00:00,  4.05it/s]

La génération peut prendre quelques minutes, selon ton ordinateur.

outputAutre=diffuser("A car in the winter")

100%|██████████| 50/50 [03:01<00:00,  3.63s/it]

import matplotlib.pyplot as plt
print(outputAutre.images[0])
plt.imshow(outputAutre.images[0])
plt.axis("off")
plt.show()

<PIL.Image.Image image mode=RGB size=512x512 at 0x733D54E7F210>
../_images/6c45abba6edd2fcf58502c6d809d9acb7c343edc6d9c534124d729c8b5946583.png

Tu sais maintenant comment générer des images avec la bibliothèque Diffusers de Hugging Face.

Pour aller plus loin : Si tu veux en savoir plus sur les utilisations possibles des modèles de diffusion, je te conseille le cours gratuit “Prompt Engineering for Vision Models” sur deeplearning.ai. Tu y apprendras comment remplacer un objet sur une image en utilisant SAM et un modèle de diffusion.

Contents