Comment utiliser Stable Diffusion ? Le guide complet

Vous voulez créer des images générées par l’intelligence artificielle ?

Vous voulez savoir comment faire fonctionner Stable Diffusion sur votre ordinateur ?

Pas besoin d’être un expert pour obtenir d’excellents résultats gratuitement.

Stable Diffusion est accessible soit en se rendant sur un site qui donne directement accès au modèle, soit en utilisant un service Cloud ou bien en téléchargeant le modèle sur son ordinateur pour interagir avec en codant ou par une interface graphique.

Je vous explique tout sur comment dans ce tutoriel gratuit sur la génération d’images avec Stable Diffusion !

Vous voulez en apprendre plus sur les générateurs d’images par l’IA ? Alors mon classement des meilleurs générateurs d’images par l’intelligence artificielle vous intéressera sûrement !

Qu’est-ce qu’est Stable Diffusion ?

Stable Diffusion est un modèle de deep learning open-source qui permet de générer des images à partir de texte ou d’autres images. Le modèle a été publié en 2022 par Stability AI en utilisant des techniques de diffusion.

💡 En machine learning, les modèles de diffusion sont des modèles d’apprentissage qui permettent d’obtenir des meilleurs résultats à chaque itération en partant d’un élément qui ne ressemble à rien.

Vous avez peut-être essayé Stable Diffusion gratuitement sur des sites mais les résultats n’étaient pas terribles.

Dans ce tutoriel, on va voir comment utiliser Stable Diffusion correctement pour avoir des résultats de haute qualité.

Comment utiliser Stable Diffusion en ligne ?

Il existe de nombreux sites pour utiliser Stable Diffusion en ligne. L’entreprise derrière le modèle, Stability AI, propose un générateur gratuit sur son site DreamStudio.

Vous pouvez facilement trouver d’autres sites en utilisant un moteur de recherche !

Comment installer Stable Diffusion ?

Stable Diffusion ne s’installe pas, c’est un modèle qu’on peut télécharger et puis exploiter en utilisant du code.

Si vous ne savez pas coder, pas de panique, des développeurs ont créé des interfaces graphiques pour pouvoir utiliser Stable Diffusion depuis un site web que vous lancez sur votre ordinateur ou bien depuis le cloud.

Le projet le plus tendance du moment pour utiliser Stable Diffusion en interface graphique est stable-diffusion-webui par AUTOMATIC1111.

Voyons ensemble comment l’installer sur votre machine.

1. Installer Python

Pour pouvoir faire tourner AUTOMATIC1111, vous devrez avoir Python d’installé sur votre machine. Si ce n’est pas encore le cas, j’ai écrit un tutoriel complet pour vous aider à installer Python que vous soyez sur Windows, Mac ou Linux.

💡 Si vous êtes sur Windows, n’oubliez pas d’ajouter Python à vos variables d’environnement (PATH).

2. Installer Git

Ensuite, il va falloir installer Git pour récupérer les sources du projet. Pas de panique, Git peut s’installer en interface graphique facilement depuis le site officiel de git.

3. Cloner l’interface web de Stable Diffusion par AUTOMATIC1111

Maintenant que vous avez Python et Git d’installés, on va pouvoir passer aux choses sérieuses.

Vous pouvez soit télécharger les sources directement, soit passer par git.

Option 1 : En téléchargeant les sources

Vous pouvez télécharger AUTOMATIC1111 directement en fichier .zip depuis le github officiel. Rendez vous sur cette page, prenez la dernière release stable et téléchargez le fichier Source code (zip)

Option 2 : Avec Git

D’abord, il faudra vous rendre sur le repo de AUTOMATIC1111 et copier la commande git clone, ou bien simplement copié cette ligne :

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

Ensuite, rendez vous dans un dossier où vous allez faire vos images.

Faites un clic droit, puis “ouvrir le terminal”.

Finalement, collez la commande que vous avez copiée au préalable git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

4. (Optionnel) Télécharger le modèle Stable Diffusion

Cette étape est optionnelle car AUTOMATIC1111 téléchargera Stable Diffusion 1.5 de base la première fois que vous lancerez le programme.

Si vous voulez utiliser un modèle particulier, je vous conseille de vous rendre sur un site comme Hugging Face ou Civitai pour télécharger le modèle Stable Diffusion.

Ensuite, vous pouvez placer le modèle de votre choix dans /models/Stable-diffusion, collez le fichier .ckpt ou .safetensors.

5. Lancer Stable Diffusion

Si vous souhaitez utiliser le modèle de Stable Diffusion de base (SD1.5), alors vous pouvez lancer AUTOMATIC1111 directement en double cliquant sur le fichier run.bat pour Windows, ou webui.sh pour Mac.

🍎 Si vous êtes sur Mac avec un processeur Apple Silicon, vous devrez rajouter les lignes suivants dans le fichier webui-user.sh :

export COMMANDLINE_ARGS="$COMMANDLINE_ARGS --skip-torch-cuda-test --upcast-sampling --opt-split-attention --lowvram --no-half --use-cpu all"

• Un terminal s’ouvre et va installer tout ce dont vous avez besoin
• Rendez-vous sur l’url 127.0.0.1:7860
• Gardez le terminal ouvert

Vous pouvez garder Stable Diffusion à jour en double cliquant sur le fichier update.bat pour Windows, ou bien avec la commande git pull.

Bravo 🎉 ! L’interface graphique AUTOMATIC1111 pour Stable Diffusion tourne sur votre machine !

Comment configurer Stable Diffusion ?

Pour configurer Stable Diffusion et obtenir des résultat personnalisés il faut s’appuyer sur les prompts, le modèle, les extensions de modèles (Lora ou Low-Rank Adaptation) et les paramètres comme le nombre d’itérations (steps), le sampler, la seed ou la guidance scale.

Maintenant que AUTOMATIC 1111 est installé sur votre machine, découvrons son interface ensemble.

L’interface est composée de plusieurs parties, voyons tous les inputs ensemble :

• Stable Diffusion checkpoint est le modèle que vous utilisez, ici Stable Diffusion 1.5.

• Le champs de texte Prompt (press Ctrl+Enter or All+Enter to generate) est le seul prompt requis pour pouvoir créer une image. Écrivez le prompt que vous voulez et une image apparaîtra.

• Negative prompt (press Ctrl+Enter or Alt+Enter to generate) : permet de définir des choses qu’on ne veut pas voir sur les images

• Sampling method : c’est l’algorithme de diffusion, certains sont plus optimisés que d’autres.

• Sampling steps : le nombre de fois que l’intelligence artificielle modifie votre image. Plus ce nombre est élevé, plus vous aurez de détails et de créativité mais plus le temps de calcul augmente.

• Restore faces : Permet d’éviter les figures buguées.

• Tiling : Permet de répéter des patterns.

• Hires. fix : Permet d’éviter des résultats bugués quand les dimensions de votre images sont supérieures à 512x512px.

• Width : La largeur de l’image.

• Height : La hauteur de l’image.

• Batch count : Le nombre de fois que l’algorithme va s’exécuter.

• Batch size : Le nombre d’images générées à chaque fois que l’algorithme est exécuté.

Le nombre d’images crées est égale à Batch count x Batch size.

• CFG Scale : Plus ce nombre est haut, plus l’algorithme respecte votre prompt. Plus il est bas, plus l’algorithme est créatif.

• Seed : C’est un nombre aléatoire qui permet la variation. Vous pouvez régénérer une image à partir de ce nombre.

• Script : Il est possible d’utiliser des scripts pour utiliser plusieurs paramètres et variations. Les résultats sont sous forme de tableau.

Que sont les LoRA ?

Les modèles LoRA sont des petits modèles pour Stable Diffusion qui permettent d’obtenir des résultats spécifiques en addition du modèle. Les fichiers LoRA sont généralement bien plus petits que ceux des modelés checkpoint de Stable Diffusion (quelques centaines de Mo tout au plus).

Certains types de LoRA permettront d’ajouter un style particulier à vos images, d’autres vous permettront de créer des images d’un tout autre univers comme celui de votre animé ou jeu vidéo préféré.

Comment aller plus loin avec Stable Diffusion ?

Si vous voulez aller plus loin dans les possibilités de Stable Diffusion, il existe des sites sur lesquels vous pourrez trouver des modèles et des LoRa ainsi que les paramètres utilisés pour obtenir un certain résultat.

Hugging Face

Hugging Face est un site qui permet de partager des modèles et d’autres data set pour le machine learning. C’est un peu comme le github pour l’IA.

Vous pourrez y trouver de nombreux modèles basés sur Stable Diffusion.

Civitai

Sur Civitai vous trouverez des modèles, des LoRa, tous les prompts et configurations pour obtenir des résultats précis.

L’avantage est que vous pouvez voir le rendu final des images et puis télécharger les modèles nécessaires et les avoir les bons inputs pour générer une image similaire !

Lexica.art

Lexica.art est un autre site sur lequel vous pouvez trouver des prompts pour générer des images.

Lexica propose son propre modèle ainsi que 3 plans payants pour générer des images.