ControlNet est une famille de réseaux neuronaux finement ajustés sur la diffusion stable qui nous permet d’avoir un meilleur contrôle structurel et artistique sur la génération d’images. Il peut améliorer les modèles de diffusion stable par défaut avec des conditions spécifiques à la tâche.
L’introduction de données supplémentaires a le potentiel d’influencer la configuration, le style et le contenu de l’image finale. Ce modèle repose sur Stable Diffusion, une approche largement adoptée pour la création de photographies de grande qualité. ControlNet Stable Diffusion présente certaines limitations. Premièrement, il souffre d’un manque de polyvalence étant donné qu’il produit uniquement des images conformes à des normes spécifiques. Deuxièmement, ce modèle est complexe, exigeant des utilisateurs de fournir une grande quantité d’informations pour générer une image.
Comment utiliser?
Imaginons que nous trouvions une image où la pose de la personne nous plaît. Maintenant, nous voulons générer quelque chose de différent mais avec la même pose. ControlNet peut aider. Ceci est particulièrement utile dans les situations où les gens savent quelle forme et quelle structure ils souhaitent, mais veulent expérimenter en variant la couleur, l’environnement ou la texture des objets.
Voici quelques exemples de ce que vous pouvez faire avec ControlNet Stable Diffusion :
1.Générer des images correspondant à un texte spécifique : Par exemple, vous pouvez générer l’image d’un chat jouant avec une pelote de laine.
2.Générer des images qui correspondent à une image spécifique : Par exemple, vous pouvez générer une image d’un paysage qui ressemble à celui de votre peinture préférée.
3.Générer des images correspondant au style d’un artiste spécifique : Par exemple, vous pouvez générer une image qui ressemble à celle peinte par Vincent van Gogh.
4.Générer des images correspondant au style d’un modèle d’IA spécifique : Par exemple, vous pouvez générer une image qui semble avoir été créée par le modèle DALL-E.
5.Générer des codes QR pour l’IA : Vous pouvez utiliser ControlNet Stable Diffusion pour transformer des codes QR ennuyeux en images étonnantes. Vous pouvez apprendre comment créer des codes QR AI à l’aide de ControlNet Stable Diffusion en consultant l’article correspondant
Pour mettre en œuvre ControlNet Stable Diffusion, vous aurez besoin d’une copie du modèle ainsi que d’une unité de traitement graphique (GPU). Le site Stable Diffusion offre la possibilité de télécharger gratuitement le modèle, lequel peut ensuite être utilisé pour générer des images en utilisant soit du texte, soit des images en entrée.
Par exemple, vous pouvez utiliser le texte: une femme avec les mains jointes en position de prière.Après cela, pour générer une image, il vous suffira de fournir la taille souhaitée de l’image.
Le modèle se chargera ensuite de créer une image appropriée en fonction du texte ou de l’image que vous avez fourni. Vous aurez également la possibilité de modifier les paramètres du modèle afin d’améliorer la qualité et l’attrait de l’image finale. ControlNet Stable Diffusion offre la flexibilité de modifier plusieurs paramètres, tels que :
- Largeur
- Hauteur
- Système de notation pour le CFG (Context-Free Grammar)
- Somme des lots (Batch sum)
Comment installer ControlNet?
Que vous utilisiez un Mac ou un ordinateur Windows, vous pouvez exploiter ControlNet en conjonction avec AUTOMATIC1111. Si vous n’avez pas encore installé AUTOMATIC1111, veuillez le faire en suivant les instructions fournies dans cet article. Assurez-vous également que vous disposez de la dernière version d’AUTOMATIC1111 si vous l’avez déjà installé.
Pour installer l’extension ControlNet sur Windows/Mac, suivez ces étapes :
- Rendez-vous sur la page des extensions en naviguant dans le menu.
- Sélectionnez l’onglet intitulé « Installer à partir de l’URL ».
- Remplissez le champ « URL pour le dépôt de l’extension » avec cette URL.
- Choisissez « Installer » dans le menu.
- Attendez la notification confirmant l’installation réussie de l’extension.
- Lancez à nouveau AUTOMATIQUE1111.
- Accédez à la page des modèles ControlNet.
- Téléchargez chaque fichier modèle (extension de fichier .pth). (Si vous ne souhaitez pas tous les télécharger, vous pouvez opter pour les modèles les plus populaires, tels que « openpose » et « Canny » pour le moment.)
- Placez le(s) fichier(s) modèle(s) dans le répertoire dédié à l’extension ControlNet.
- Redémarrez l’interface utilisateur Web d’AUTOMATIC1111.
