La plupart des méthodes survolées ci-dessous sont un peu plus avancées. Elles peuvent souvent être combinées et visent à offrir encore plus de contrôle sur la génération.
On peut créer des dallages à appliquer comme texture à transférer, que ce soit comme papier peint, textile, ou sur un modèle 3D. À noter que cette fonctionnalité n’est pas bien supportée par les architectures plus récentes mais on peut l’utiliser avec Stable Diffusion 1.5.
illustration of flowers, seamless, colors neon, high resolution
Répétition du motif
ControlNet est une famille de modèles visant à augmenter le contrôle sur l’influence de la génération en ajoutant des conditions comme la détection de contours, de profondeur, de pose, parfois en différentes versions. Attention, les modèles récents de génération d’images ne supportent pas toujours toute la liste des ControlNet ci-dessous. C’est parfois une raison suffisante pour retourner à des modèles précédents qui ont un plus grande compatibilité.
Voici un premier exemple d’exploration de rendus à l’aide d’un dessin en perspective:
Images générées par Édith Mallet, enseignante de design d’intérieur au CVM. Une vue en perspective d’un corridor a servir de base pour influencer la génération.
Ci-dessous, un exemple où un paysage est transformé en une scène différente, de composition similaire.
Image originale Bryce Canyon Hoodoos par Jonathan Zander
Interprétation de la carte de profondeur l’image originale (Depth Zoe)
forest and statues, mood fantasy, perspective low angle, cinematic, high resolution
Plusieurs options sont listes dans le tableau ci-dessous. Celui-ci n’est pas exhaustif vu l’évolution rapide de ces modèles mais fait un survol des possibilités.
| ControlNet | Fonction | Usages | Modèles supportés |
|---|---|---|---|
| Scribble/Sketch | Interprète une image dessinée sommairement. | Convertir un croquis rapide en image. | SD1.5, SDXL |
| Canny | Détection de contours nets d’une image. | Transformer un croquis en illustration colorée sans perdre les formes originales. | SD1.5, SDXL, Flux |
| Line Art + Line Art Anime | Détecte les traits noirs. | Colorier automatiquement un dessin au trait sans déformer les contours originaux. | SD1.5, SDXL |
| M-LSD Lines | Détection de lignes droites et ignore les courbes. | Génération à partir de plans, scènes intérieures, villes, etc. Générer une pièce futuriste à partir d’un simple plan architectural dessiné à la main. | SD1.5, SDXL |
| Soft edge (HED, Pidi) | Détecte des contours doux et progressifs. | Re-styliser ou re-colorer une photo portrait en gardant les volumes doux et naturels. | SD1.5, SDXL, Flux |
| Pose | Détecte la pose d’un personnage. | Créer des variantes d’un personnage dans une pose précise. | SD1.5, SDXL |
| Semantic Segmentation | Décompose l’image en zones (ciel, sol, humain...). | Re-styliser séparément le ciel, les bâtiments et les personnages dans une seule image. | SD1.5, SDX |
| Depth Base, MiDaS, LeReS, Zoe | Détecte la profondeur à partir d’une image de façon plus ou moins précise selon les méthodes. | Transformer une photo en version stylisée tout en gardant l’effet de perspective 3D. | SD1.5, SDXL, Flux |
| Normal Map | Détection de l’orientation des surfaces. Conserve mieux la géométrie et les détails plus fins. | Générer une sculpture réaliste à partir d’un rendu de modèle 3D. | SD1.5, SDXL |
| Inpaint | Conserve la structure pour remplir des zones masquées. | Réparer une ancienne image en gardant la cohérence. | SD1.5, SDXL |
| Tile | Divise l’image en carreaux et extrait la structure spatiale pour guider vers une plus grande résolution. | Agrandissement, re-stylisation | SD1.5, SDXL |
| Shuffle | Mélange des parties de l’image pour l’abstraire. | Déstructurer une image pour en générer une autre en conservant une similitude stylistique. | SD1.5 |
| IP-Adapter | Encode et extrait les caractéristiques d’une image de référence pour l’intégrer (élément ou style). | Plusieurs exemples inclus ci-dessous. | SD1.5, SDXL, Flux |
| Instruct pix2pix (ip2p) | Permet de modifier une image à l’aide d’une instruction en langage naturel. | Transformer une image prise le jour en image prise la nuit. | SD 1.5 |
