Nous faisons nos premiers pas en texte à image à l’aide de ComfyUI, mais les grands principes restent les mêmes sur diverses plateformes. Pour ce processus, nous utiliserons Stable Diffusion XL (SDXL), entraîné sur des images d’environ 1024 pixels. Avant d’explorer chaque composante, voici un aperçu général:

Chargement d’un modèle

Un premier nœud Load Checkpoint nous permet de charger un modèle stocké sur le disque dur. Celui-ci a typiquement trois extrants: Model, CLIP, VAE

Model est le “cerveau” qui guidera la génération. Il est important de consulter la documentation existante des modèles utilisés. Par exemple, pour connaître le format d’image sur lequel le modèle a été entraîné.
CLIP est un encodeur de texte qui traduira nos requêtes en jetons et qui nous permettra d’influencer la génération d’image en écrivant une invite (prompt) positive ou négative.
VAE sert à la conversion entre les pixels et l’espace latent, là où les transformations ont lieu. Lorsqu’on encode des images dans l’espace latent, elles sont réduites par huit. Il est donc préférable d’utiliser des formats d’images qui en sont des multiples (256, 512, 1024 pixels, etc.).

Ces trois composantes peuvent aussi être chargées séparément dans certains cas, à l’aide de trois nœuds à la place d’un seul.

Comment choisir quel modèle utiliser?

Le choix de modèles ou d’encodeurs dépend généralement de l’usage qu’on veut en faire. On retrouvera souvent différentes saveurs de modèles entraînés sur une base. Certains ont une meilleure adhérence aux requêtes, une plus grande étendue de concepts, une meilleure versatilité stylistique, ou sont simplement mieux documentés. En général, on retrouve ces modèles sur le site Hugging Face. Pour voir les modèles qui ont présentement la cote, consultez le tableau d’honneur des modèles texte à image.

Dans le cadre de l’atelier Génération d’images par IA: Bases et enjeux, j’utilise principalement Juggernaut X basé sur Stable Diffusion XL pour sa versatilité. Sa structure de requête précise qui permet d’utiliser certains termes clés qui délimitent mieux les couleurs, la composition, et plus. Stable Diffusion XL, sur lequel Juggernaut X est basé, supporte aussi une grande quantité de ControlNet, ce qui n’est pas le cas pour des modèles plus récents qui offrent une meilleure adhérence et qualité d’image comme Flux ou Hi-Dream. Malgré que ces modèles soient ouverts, leur lourdeur fait que peu de contributeurs peuvent les améliorer.

Consultez bien les licences des images et modèles que vous utilisez. Certaines images qui sont typiquement libres de droit interdisent maintenant l’usage avec des outils d’IA (ex. licence Unsplash+). De plus, plusieurs modèles eux-mêmes interdisent différents usages, que ce soit la génération d’images à des fins commerciales, pour des fins de désinformation ou autres usages illicites.

</aside>

Encodage du texte

Dans un deuxième temps, deux nœuds CLIP Text Encode contenant des requêtes sont ajoutés. Le texte qu’ils contiennent formeront des influences positives ou négatives, selon leur entrée assignée dans le nœud suivant qui débruitera l’image.

Formuler une requête

La génération d'image requiert habituellement une requête ou prompt pour guider le résultat. Malgré qu'il est possible d'utiliser le français, les résultats sont souvent moins intéressants car les corpus de donnes sont plus communément étiquetés en anglais. Avoir une bonne culture visuelle bien nourrie et connaître les termes décrivant les aspects d’une image est important pour contrôler la génération.