Les modificateurs de prompt permettent d’obtenir un contrôle accru sur les sorties générées par les modèles de diffusion, notamment Stable Diffusion. L’étude de l’Université de Jyväskylä, réalisée sur trois mois par Jonas Oppenlaender, identifie des modificateurs qui améliorent la qualité et la cohérence des images lorsque appliqués à des invites textuelles.
Qu’est-ce qu’un prompt et pourquoi les modificateurs comptent ?
Un prompt est une entrée pour un modèle génératif. Le modèle traite ce texte et produit une variété de résultats - images, texte, audio, code, etc. Les modèles de diffusion, utilisés par Midjourney, DALL-E et SDXL, exploitent des processus de diffusion pour générer des images réalistes à partir d’instructions textuelles. Cependant, la clé du potentiel total réside dans l’art de la conception des prompts et des modificateurs, poids et paramètres associées.
La conception de prompt consiste à formuler des entrées concises et spécifiques qui guident les modèles de diffusion pour générer les sorties souhaitées. En affinant les entrées textuelles, les créateurs peuvent influencer le style, le contenu et l’esthétique générale des images générées. L’ingénierie de prompt pousse cela plus loin en utilisant des modificateurs, des poids et des paramètres pour atteindre des objectifs précis.
Les six modificateurs identifiés et leur rôle
Les modificateurs, tels que décrits dans les ressources associées au Stable Diffusion Prompt Book, permettent de changer le style, le format ou la perspective de l’image. Ils s’appliquent à des domaines variés et incluent des styles d’art, des techniques de photographie et des formes de rendu. Voici les grandes familles et exemples typiques :
- Artistes et styles (par exemple Portraits d’artistes; Landscape; Horror; Anime; Sci‑fi; Photographie; Concept artists) pour influencer l’esthétique et l’époque.
- Techniques avancées (HDR, UHD, 64K) pour augmenter la qualité perçue et le niveau de détail.
- Éléments de composition et de lumière (Environment, Lighting, Color, Mood, Composition) pour orienter la scène et l’ambiance.
- Promotion du réalisme ou de la stylisation via des combinaisons d’écoles artistiques ou de médiums (illustration, peinture à l’huile, rendu 3D, photographie).
- Paramètres et poids (Weights) pour accorder une importance variable aux éléments du prompt, et le recours aux parenthèses et crochets pour renforcer ou atténuer certains termes.
- Prompts négatifs pour exclure des éléments et équilibrer les résultats, en particulier avec les modèles v2.
Les modificateurs peuvent être combinés pour affiner les résultats: mélange d’auteurs, styles et techniques, ou embeddings textuels qui ajoutent des tonalités spécifiques. L’idée est que les premiers pas de diffusion - les étapes initiales - déterminent en grande partie la composition globale, puis les étapes ultérieures affinent les détails. Ainsi, il faut penser le prompt comme une structure hiérarchisée où les éléments initiaux guident fortement la direction générale.
Technique et structure du prompt: conseils pratiques
Pour démarrer, il faut répondre à des questions structurantes: médium (photo, peinture, illustration…), sujet, détails (éclairage, environnement, palette de couleurs), style artistique et type de photo. Cette approche aide à construire une phrase complète et précise comme « une peinture numérique d’un personnage … par un artiste connu ». L’ordre des mots compte: les concepts placés tôt dans la phrase ont plus d’impact. Il est recommandé de lister les concepts explicitement et de les présenter séparément plutôt que de tout combiner en une seule phrase.
Le prompt structuré typique peut suivre ce cadre: Medium + type de prise de vue - style/artiste - sujet - description - environnement - couleurs - lumière - caméra - humeur. L’ingénierie de prompt repose ensuite sur les modifiers, weights et paramètres pour optimiser le rendu.
Paramètres et principes opérationnels
Résolution et dimensions: la plupart des modèles sont entraînés sur 512x512 pixels, SDXL sur 1024x1024; des résolutions plus élevées nécessitent plus de VRAM et peuvent changer la composition malgré des couleurs similaires. Des upscalers permettent d’obtenir des images plus grandes sans modifier fondamentalement le contenu.
Classifier Free Guidance (CFG) et step count: CFG contrôle le degré de liberté créative par rapport au prompt. Des valeurs basses donnent plus de créativité, des valeurs élevées forcent le respect du prompt. En pratique, CFG autour de 7 est une bonne balance pour la plupart des prompts; des valeurs plus élevées (10-15) renforcent la précision, mais au-delà de 20 peuvent dégrader la cohérence. Plus le prompt contient de sujets, plus il peut être utile d’augmenter le CFG.
Seed et reproductibilité: le seed fixe le bruit initial; en conservant prompt et paramètres identiques, vous pouvez reproduire une image si vous réutilisez le même seed. Certains seeds donnent des résultats plus propres et plus conformes à ce que vous attendez.
Sampler et dénaturation: des différements samplers produisent des sorties avec des régimes temporels différents. DDIM est rapide et efficace pour des essais, tandis que d’autres comme Euler-a peuvent l’être tout aussi. Le choix du sampler influence le temps de génération et la texture.
Tokens et efficacité: les invites sont tokenisées; dans Stable Diffusion v1, la limite est de 75 tokens par prompt (les tokens ne correspondent pas directement aux mots). Si votre prompt dépasse cette limite, il peut être nécessaire d’organiser les éléments en chunks, ou d’utiliser BREAK pour débuter un nouveau segment. L’efficacité des mots et la position dans la phrase peuvent influencer fortement l’image finale.
Poids des éléments et parenthèses: les poids se manipulent via le syntaxe ::, par exemple (mot:2) ou ((mot)). Les parenthèses augmentent l’intensité; les crochets peuvent les diminuer. Le mélange de mots-clés (prompt scheduling) permet de faire évoluer l’influence d’un élément au fil des étapes de diffusion. Le premier mot-clé tend à guider la composition globale; les étapes initiales fixent l’ossature, les étapes ultérieures affinent les détails.
Prompts négatifs: ils permettent d’exclure des éléments indésirables et d’éviter les biais ou résultats non souhaités. Utiliser des prompts négatifs est particulièrement utile pour les modèles plus récents et lorsque vous souhaitez affiner la cohérence générale sans influencer directement le style.
Exemples et apprentissages
La recherche met en lumière que commencer par un prompt clair et détaillé, puis ajouter progressivement des mots-clés avec des poids équilibrés conduit à de meilleurs résultats. L’utilisation d’auteurs comme modificateurs peut produire des styles distinctifs, mais il faut être conscient des associations et biais potentiels - par exemple les poses et tenues qui accompagnent l’image lorsque l’on invoque des célébrités ou des artistes célèbres. L’utilisation d’emeddings, comme les embeddings textuels, peut ajouter des tonalités particulières (par exemple un ton sombre ou une ambiance urbaine). L’emploi de modèles personnalisés peut faciliter l’obtention d’un style spécifique, mais il faut évaluer l’interprétation des mots-clés dans chaque modèle.
Pour l’itération pratique, il est utile de générer plusieurs images à la fois et de n’ajouter qu’un ou deux mots-clés à la fois pour observer les effets sans surcharger le prompt. La gestion des régions de l’image via des prompts régionaux est possible grâce à des extensions, ce qui permet de contrôler différemment des zones spécifiques de l’image.
Utilisations et considérations éthiques
Les résultats dépendent fortement des données de formation et des associations entre mots et images. Les biais et stéréotypes peuvent apparaître lorsque l’on mentionne des noms d’artistes ou des célébrités, car leur pose, leur tenue ou leur contexte peuvent influencer le résultat. Le cadre éthique invite à réfléchir à la représentation, à la propriété intellectuelle et à l’appropriation stylistique lors de l’utilisation d’auteurs ou d’interprétations visuelles issus de sources variées.
La flexibilité des modificateurs et des modèles personnalisés ouvre des perspectives créatives, mais demande aussi une approche responsable et une évaluation continue des résultats pour éviter les biais et les contenus inappropriés.
Tableau: paramètres clés et effets observés
| Paramètre | Effet typique |
|---|---|
| CFG | Crée un équilibre entre créativité et conformité au prompt |
| Step count | Plus de détails avec plus d’étapes, mais plus lent |
| Resolution | Impact sur la qualité et l’échelle; nécessite plus de VRAM |
| Seed | Réplique possible avec seed identique |
| Weights | Contrôle l’importance des composants du prompt |
Vers une pratique avancée
Développer une méthode de prompt consiste à structurer une vérification itérative: démarrer par un prompt simple, générer plusieurs variantes, puis affiner par petites additions ou ajustements de poids. L’usage d’extensions comme le Regional Prompter peut offrir un contrôle spatial accru. En outre, tester des combinaisons d’artistes, de styles et de médiums peut aider à découvrir des directions esthétiques nouvelles tout en restant conscient des limites et des biais possibles.
