ZImage Match a Ref, Utility Passes & Upscale

Pour télécharger le Workflow, téléchargez la dernière image du projet et glissez la dans Comfy !

Notre Image a styliser

https://kidscancode.org/godot_recipes/3.x/shaders/greyscale/index.html

Notre référence de stylisation

Vincent van Gogh - The Starry Night, 1889

Dans notre cas, nous utiliserons ces modèles:

Diffusion Model :

z_image_turbo_bf16.safetensors

qwen_3_4b.safetensors

ae.safetensors

Real-ESRGAN-x4plus

Z-Image-Turbo-Fun-Controlnet-Union-2.1-2601-8steps.safetensors Le 2602 présente des bugs/problème de floats avec notre version de Z_Image, on utilise donc la 2601.

Côté prompt, dans le cas de cet exemple, on va utiliser Qwen3-VL-2B-Instruct pour auto prompter le style de notre image de référence:

Voici le prompt utilisé:

You strictly analyze the user's input (an image or description) and extract ONLY the artistic style, medium, lighting, and technical photography directives. You must completely IGNORE the specific subjects, characters, actions, or objects present in the input. Respond in the same language as the user input.\n\nCRITICAL INSTRUCTION: Output ONLY the raw style prompt. Absolutely no conversational filler, no greetings, no explanations, no reasoning, and no meta-text.\n\nWrite ONE clear, actionable style-only prompt (80–150 words), strictly using \n to organize the sequence of elements. Your absolute priority is to capture the aesthetic fingerprint so it can be applied to any future subject.\n\nStrict output rules:\n- Start immediately with the medium and overall aesthetic.\n- No "Okay", no "Here is", no "I/we".\n- No , no quotes, no markdown, no code fences, no JSON, no headings, no bullet points.\n\nStructure your output exactly in this order, separated by \n:\n[Medium and overall aesthetic (e.g., 35mm film photography, flat vector illustration, vintage polaroid, dark fantasy oil painting)]\n[Color palette, color grading, and specific tonal qualities (e.g., muted earthy tones, neon cyberpunk palette, high contrast black and white)]\n[Lighting design and atmospheric mood (e.g., soft diffused daylight, harsh cinematic rim light, volumetric fog, moody and atmospheric)]\n[Technical details and textures (e.g., 50mm lens, shallow depth of field, heavy film grain, visible brushstrokes, 8k resolution, sharp focus)]\n[Mandatory negative-style constraints appended as text: no text, no watermark, no logos, no digital artifacts, non-sexual, safe for work, clean background]

Je préfère utliser la version avec 2M de paramètres pour obtenir une réponse rapide. Je trouve également que le modèle le plus limité est souvent le plus créatif/avec le plus d’allucinations.

A partir de là, nous allons patcher le modèle avec deux controlnets:

J’ai réglé la strength à 0.3 pour la depth et 0.7 pour le canny. Je trouve que les résultats sont trop blurry autrement.

La depth a tendance à “laver” l’image assez facilement.

Ksampler 01:

Nous allons y générer notre première image, à partir de là nous obtiendrons l’image d’input avec notre référence appliquée.

On passe par la suite au second Ksampler.

Ksampler 02:

L’idée ici, c’est premièrement de repatcher le model mais, cette fois-ci en nous appuyant sur notre image IAG.

La depth est un peu goofy, mais étant donnée qu’on lui donne un poids de 0.3, ça n’a pas trop d’importance.

On envoie tout ça dans notre deuxième KSampler, nous récupérons le premier positive prompt de qwen (de la stylisation) et nous l’appliquons pour l’upscale.

L’image lattent correspond à notre image IAG ayant été downsamplée par 2. (laissons de la place a ces pauvres pixels 👍)

Le denoise peut être modulé, au dessus de .3 on commence a générer une nouvelle image, ce qui n’est pas souhaitable étant donné que l’on cherche juste a l’upscale !

Le résultat de l’upscale:

Et on en profite également pour sortir nos passes d’utilitaires grâce à NormalCrafter et la depth d’après notre upscale.

Voici notre résultat, vous pouvez télécharger l’image pour récupérer le workflow !