ComfyUI

Es gibt verschiedene Umgebungen, mit denen man Bilder und Videos mithilfe von vor-trainierten Modellen erzeugen kann. In diesem Beitrag fasse ich meine Erfahrung mit ComfyUI zusammen.

ComfyUI ist eine knotenbasierte Benutzeroberfläche (GUI) für die Inhaltserzeugung unter Verwendung von Stable Diffusion. Man kann einen Arbeitsablauf zur Bilderzeugung aufbauen, indem verschiedene Blöcke (bzw. die Knoten) miteinander verbunden werden.

Setup

Die Einrichtung von ComfyUI wird hier recht anschaulich beschrieben. Ich empfehle jedoch, auf einen Docker Container zurückzugreifen, da so ComfyUI unabhängig vom Betriebssystem ausgeführt werden kann. Bei der Auswahl des richtigen Images sollte berücksichtigt werden, ob ComfyUI mit einer (Nvidia) Grafikkarte beschleunigt werden soll oder nicht. Ist dies der Fall, kann z.B. das Image ComfyUI (NVIDIA) Docker wie folgt geladen werden:

docker pull mmartial/comfyui-nvidia-docker

Gestartet wird der Container dann wie folgt:

docker run \
    --rm \
    -it \
    --runtime nvidia \
    --gpus all \
    -v `pwd`/run:/comfy/mnt \
    -e WANTED_UID=`id -u` \ # 99
    -e WANTED_GID=`id -g` \ # 100
    -e SECURITY_LEVEL=normal \
    -p 8188:8188 \
    mmartial/comfyui-nvidia-docker:latest

Mit der Umgebungsvariable COMFY_CMDLINE_XTRA können noch weitere Einstellungen vorgenommen werden, aber darauf kann anfangs verzichtet werden. Beim erstmaligen aufrufen wird ein Server gestartet, die notwendigen Dateien automatisch heruntergeladen und danach ist die Benutzeroberfläche über http://localhost:8188/ (oder http://127.0.0.1:8188/) abrufbar.

Überblick

Wie vorstehend schon erwähnt, werden bei ComfyUI Knoten verwendet, um den Bildererzeugungsprozess zu steuern.

Resourcen

Beginner’s Guide to ComfyUI