Updated: 5/28/2024
Vítejte! V tomto průvodci prozkoumáme vzrušující funkce ComfyUI IPAdapter Plus, také známého jako ComfyUI IPAdapter V2.
Modely IPAdapter jsou velmi silné pro image-to-image conditioning, umožňující snadný přenos subjektu nebo stylu referenčních obrázků na nové výtvory. Přemýšlejte o tom jako o 1-image LoRA.
Zavedení IPAdapter Plus (IPAdapter V2) přineslo spoustu nových funkcí zaměřených na zjednodušení procesu integrace modelu, zvýšení použitelnosti a rozšíření kreativních možností.
Je důležité poznamenat, že upgrade na ComfyUI IPAdapter Plus (IPAdapter V2) způsobí, že vaše předchozí pracovní postupy, které se spoléhají na uzel ComfyUI IPAdapter V1, přestanou fungovat. Proto budete muset své projekty znovu vybudovat pomocí ComfyUI IPAdapter Plus.
Budeme se zabývat:
Pokud máte zájem prozkoumat pracovní postup ComfyUI IPAdapter Plus (IPAdapter V2), použijte následující web ComfyUI. Je plně vybaven všemi nezbytnými zákaznickými uzly a modely, což umožňuje bezproblémovou kreativitu bez nutnosti ručních nastavení. Začněte okamžitě získávat praktické zkušenosti, nebo pokračujte v tomto tutoriálu, abyste se naučili, jak efektivně používat IPAdapter Plus.
Vstupy "Model" a "IPAdapter" uzlu "IPAdapter" jsou připojeny k výstupu uzlu "IPAdapter Unified Loader". Zde si můžete vybrat z různých modelů IPAdapter, z nichž každý je přizpůsoben různým požadavkům:
Vstup "Obrázek" uzlu "IPAdapter" je referenční obrázek použitý pro image-to-image conditioning. Zde uzel "IPAdapter" aplikuje své transformační schopnosti, měnící referenční obrázek na základě definovaných parametrů a funkcí modelu. Tento proces generuje nové obrázky, které dědí atributy z referenčního obrázku a kombinují je s kreativním potenciálem modelu IPAdapter.
S "Attn Mask" můžete zvýraznit specifické oblasti obrázku pro zaměřené zpracování nebo vést pozornost modelu, zlepšit nebo zachovat určité rysy obrázku při směrování pozornosti modelu.
Parametr "Váha" upravuje intenzitu aplikovaných změn; vyšší hodnoty vedou k výraznějším efektům, zatímco nižší hodnoty vedou k jemnějším změnám.
Parametry "Start At" a "End At" určují počáteční a konečné kroky, ve kterých jsou aplikovány efekty IPAdapter, což nabízí kontrolu nad zpracováním.
"Typ Váhy" pro aplikaci váhy během zpracovatelských fází se liší, každý ovlivňuje výstup odlišným způsobem:
Při práci s modely SDXL se model IPAdapter Plus bezproblémově integruje a automaticky se přizpůsobuje charakteristikám modelu SDXL. Je však nezbytné správně upravit latentní velikost, aby odpovídala požadavkům modelu SDXL.
Nabízející rozsáhlejší sadu funkcí, uzel ComfyUI IPAdapter Advanced zvyšuje kontrolu nad procesem generování prostřednictvím parametrů jako "Image Negative", "CLIP Vision", "Combine Embeds" a více možností "Weight Type", přibližující obrázky blíže vaší kreativní vizi.
Parametr "Image Negative" vám umožňuje definovat, co nechcete, aby se objevilo na finálním obrázku. Specifikováním negativních příkladů je model veden pryč od nežádoucích prvků, směrem k žádoucímu výsledku. Tato funkce je klíčová pro vyhýbání se specifickým tématům, objektům nebo vzorcům na generovaném obrázku, zajišťující, že výstup odpovídá vašim preferencím.
V uzlu "IPAdapter Advanced" najdete vstup "CLIP Vision". Ten se připojuje k výstupu uzlu "Load CLIP Vision", kde si můžete vybrat z různých modelů CLIP-ViT.
Hlavní rozdíl mezi CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors a CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors spočívá v jejich velikosti a potenciální schopnosti zvládat složitost, přičemž druhý je větší s 39 miliardami parametrů, což naznačuje, že může interpretovat nuancovanější text-obrátkové vztahy než první s 32 miliardami parametrů.
Ve srovnání s uzlem "IPAdapter" otevírá uzel "IPAdapter Advanced" více možností pro "typ váhy", každý ovlivňuje výstup odlišným způsobem:
Funkce "Combine Embeds" je nezbytná pro ty, kteří chtějí spojit vstupy z více zdrojů do jednoho soudržného vizuálního výstupu. Využitím "Combine Embeds" máte flexibilitu vytvářet obrázky, které zahrnují širokou škálu uměleckých vlivů a inspirací, což vede k opravdu personalizovaným a inovativním výtvorům. Metody poskytované pro kombinování embedů, jako Concat, Add, Subtract, Average a Norm Average, nabízejí různé přístupy k slučování těchto vlivů. Tyto budou podrobně prozkoumány v sekci 4, "Funkce ComfyUI IPAdapter Image Merge".
V uvedené konfiguraci jste si možná všimli absence modelu FaceID. Pro integraci modelu FaceID do vašeho pracovního postupu jsou zapotřebí dva specifické uzly: uzel "IPAdapter Unified Loader FaceID" a uzel "IPAdapter FaceID".
Při práci v uzlu "IPAdapter Unified Loader FaceID" můžete z rozbalovací nabídky dostupných modelů vybrat nejnovější "Face ID Plus V2". Tato akce instruuje loader, aby automaticky shromáždil a připravil všechny nezbytné závislosti unikátní pro model Face ID Plus V2.
Zvolte CPU jako poskytovatele. Navzdory potenciální dostupnosti vysoce výkonného GPU je doporučeno nakonfigurovat model Face ID tak, aby využíval CPU jako svého poskytovatele. Toto doporučení vychází z výhody zachování cenné Video RAM (VRAM), což je strategie, která se ukazuje jako výhodná a pomáhá optimalizovat celkovou efektivitu a účinnost přiřazení zdrojů vašeho projektu.
Jak používat více referenčních obrázků k vytvoření nového? Zde jsou dvě metody, jak toho dosáhnout s ComfyUI's IPAdapter Plus, poskytující vám flexibilitu a kontrolu potřebnou pro kreativní generování obrázků.
Pro začátek s uzlem "Batch Image" musíte nejprve vybrat obrázky, které chcete sloučit. Tyto obrázky jsou pak zadány do uzlu, čímž se vytvoří jednotná dávka. Tato dávka je následně zavedena do pipeline IPAdapter, aplikující každý obrázek postupně do generativního procesu.
Uzel "IPAdapter Advanced" zavádí možnosti "Combine Embeds", poskytující vám sofistikovanou kontrolu nad tím, jak více obrázků ovlivňuje generování. Tyto možnosti—Concat, Add, Subtract, Average a Norm Average—určují, jak jsou embedy z různých obrázků sloučeny, každý vedoucí k unikátním výsledkům:
Na následujícím obrázku získáte pomocí různých "Combine Embeds" různé výsledky.
Pro ty, kteří hledají jemnější kontrolu nad tím, jak jsou referenční obrázky váženy ve finálním obrázku, poskytuje IPAdapter řešení prostřednictvím použití uzlů "IPAdapter Encoder" a uzlu "IPAdapter Combine Embeds".
Každý obrázek v procesu sloučení je zpracován prostřednictvím uzlu IPAdapter encoder, který kóduje obrázky pro kompatibilitu s IPAdapter. V rámci uzlů "IPAdapter Encoder" mohou uživatelé přiřadit specifické váhy každému obrázku, určující jejich vliv na sloučený výstup. Úpravou těchto vah můžete jemně ovládat dominanci nebo jemnost každého obrázku v kompozici.
Po kódování obrázků a nastavení jejich vah uzel "IPAdapter Combine Embeds" sloučí jejich kódované reprezentace. Kombinuje pozitivní embedy z encoder uzlů, odrážející zamýšlený vliv každého obrázku na sloučený výstup. Toto vyvážené embedování je pak připraveno ke syntéze.
Syntetizované embedování je nakonec zpracováno IPAdapterem k vytvoření nového obrázku. Ačkoli je připojení negativních embedů volitelné, doporučuje se to kvůli úspoře výpočetních zdrojů. Výběrem kteréhokoli ze dvou negativních embedů z encoder uzlů a jejich připojením k uzlu IPAdapter je proces optimalizován, minimalizující zbytečné výpočty a zefektivňující proces sloučení.
Dodržováním těchto metod můžete efektivně sloučit více obrázků k vytvoření nových, kreativních kompozic, využívajících plné možnosti ComfyUI IPAdapter Plus!
Při zpracování vysokých obrázků můžete narazit na jedinečný problém: CLIP Vision encoder, jádrová součást frameworku IPAdapter, preferuje čtvercové obrázky. Tato preference může vést k problémům s ořezáváním při přímém připojení vysokého obrázku k uzlu IPAdapter, typicky výsledkem je, že pouze centrální část obrázku ovlivňuje výstup. Následně mohou být horní a dolní části vašeho obrázku ignorovány, což ovlivňuje celkovou kvalitu generovaného obsahu.
Pro řešení tohoto problému nabízí uzel "IPAdapter Tiled" přizpůsobené řešení. Umožňuje přímé připojení vysokých obrázků segmentováním obrázku do menších, zvládnutelných dlaždic. Tato metoda zajišťuje, že každá část vašeho referenčního obrázku je brána v úvahu během procesu generování, vyhýbající se problému částečného zanedbání obrázku.
Další funkcí uzlu "IPAdapter Tiled" je výstup dlaždic a masek, který poskytuje vizuální reprezentaci toho, jak je váš obrázek zpracován. Tato funkce ukazuje konkrétní použité dlaždice a jejich odpovídající masky, nabízející vám vhled do vnitřního fungování generativního procesu. Pochopení, jak je váš obrázek segmentován a zpracován, vám může pomoci provést informované úpravy k dosažení požadovaných výsledků.
Navíc uzel "IPAdapter Tiled" umožňuje přizpůsobené úpravy masek, nabízející flexibilitu zaměřit se na konkrétní části vašeho obrázku. Přizpůsobením těchto masek můžete zaměřit více pozornosti na specifické prvky vašeho vysokého obrázku, poskytující zvýšenou kontrolu nad výsledkem. Tato funkce je neocenitelná pro zdůraznění nebo minimalizaci určitých aspektů ve vašem obrázku, zajišťující, že generovaný obsah přesně odpovídá vaší vizi.
Inkorporace uzlu "IPAdapter Tiled" do ComfyUI IPAdapter Plus výrazně zlepšuje vaši schopnost zvládat projekty image-to-image conditioning zahrnující vysoké obrázky.
Jak používat ComfyUI IPAdapter Plus k manipulaci a kombinaci stylů a kompozic referenčních obrázků k vytvoření nových, poutavých vizuálů. ComfyUI IPAdapter Plus nabízí silnou sadu nástrojů pro umělce a designéry k experimentování, včetně schopnosti přenést styl jednoho obrázku, udržet kompozici jiného, nebo dokonce sloučit jak styl, tak kompozici z různých referencí do jednoho obrázku.
Pro přenos stylu referenčního obrázku, jako 1-image LoRA, na váš cílový obsah pomocí uzlu ComfyUI IPAdapter Advanced, postupujte takto:
Nastavení uzlu "IPAdapter Advanced": Začněte začleněním uzlu "IPAdapter Advanced" do vašeho pracovního postupu.
Konfigurace uzlu: V nastaveních uzlu ComfyUI IPAdapter Advanced najděte možnost "Weight Type". Použijte rozbalovací nabídku a vyberte "Style Transfer (SDXL)." Tato konfigurace směřuje adaptér k prioritizaci přenosu vizuálního stylu vašeho referenčního obrázku na cíl.
Úprava váhy přenosu stylu: Nastavení "váhy" určuje sílu přenosu stylu. Zvýšení této hodnoty zesiluje vliv referenčního stylu na váš cílový obrázek, což činí efekt výraznějším.
Pro udržení kompozice referenčního obrázku při generování nového, také použijete uzel ComfyUI IPAdapter Advanced, ale s jiným nastavením:
Nastavení uzlu "IPAdapter Advanced": Stejně jako předtím, přidejte uzel IPAdapter Advanced do svého pracovního postupu.
Konfigurace uzlu: Zvolte "Composition (SDXL)" z rozbalovací nabídky "Weight Type". Tímto instruujete adaptér, aby v novém generování zachoval kompoziční prvky referenčního obrázku.
Úprava váhy kompozice: Upravte nastavení "váhy" k ovlivnění, jak úzce nový obrázek přilne ke kompozici referenčního. Vyšší váha přísněji prosazuje kompozici reference.
Pro projekty, které vyžadují jak styl jednoho obrázku, tak kompozici jiného k přenosu, uzel "IPAdapter style & composition SDXL" nabízí zjednodušené řešení:
Vyberte uzel "IPAdapter Style & Composition SDXL": Přidejte tento specializovaný uzel do svého projektu k současnému zvládnutí přenosu stylu i kompozice.
Načtení referencí stylu a kompozice: Uzel "IPAdapter Style & Composition SDXL" umožňuje dva vstupy, jeden pro obrázek, jehož styl chcete přenést, a druhý pro obrázek, jehož kompozici chcete zachovat. Načtěte obě reference podle potřeby.
Konfigurace "vah" pro styl i kompozici: Uzel "IPAdapter Style & Composition SDXL" poskytuje samostatná nastavení váhy pro styl a kompozici. Upravte tyto váhy k vyvážení vlivu každé reference na finální obrázek. Nastavení vyšší váhy pro styl nebo kompozici bude prioritizovat tento aspekt v generovaném obrázku.
Dodržováním těchto kroků a experimentováním s nastaveními můžete využít ComfyUI IPAdapter Plus k vytvoření vizuálně ohromujících obrázků, které spojují to nejlepší z obou světů: výrazný styl jednoho uměleckého díla s promyšlenou kompozicí druhého.
Pokud máte zájem prozkoumat pracovní postup ComfyUI IPAdapter Plus (IPAdapter V2), použijte následující web ComfyUI. Je plně vybaven všemi nezbytnými zákaznickými uzly a modely, což umožňuje bezproblémovou kreativitu bez nutnosti ručních nastavení. Začněte okamžitě získávat praktické zkušenosti!
© Autorská práva 2024 RunComfy. Všechna práva vyhrazena.