AnimateDiff + ControlNet + IPAdapter V1 | Japon Anime Tarzı

Bu iş akışı, tarafından ilham alınmış olup, bazı değişiklikler yapılmıştır. Daha fazla bilgi için lütfen YouTube kanalını ziyaret edin.

1. ComfyUI İş Akışı: AnimateDiff + ControlNet + IPAdapter | Japon Anime Tarzı

Bu iş akışı, standart videolarınızı AnimateDiff, ControlNet ve IPAdapter kullanarak büyüleyici Japon anime yaratımlarına dönüştürmenizi sağlar. IPAdapter için çeşitli kontrol noktaları, LoRA ayarları ve referans görselleri denemekten çekinmeyin ve benzersiz tarzınızı oluşturun. Videolarınızı anime dünyasında hayata geçirmenin eğlenceli ve yaratıcı bir yoludur!

2. AnimateDiff Genel Bakış

Lütfen detaylarına göz atın.

3. ControlNet Nasıl Kullanılır

3.1. ControlNet'i Anlamak

ControlNet, metinden görüntüye yayılım modellerine yeni bir mekansal kontrol düzeyi getirerek görüntü oluşturma şeklimizi devrim niteliğinde değiştiriyor. Bu ileri düzey sinir ağı mimarisi, Stable Diffusion gibi devlerle mükemmel bir uyum içinde çalışarak, milyarlarca görüntüden oluşan geniş kütüphanelerini kullanarak mekansal nüansları doğrudan görüntü oluşturma sürecine dahil eder. Kenarları çizmekten insan duruşlarını haritalamaya, derinlik algısına veya görselleri segmentlere ayırmaya kadar, ControlNet, görüntüleri şekillendirme konusunda metin tabanlı istemlerin ötesine geçen bir güç sağlar.

3.2. ControlNet'in Yeniliği

ControlNet'in özünde, son derece basit ama dahice bir yapı bulunur. Orijinal modelin parametrelerinin bütünlüğünü koruyarak başlar—temel eğitim bozulmadan kalır. Sonra, ControlNet, modelin kodlama katmanlarının aynalı bir setini tanıtır, ancak bir farkla: "sıfır konvolüsyon" kullanılarak eğitilirler. Bu sıfırlar başlangıç noktası olarak kullanıldığından, katmanlar yeni mekansal koşulları nazikçe katlar ve modelin orijinal yetenekleri korunurken yeni öğrenme yollarına çıkmasını sağlar.

3.3. ControlNets ve T2I-Adapters Anlamak

ControlNets ve T2I-Adapters, görüntü oluşturmanın şartlandırılmasında önemli roller oynar ve her biri kendine özgü avantajlar sunar. T2I-Adapters, özellikle görüntü oluşturma sürecini hızlandırma açısından verimlilikleri ile tanınır. Buna rağmen, ControlNets, oluşturma sürecini ayrıntılı bir şekilde yönlendirme yetenekleri ile benzersizdir ve yaratıcılar için güçlü bir araçtır.

Birçok T2I-Adapter ve ControlNet modelinin işlevselliklerindeki örtüşmeyi göz önünde bulundurarak, tartışmamız öncelikle ControlNets üzerine odaklanacaktır. Ancak, RunComfy platformunun kullanım kolaylığı için önceden yüklenmiş birkaç T2I-Adapter modeli bulunduğunu belirtmekte fayda var. T2I-Adapters ile deneme yapmak isteyenler, bu modelleri kolayca yükleyip projelerine entegre edebilirler.

ComfyUI'de ControlNet ve T2I-Adapter modelleri arasında seçim yapmak, ControlNet düğümlerinin kullanımını veya iş akışının tutarlılığını etkilemez. Bu birliktelik, iş akışını düzenli tutarak, her model türünün benzersiz faydalarını proje ihtiyaçlarınıza göre kullanmanızı sağlar.

3.4. ControlNet Düğümlerinin Kullanımı

3.4.1. "Apply ControlNet" Düğümünü Yükleme

Başlamak için, "Apply ControlNet" Düğümünü ComfyUI'ye yüklemeniz gerekecek. Bu, görsel unsurları metinsel istemlerle harmanlayarak çift şartlandırılmış bir görüntü oluşturma yolculuğuna ilk adımınızdır.

3.4.2. "Apply ControlNet" Düğümünün Girdilerini Anlamak

Pozitif ve Negatif Şartlandırma: Bunlar, nihai görüntüyü şekillendirmek için araçlarınızdır—neye sahip olmalı ve neyi kaçınmalı. Bunları, yaratıcı yönünüzün metin tabanlı kısmı ile senkronize etmek için "Pozitif istem" ve "Negatif istem" yuvalarına bağlayın.

ControlNet Modelini Seçmek: Bu girdiyi, "Load ControlNet Model" düğümünün çıktısına bağlamanız gerekecek. Bu, belirli özellikler veya stiller için ControlNet veya T2IAdaptor modelini kullanma kararını verdiğiniz yerdir. ControlNet modelleri üzerine odaklanırken, bazı aranan T2IAdaptors'ları da belirtmek, kapsamlı bir görüş için değerlidir.

Görüntünüzü Ön İşleme: Görüntünüzü bir "ControlNet Preprocessor" düğümüne bağlayın, bu, görüntünüzün ControlNet'e hazır olmasını sağlamak için önemlidir. Ön işlemciyi ControlNet modelinize eşleştirmek esastır. Bu adım, orijinal görüntünüzü modelin ihtiyaçlarına mükemmel şekilde uyacak şekilde ayarlar—boyutlandırma, yeniden renklendirme veya gerekli filtreleri uygulama—ControlNet tarafından kullanılmak üzere hazırlamak için.

3.4.3. "Apply ControlNet" Düğümünün Çıktılarını Anlamak

İşlemeden sonra, "Apply ControlNet" düğümü, ControlNet ve yaratıcı girdinizin sofistike etkileşimini yansıtan iki çıktı sunar: Pozitif ve Negatif Şartlandırma. Bu çıktılar, ComfyUI içindeki yayılma modelini yönlendirir ve bir sonraki seçiminize yol açar: Görüntüyü KSampler kullanarak rafine edin veya eşsiz detay ve özelleştirme arayanlar için daha fazla ControlNet yığarak daha derine inin.

3.4.4. En İyi Sonuçlar İçin "Apply ControlNet" Ayarları

Gücü Belirleme: Bu ayar, ControlNet'in son görüntüyü ne kadar etkilediğini kontrol eder. Tamamen 1.0, ControlNet'in girdisinin kontrolü elinde tuttuğu anlamına gelirken, 0.0'a düşürmek, modelin ControlNet'in etkisi olmadan çalışmasına izin verir.

Başlangıç Yüzdesini Ayarlama: Bu, ControlNet'in yayılma sürecine ne zaman katkıda bulunmaya başladığını belirtir. Örneğin, %20'lik bir başlangıç, sürecin beşte birinden itibaren ControlNet'in iz bırakmaya başladığı anlamına gelir.

Bitiş Yüzdesini Ayarlama: Bu, Başlangıç Yüzdesinin tersidir ve ControlNet'in ne zaman çekildiğini belirtir. %80'e ayarlarsanız, ControlNet'in etkisi, görüntü son aşamalarına yaklaşırken azalır ve son aşamada ControlNet tarafından dokunulmaz.

3.5. ControlNet Model Rehberi: Openpose, Depth, SoftEdge, Canny, Lineart, Tile

3.5.1. ControlNet Model: Openpose

• Openpose (aynı zamanda Openpose body olarak da adlandırılır): Bu model, gözler, burun, boyun, omuzlar, dirsekler, bilekler, dizler ve ayak bilekleri gibi insan vücudundaki anahtar noktaların tanımlanmasında ControlNet'in temel taşı olarak görev yapar. Basit insan pozlarını kopyalamak için mükemmeldir.
• Openpose_face: Bu Openpose versiyonu, yüz ifadelerinin ve yüzün yönünün ayrıntılı analizine olanak tanıyan yüz anahtar noktalarını tespit ederek bir adım öteye gider. Projeniz yüz ifadelerine odaklanıyorsa, bu model hayati önem taşır.
• Openpose_hand: Openpose modeline yapılan bu iyileştirme, el ve parmak hareketlerinin ince detaylarına odaklanır ve el hareketlerinin ve pozisyonlarının ayrıntılı anlaşılması için önemlidir. Openpose'un ControlNet içindeki kapsamını genişletir.
• Openpose_faceonly: Yüz detay analizine yönelik olarak, bu model vücut anahtar noktalarını atlayarak yalnızca yüz ifadelerine ve yönüne odaklanır. Yüz özellikleri önemli olduğunda, seçilmesi gereken model budur.
• Openpose_full: Bu hepsi bir arada model, Openpose, Openpose_face ve Openpose_hand'in yeteneklerini, tam vücut, yüz ve el anahtar noktası tespiti için entegre eder ve ControlNet içinde kapsamlı insan pozu analizi için başvurulacak modeldir.
• DW_Openpose_full: Openpose_full üzerine inşa edilen bu model, üstün poz tespiti detay ve doğruluğu için daha fazla iyileştirmeler sunar. ControlNet paketinde mevcut olan en ileri versiyondur.

Ön işlemci seçenekleri şunlardır: Openpose veya DWpose

3.5.2. ControlNet Model: Depth

Derinlik modelleri, bir 2D görüntü kullanarak derinliği, gri tonlamalı bir harita olarak çıkarır. Her biri detay veya arka plan odaklı özellikleriyle öne çıkar:

• Depth Midas: Derinlik tahmininde dengeli bir yaklaşım sunar ve detaylandırma ve arka plan tasviri arasında orta bir yol sağlar.
• Depth Leres: Detaylara vurgu yaparken, arka plan öğelerini daha belirgin şekilde yakalar.
• Depth Leres++: Derinlik bilgisindeki detayı zorlar ve bu, özellikle karmaşık sahneler için kullanışlıdır.
• Zoe: Midas ve Leres modellerinin detay seviyeleri arasında denge bulur.
• Depth Anything: Çeşitli sahnelerde çok yönlü derinlik tahmini için geliştirilmiş bir modeldir.
• Depth Hand Refiner: Derinlik haritalarında ellerin detaylarını özel olarak ince ayarlar ve bu, el yerleşiminin önemli olduğu sahneler için değerlidir.

Dikkate alınması gereken ön işlemciler: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Bu model, render motorlarından alınan gerçek derinlik haritalarıyla uyumlu ve sağlamlık açısından mükemmeldir.

3.5.3. ControlNet Model: SoftEdge

ControlNet Soft Edge, daha yumuşak kenarlarla görüntüler üretmek için tasarlanmıştır ve detayları korurken doğal bir görünüm sağlar. Keskin görüntü manipülasyonu için ileri düzey sinir ağlarını kullanır ve geniş bir yaratıcı kontrol ve kusursuz entegrasyon sunar.

Dayanıklılık açısından: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

En yüksek kaliteli sonuçlar için: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

Genel bir öneri olarak, SoftEdge_PIDI genellikle mükemmel sonuçlar verdiği için tercih edilen seçenektir.

Ön işlemciler şunlardır: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.

3.5.4. ControlNet Model: Canny

Canny modeli, görüntülerdeki geniş bir kenar spektrumunu vurgulamak için Canny kenar tespitini uygular. Bu model, yapısal öğelerin bütünlüğünü korurken görüntünün genel görünümünü basitleştirmek için mükemmeldir, stilize sanat yaratmada veya görüntüleri ek manipülasyon için hazırlamada yardımcı olur.

Mevcut ön işlemciler: Canny

3.5.5. ControlNet Model: Lineart

Lineart modelleri, görüntüleri çeşitli sanatsal uygulamalar için stilize çizimlere dönüştürmek için kullanılabilir:

• Lineart: Görüntüleri çizimlere dönüştürmek için standart seçimdir ve farklı sanatsal veya yaratıcı girişimler için çok yönlü bir başlangıç noktası sağlar.
• Lineart anime: Temiz, kesin anime tarzı çizimler oluşturmak için tasarlanmış olup, anime esintili bir görünüm hedefleyen projeler için mükemmeldir.
• Lineart realistic: Çizimlerde daha gerçekçi bir temsil yakalamayı amaçlar ve daha fazla detay sunar, gerçekçilik gerektiren projeler için uygundur.
• Lineart coarse: Daha belirgin, çarpıcı çizgileri vurgular ve çarpıcı görsel etki için idealdir.

Mevcut ön işlemciler, detaylı veya daha belirgin çizimler üretebilir (Lineart ve Lineart_Coarse).

3.5.6. ControlNet Model: Tile

Tile Resample modeli, görüntülerdeki detayları öne çıkarmada mükemmeldir. Genellikle bir yükseltici ile birlikte kullanıldığında, görüntü çözünürlüğünü ve detayları artırmada etkilidir ve genellikle görüntü dokularını ve öğelerini keskinleştirmek ve zenginleştirmek için uygulanır.

Önerilen ön işlemci: Tile

3.6. Birden Fazla ControlNet Kullanım Rehberi

Birden fazla ControlNet veya T2I-Adapter kullanmak, görüntü oluşturma sürecine farklı şartlandırma türlerinin ardışık olarak uygulanmasına olanak tanır. Örneğin, detaylandırmayı artırmak için Lineart ve OpenPose ControlNet'leri birleştirebilirsiniz.

Objenin Şekli İçin Lineart: Görüntüdeki nesnelere derinlik ve detay eklemek için bir Lineart ControlNet'i entegre ederek başlayın. Bu süreç, eklemek istediğiniz nesneler için bir çizim veya canny haritası hazırlamayı içerir.

Poz Kontrolü İçin OpenPose: Çizim detaylandırmasının ardından, görüntüdeki bireylerin pozunu belirlemek için OpenPose ControlNet'i kullanın. İstediğiniz pozu yakalayan bir OpenPose haritası oluşturmanız veya edinmeniz gerekecek.

Ardışık Uygulama: Bu etkileri etkili bir şekilde birleştirmek için, Lineart ControlNet'in çıktısını OpenPose ControlNet'e bağlayın. Bu yöntem, nesnelerin pozlarını ve şekillerini aynı anda yönlendirerek, tüm giriş spesifikasyonlarıyla uyumlu bir sonuç oluşturur.

4. IPAdapter Genel Bakış

Lütfen [ComfyUI'de IPAdapter Nasıl Kullanılırjson : https://www.runcomfy.com/tr/comfyui-workflows/comfyui-animatediff-and-ipadapter-workflow-stable-diffusion-animation#3-overview-of-ip-adapter)