Updated: 5/27/2024
Merhaba! Bu kılavuzda, ComfyUI'deki ControlNet'in heyecan verici dünyasına dalacağız. Birlikte masaya ne getirdiğini ve projelerinizi nasıl renklendirebileceğini keşfedelim!
Şunları ele alacağız:
ControlNet iş akışını keşfetmekle ilgileniyorsanız, aşağıdaki ComfyUI web sitesini kullanın. Tüm gerekli müşteri düğümleri ve modelleriyle tam donanımlı olarak gelir, manuel kurulumlara gerek kalmadan kesintisiz yaratıcılık sağlar. ControlNet'in özelliklerini hemen deneyerek pratik yapmaya başlayın veya ControlNet'i etkili bir şekilde nasıl kullanacağınızı öğrenmek için bu öğreticiye devam edin.
ControlNet, metinden görüntüye difüzyon modellerinin yeteneklerini önemli ölçüde artıran, görüntü oluşturma sürecine benzeri görülmemiş mekansal kontrol getiren dönüştürücü bir teknolojidir. Bir sinir ağı mimarisi olarak ControlNet, Stable Diffusion gibi büyük ölçekli, önceden eğitilmiş modellerle sorunsuz bir şekilde bütünleşir. Bu modellerin geniş kapsamlı eğitimini kullanarak—milyarlarca görüntü üzerinde eğitilmiş görüntü oluşturma sürecine mekansal koşullar ekler. Bu koşullar, kenarlardan ve insan pozlarından derinlik ve segmentasyon haritalarına kadar değişebilir, kullanıcıların yalnızca metin ipuçlarıyla mümkün olmayan şekillerde görüntü oluşturmayı yönlendirmelerine olanak tanır.
ControlNet'in dehası, kendine özgü yönteminde yatar. Başlangıçta, orijinal modelin parametrelerini güvence altına alır, böylece temel eğitim değişmeden kalır. Daha sonra, ControlNet, modelin kodlama katmanlarının bir klonunu eğitime sunar ve "sıfır konvolüsyonlar" kullanır. Bu özel olarak tasarlanmış konvolüsyonel katmanlar sıfır ağırlıklarla başlar ve yeni mekansal koşulları dikkatlice bütünleştirir. Bu yaklaşım, modelin orijinal yetkinliğini korurken yeni öğrenme yollarını başlatarak müdahaleci gürültülerin engellenmesini sağlar.
Geleneksel olarak, stabil difüzyon modelleri, görüntülerin oluşturulmasını yönlendirmek için koşullandırma mekanizması olarak metin ipuçlarını kullanır ve çıktı metin ipucunun ayrıntılarına uyum sağlar. ControlNet, bu sürece ek bir koşullandırma biçimi ekler, oluşturulan görüntüleri hem metinsel hem de görsel girdilere daha kesin bir şekilde yönlendirme yeteneğini artırır.
Bu adım, ControlNet'i ComfyUI iş akışınıza entegre ederek, görüntü oluşturma sürecinize ek koşullandırma uygulamanızı sağlar. Bu, metin ipuçlarının yanı sıra görsel rehberlik uygulamanın temelini oluşturur.
Pozitif ve Negatif Koşullandırma: Bu girdiler, oluşturulan görüntüde istenen sonuçları ve kaçınılması gereken yönleri tanımlamak için çok önemlidir. "Pozitif ipucu" ve "Negatif ipucu" ile bağlantılı olmalı, sürecin metinsel koşullandırma kısmıyla uyumlu olmalıdır.
ControlNet Modeli: Bu girdi, "Load ControlNet Model" düğümünün çıkışına bağlanmalıdır. Bu adım, iş akışınıza bir ControlNet veya T2IAdaptor modelinin seçilmesi ve dahil edilmesi için gereklidir, böylece difüzyon modeli, seçtiğiniz modelin sağladığı belirli rehberlikten yararlanır. Her model, bir ControlNet veya T2IAdaptor olsun, belirli veri türleri veya stilistik tercihlere göre görüntü oluşturma sürecini etkilemek için titizlikle eğitilmiştir. Birçok T2IAdaptor modelinin işlevsellikleri ControlNet modelleriyle yakından örtüştüğünden, sonraki tartışmamızda ağırlıklı olarak ControlNet modellerine odaklanacağız. Bununla birlikte, tamlık adına, bazı daha popüler T2IAdaptors'u da vurgulayacağız.
Ön İşlemci: "Görüntü" girişi "ControlNet Preprocessor" düğümüne bağlı olmalıdır, bu da kullandığınız ControlNet modelinin belirli gereksinimlerini karşılamak için görüntünüzü uyarlamak için çok önemlidir. Seçtiğiniz ControlNet modeline uygun doğru ön işlemciyi kullanmak zorunludur. Bu adım, orijinal görüntünün format, boyut, renk ayarlamaları veya belirli filtrelerin uygulanması gibi gerekli değişikliklerden geçmesini sağlar, böylece ControlNet'in yönergelerine uygun hale getirilir. Bu ön işleme aşamasından sonra, orijinal görüntü değiştirilmiş sürümle yer değiştirir ve ControlNet bunu kullanır. Bu süreç, giriş görüntülerinizin ControlNet süreci için tam olarak hazır olmasını sağlar.
"Apply ControlNet" düğümü iki önemli çıktı üretir: Pozitif ve Negatif Koşullandırma. Bu çıktılar, ControlNet ve görsel rehberliğin incelikli etkileriyle doludur ve ComfyUI'deki difüzyon modelinin davranışını yönlendirmede kritik bir rol oynar. Bundan sonra, örnekleme aşaması için KSampler'a geçme veya daha ayrıntılı ve özelleştirilmiş bir yaratım için ek ControlNet'ler katmanlama yoluna gitme seçeneğiniz vardır. Ek ControlNet'lerin entegrasyonunun bu ileri tekniği, görüntünün özelliklerini daha ayrıntılı bir şekilde manipüle etmenize olanak tanır ve yaratıcıların görsel çıktılarında eşsiz hassasiyet ve kontrol sağlama amacıyla geliştirilmiş bir araç kitini sunar.
güç: Bu parametre, ComfyUI'de oluşturulan görüntüde ControlNet'in etkisinin yoğunluğunu belirler. 1.0 değeri, ControlNet'in rehberliğinin difüzyon modelinin çıktısı üzerinde maksimum etkiye sahip olacağı anlamına gelir. Tersine, 0.0 değeri, ControlNet'in görüntü oluşturma süreci üzerindeki etkisini etkisiz hale getirir.
başlangıç_yüzdesi: Bu parametre, ControlNet'in oluşturma sürecini etkilemeye başladığı noktayı, difüzyon sürecinin yüzdesi olarak belirtir. Örneğin, %20'lik bir başlangıç yüzdesi ayarlamak, ControlNet'in rehberliğinin difüzyon sürecinin %20'sinden itibaren görüntü oluşturma sürecini etkilemeye başlayacağı anlamına gelir.
bitiş_yüzdesi: "Başlangıç Yüzdesi"ne benzer şekilde, "Bitiş Yüzdesi" parametresi, ControlNet'in etkisinin sona erdiği noktayı tanımlar. Örneğin, %80'lik bir bitiş yüzdesi, ControlNet'in rehberliğinin difüzyon sürecinin %80'lik tamamlanma noktasında görüntü oluşturma sürecini etkilemeyi bırakacağı anlamına gelir, son aşamaları etkisiz bırakır.
ControlNet'teki Zaman Adımı Anahtar Çerçeveleri, özellikle zamanlama ve ilerleme önemli olduğunda, AI tarafından oluşturulan içeriğin davranışını sofistike bir şekilde kontrol etme olanağı sunar. İşte bu parametreleri etkili ve sezgisel bir şekilde kullanmanıza yardımcı olacak ayrıntılı bir döküm:
prev_timestep_kf: prev_timestep_kf, bir dizide önceki anahtar çerçeve ile el ele tutuşmak gibidir. Anahtar çerçeveleri bağlayarak, her aşamanın mantıklı bir şekilde bir sonraki aşamaya aktığı, AI'nın oluşturma sürecini adım adım yönlendiren bir geçiş veya hikaye tahtası oluşturursunuz.
cn_weights: cn_weights, ControlNet içinde belirli özellikleri ayarlayarak oluşturma sürecinin farklı aşamalarında çıktıyı ince ayar yapmak için kullanışlıdır.
latent_keyframe: latent_keyframe, AI modelinin her bir bölümünün belirli bir oluşturma aşamasında nihai sonucu ne kadar güçlü bir şekilde etkilediğini ayarlamanıza olanak tanır. Örneğin, sürecin ilerlemesiyle birlikte ön planın daha ayrıntılı hale gelmesi gereken bir görüntü oluşturuyorsanız, modelin ön plan detaylarından sorumlu olan yönler (latentler) için gücü artırabilirsiniz. Tersine, belirli özelliklerin zamanla arka plana kaybolması gerekiyorsa, sonraki anahtar çerçevelerde bunların gücünü azaltabilirsiniz. Bu düzeydeki kontrol, özellikle dinamik, evrimsel görseller oluştururken veya zamanlama ve ilerlemenin kritik olduğu projelerde yararlıdır.
mask_optional: Dikkat maskelerini spot ışıkları olarak kullanarak, ControlNet'in etkisini görüntünüzün belirli alanlarına odaklayın. İster bir sahnedeki karakteri vurgulamak ister arka plan öğesini öne çıkarmak olsun, bu maskeler ControlNet'in dikkatini tam olarak istediğiniz yere yönlendirerek ya eşit olarak uygulayabilir ya da yoğunlukta değişebilir.
başlangıç_yüzdesi: başlangıç_yüzdesi, anahtar çerçevenizin oyuna girdiği noktayı, toplam oluşturma sürecinin yüzdesi olarak işaret eder. Bunu ayarlamak, bir aktörün sahnede tam olarak doğru anda görünmesini sağlayan bir zamanlama gibidir.
güç: güç, ControlNet'in genel etkisi üzerinde yüksek düzeyde kontrol sağlar.
null_latent_kf_strength: Bu sahnede (anahtar çerçeve) açıkça yönlendirmediğiniz herhangi bir aktör (latent) için, null_latent_kf_strength bir varsayılan talimat olarak görev yapar, onların arka planda nasıl performans göstermesi gerektiğini söyler. Bu, açıkça ele almadığınız alanlarda bile tutarlı bir çıktı sağlanmasını sağlar.
inherit_missing: inherit_missing'i etkinleştirmek, mevcut anahtar çerçevenizin eksik olan herhangi bir ayarı selefinden devralmasına olanak tanır, tıpkı küçük bir kardeşin kıyafetleri devralması gibi. Bu, sürekliliği ve tutarlılığı sağlarken talimatları tekrar etme gerekliliğini ortadan kaldıran kullanışlı bir kısayoldur.
guarantee_usage: guarantee_usage, ne olursa olsun, mevcut anahtar çerçevenin süreçte parlamasını sağlar, hatta sadece kısa bir an için bile olsa. Bu, her kurduğunuz anahtar çerçevenin bir etkisi olmasını sağlar, AI'nın yaratıcı sürecini yönlendirirken ayrıntılı planlamanızı onurlandırır.
Zaman Adımı Anahtar Çerçeveleri, AI'nın yaratıcı sürecini titizlikle yönlendirmek için gereken hassasiyeti sunar, size tam olarak hayal ettiğiniz gibi anlatıyı veya görsel yolculuğu oluşturma olanağı sağlar. Özellikle animasyonda, açılış sahnesinden kapanışa kadar görsellerin evrimini yönetmek için güçlü bir araç olarak hizmet ederler. İşte Zaman Adımı Anahtar Çerçevelerinin bir animasyonun ilerlemesini yönetmek için stratejik olarak nasıl uygulanabileceğine dair daha yakından bir bakış, başlangıç karesinden son kareye kadar kesintisiz geçişi sağlayarak sanatsal hedeflerinizle mükemmel bir uyum sağlar.
Birçok T2IAdaptor modelinin işlevsellikleri ControlNet modelleriyle yakından örtüştüğünden, sonraki tartışmamızda ağırlıklı olarak ControlNet modellerine odaklanacağız. Bununla birlikte, tamlık adına, bazı daha popüler T2IAdaptors'u da vurgulayacağız.
Tile Resample modeli, görüntülerdeki ayrıntıları artırmak için kullanılır. Özellikle bir yükseltici ile birlikte kullanıldığında, görüntü çözünürlüğünü artırırken daha ince ayrıntılar eklemek için kullanılır, genellikle bir görüntüdeki dokuları ve öğeleri keskinleştirmek ve zenginleştirmek için kullanılır.
Preprocessor: Tile
Canny modeli, görüntülerde geniş bir kenar yelpazesini tespit etmek için çok aşamalı bir süreç olan Canny kenar algılama algoritmasını uygular. Bu model, bir görüntünün yapısal yönlerini korurken görsel bileşimini basitleştirmek için faydalıdır ve stilize edilmiş sanat veya daha fazla görüntü manipülasyonundan önce ön işleme için kullanışlıdır.
Preprocessors: Canny
Depth modelleri, 2D bir görüntüden derinlik bilgisini çıkarır ve algılanan mesafeyi gri tonlamalı bir derinlik haritasına çevirir. Her bir varyant, ayrıntı yakalama ve arka plan vurgusu arasında farklı bir denge sunar:
Preprocessors: Depth_Midas, Depth_Leres, Depth_Zoe, Depth_Anything, MeshGraphormer_Hand_Refiner. Bu model oldukça dayanıklıdır ve render motorlarından gelen gerçek derinlik haritaları üzerinde çalışabilir.
Lineart modelleri, görüntüleri stilize edilmiş çizimlere dönüştürür, sanatsal düzenlemeler veya daha fazla yaratıcı çalışma için kullanışlıdır:
Preprocessor, görüntülerden ayrıntılı veya kaba çizimler üretebilir (Lineart ve Lineart_Coarse)
Scribble modelleri, görüntüleri el çizimi eskiz görünümüne dönüştürmek için tasarlanmıştır. Sanatsal yeniden stillendirme veya daha büyük bir tasarım iş akışında ön adım olarak özellikle kullanışlıdır:
Preprocessors: Scribble, Scribble_HED, Scribble_PIDI, ve Scribble_XDOG
Segmentation modelleri, görüntü piksellerini, her biri belirli bir renkle temsil edilen farklı nesne sınıflarına ayırır. Bu, bir görüntüdeki bireysel öğeleri tanımlamak ve manipüle etmek için değerlidir, örneğin ön planı arka plandan ayırmak veya ayrıntılı düzenleme için nesneleri ayırt etmek.
Kabul edilebilir Ön İşlemciler: Sam, Seg_OFADE20K (Oneformer ADE20K), Seg_UFADE20K (Uniformer ADE20K), Seg_OFCOCO (Oneformer COCO) veya manuel olarak oluşturulmuş maskeler.
Shuffle modeli, kompozisyonu değiştirmeden giriş görüntüsünün renk şemaları veya dokuları gibi özniteliklerini rastgeleleştirerek yeni bir yaklaşım sunar. Bu model, yaratıcı keşifler ve yapısal bütünlük korunurken görsel estetiği değiştirilmiş görüntü varyasyonları üretmek için özellikle etkilidir. Rastgele doğası, her çıktının benzersiz olmasını sağlar ve kullanılan tohum değerinden etkilenir.
Preprocessors: Shuffle
ControlNet içerisindeki Inpainting modelleri, belirli bir görüntü alanında rafine düzenlemelere olanak tanır, genel tutarlılığı korurken önemli varyasyonlar veya düzeltmeler getirir.
ControlNet Inpainting'i kullanmak için, öncelikle maskeleme yoluyla yeniden oluşturmak istediğiniz alanı izole edin. Bu, istenen görüntüye sağ tıklayıp "Open in MaskEditor" seçeneğini seçerek yapılabilir.
ControlNet içindeki diğer uygulamalardan farklı olarak, Inpainting, görüntüye uygulanan doğrudan değişiklikler nedeniyle bir ön işlemci gerektirmez. Ancak, düzenlenmiş görüntüyü KSampler aracılığıyla latent alana iletmek çok önemlidir. Bu, difüzyon modelinin yalnızca maskeleme bölgesini yeniden oluşturmasına odaklanmasını sağlar ve maskelenmemiş alanların bütünlüğünü korur.
M-LSD (Mobile Line Segment Detection), güçlü mimari öğeler, iç mekanlar ve geometrik formlara sahip görüntüler için ideal olan doğru çizgileri tespit etmeye odaklanır. Sahneyi yapısal özüne indirger, yapay ortamları içeren yaratıcı projeler için kolaylık sağlar.
Preprocessors: MLSD.
Normalmaps, yüzeylerin yönelimini modelleyerek karmaşık aydınlatma ve doku efektlerinin simülasyonunu sağlar, yalnızca renk verilerine dayanmadan. Bu, 3D modelleme ve simülasyon görevleri için kritiktir.
Preprocessors: Normal BAE, Normal Midas
ControlNet Soft Edge, ayrıntı kontrolü ve doğal görünüm odaklı, yumuşak kenarlı görüntüler oluşturmak için tasarlanmıştır. Hassas görüntü manipülasyonu için gelişmiş sinir ağı tekniklerini kullanır, daha büyük yaratıcı özgürlük ve kesintisiz harmanlama yetenekleri sunar.
Dayanıklılık: SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
Maksimum sonuç kalitesi: SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
Değiş tokuşu dikkate alarak, varsayılan olarak SoftEdge_PIDI kullanmanızı öneririz. Çoğu durumda çok iyi çalışır.
Preprocessors: SoftEdge_PIDI, SoftEdge_PIDI_safe, SoftEdge_HED, SoftEdge_HED_safe.
ControlNet IP2P (Instruct Pix2Pix) modeli, Instruct Pix2Pix veri setinden yararlanmak üzere uyarlanmış, ControlNet çerçevesi içinde benzersiz bir varyant olarak öne çıkar. Bu ControlNet varyantı, eğitim aşamasında talimat ipuçları ve açıklama ipuçları arasında bir denge kurarak, resmi Instruct Pix2Pix'teki geleneksel yaklaşımdan farklıdır. ControlNet IP2P, bu ipucu türlerinin 50/50 karışımını içeren bir eğitimle, istenen sonuçları üretme konusunda çok yönlülüğünü ve etkinliğini artırır.
t2iadapter color: t2iadapter_color modeli, metinden görüntüye difüzyon modelleri kullanılırken oluşturulan görüntülerde renk temsili ve doğruluğunu artırmak için özel olarak tasarlanmıştır. Renk adaptasyonuna odaklanarak, metin ipuçlarında sağlanan açıklamalarla yakından uyumlu, daha doğru ve canlı bir renk paleti sağlar. Renk doğruluğunun ve özgüllüğünün kritik olduğu projeler için özellikle kullanışlıdır, oluşturulan görüntülere gerçekçilik ve ayrıntı katmanın yeni bir katmanını ekler.
t2iadapter style: t2iadapter_style modeli, görüntü oluşturmanın sanatsal stil yönlerini hedef alarak, çıktı görüntülerinin sanatsal stilini veya estetiğini değiştirme ve kontrol etme olanağı sağlar. Bu adaptör, metin ipuçlarında açıklanan belirli sanatsal stillere veya estetiklere uygun görüntüler oluşturmak için metinden görüntü modelini yönlendirmenizi sağlar. Görüntünün stilinin önemli bir rol oynadığı yaratıcı projeler için paha biçilmez bir araçtır, geleneksel sanat stillerini modern AI yetenekleriyle harmanlamanın kesintisiz bir yolunu sunar.
Bu segmentler için, paylaşmak istediğimiz önemli miktarda bilgi nedeniyle, her birine ayrıntılı bir giriş sağlamak için ayrı makaleler ayıracağız.
ComfyUI'de birden fazla ComfyUI ControlNet kullanmak, görüntü oluşturmayı şekil, stil ve renk gibi çeşitli yönler üzerinde daha hassas kontrollerle iyileştirmek için ControlNet modellerini katmanlama veya zincirleme sürecini içerir.
Bu şekilde, iş akışınızı bir ControlNet (örneğin, OpenPose) uygulayarak ve ardından çıktısını başka bir ControlNet'e (örneğin, Canny) besleyerek oluşturabilirsiniz. Bu katmanlı uygulama, görüntünün ayrıntılı özelleştirilmesine olanak tanır, her ControlNet kendi belirli dönüşümlerini veya kontrollerini uygular. Süreç, nihai çıktı üzerinde daha rafine bir kontrol sağlar, farklı ControlNet'ler tarafından yönlendirilen birden fazla yönü entegre eder.
ControlNet iş akışını keşfetmekle ilgileniyorsanız, aşağıdaki ComfyUI web sitesini kullanın. Tüm gerekli müşteri düğümleri ve modelleriyle tam donanımlı olarak gelir, manuel kurulumlara gerek kalmadan kesintisiz yaratıcılık sağlar. ControlNet'in özelliklerini şimdi deneyimleyin ve ControlNet'in özelliklerine aşina olun!
© Telif Hakkı 2024 RunComfy. Tüm Hakları Saklıdır.