ToonCrafter | Üretici Çizgi Film Enterpolasyonu

1. ToonCrafter Nedir?

ToonCrafter, önceden eğitilmiş görüntüden videoya difüzyon önceliklerini kullanarak iki çizgi film görüntüsü arasında enterpolasyon yapan gelişmiş bir AI tekniğidir. Bu, ToonCrafter'ın iki farklı çizgi film görüntüsünden enterpolasyonlu videolar oluşturmasına, aralarında sorunsuz bir geçiş yaratmasına olanak tanır. 512x320 piksel çözünürlükte 16 kareye kadar video oluşturmayı destekler.

2. ToonCrafter Nasıl Çalışır?

ToonCrafter, statik çizgi film görüntülerinden pürüzsüz animasyonlar oluşturmak için gelişmiş AI tekniklerini kullanan bir AI aracıdır. Görüntüleri sıkıştırılmış bir gizli alana kodlamak için Latent Diffusion Models (LDMs) kullanır, burada gürültü eklenir ve ardından bir denoising süreci ile kademeli olarak kaldırılır. Bu yöntem, orijinal görüntüler arasındaki ara kareleri oluşturarak akıcı animasyonlar üretir.

ToonCrafter'ın dikkat çeken bir özelliği Toon Düzeltme Öğrenimidir. Bu süreç, başlangıçta canlı aksiyon videolarında eğitilmiş AI modelini çizgi film animasyonlarını anlamaya ve üretmeye adapte eder. Modeli yüksek kaliteli çizgi film videolarının büyük bir veri seti ile ince ayar yaparak, ToonCrafter çizgi filmlerin benzersiz hareket ve stilistik unsurlarını öğrenir, örneğin abartılı hareketler ve daha basit dokular.

ToonCrafter ayrıca bir Detay Enjeksiyon ve Yayılma mekanizması içerir. Bu, oluşturulan karelerin görsel sadakatini korumak için çift referanslı 3D kod çözücü kullanır. Kod çözücü, giriş karelerinden piksel düzeyinde detayları yeni karelere analiz eder ve enjekte eder, orijinal sanat eserine tutarlılık sağlar ve görsel artefaktları önler.

Ek olarak, ToonCrafter, animatörlerin ara karelerin oluşturulmasını yönlendirebilecekleri eskiz tabanlı kontrol edilebilir üretim sunar. Bu özellik, sanatçılara animasyon süreci üzerinde daha fazla kontrol sağlar, belirli pozlar veya hareketler belirtmelerine olanak tanır ve nihai animasyonun vizyonlarına uyum sağlamasını sağlar.

3. ComfyUI ToonCrafter Nasıl Kullanılır?

ComfyUI ToonCrafter Node: Giriş Parametreleri

ToonCrafter düğümü, enterpolasyon sürecinin davranışını ve çıktısını belirleyen birkaç giriş parametresi gerektirir. Her parametrenin ayrıntılı bir açıklaması aşağıda verilmiştir:

• image: İlk giriş görüntüsü (tip: IMAGE).
• image2: İkinci giriş görüntüsü (tip: IMAGE).
• ckpt_name: Kullanılacak kontrol noktası adı (tip: STRING, seçenekler: mevcut kontrol noktalarının listesi).
• prompt: Enterpolasyonu yönlendirmek için metinsel açıklama (tip: STRING, çok satırlı ve dinamik istemleri destekler).
• seed: Yeniden üretilebilirliği sağlamak için rastgele sayı üretimi için bir tohum değeri (tip: INT, varsayılan: 123).
• eta: Difüzyon sürecinde eklenen gürültünün ölçeğini kontrol eden parametre. Difüzyon modellerinde, nihai görüntü veya kareyi oluşturmak için gürültü kademeli olarak azaltılır. Eta değerini ayarlamak, bu sürecin her bir iterasyonunda ne kadar gürültü eklenmesi gerektiğini belirler. (tip: FLOAT, varsayılan: 1.0, aralık: 0.0 ile 15.0, adım: 0.1).
• cfg_scale: Sınıflandırıcı serbest rehberlik ölçeği (tip: FLOAT, varsayılan: 7.5, aralık: 1.0 ile 15.0, adım: 0.5).
• steps: Difüzyon adımlarının sayısı (tip: INT, varsayılan: 50, aralık: 1 ile 60, adım: 1).
• frame_count: Oluşturulacak kare sayısı (tip: INT, varsayılan: 10, aralık: 5 ile 30, adım: 1).
• fps: Çıktı videosu için saniyedeki kare sayısı (tip: INT, varsayılan: 8, aralık: 1 ile 60, adım: 1).

ComfyUI ToonCrafter Node: Çıkış Parametreleri

ToonCrafter düğümünün çıktısı, bir video oluşturmak için kullanılabilecek enterpolasyonlu karelerin bir dizisidir. Bekleyebileceğiniz şeyler şunlardır:

• IMAGE: Enterpolasyonlu videonun oluşturulan kareleri. Bu kareler bir tensör olarak döndürülür ve daha fazla işlenebilir veya video dosyası olarak kaydedilebilir.