ToonCrafter เป็นเทคนิค AI ขั้นสูงที่แปลงระหว่างภาพการ์ตูนสองภาพโดยใช้การแพร่ภาพที่ได้รับการฝึกฝนล่วงหน้า ซึ่งช่วยให้ ToonCrafter สร้างวิดีโอที่แปลงระหว่างภาพการ์ตูนสองภาพได้อย่างราบรื่น รองรับการสร้างวิดีโอได้ถึง 16 เฟรมที่ความละเอียด 512x320 พิกเซล
ToonCrafter เป็นเครื่องมือ AI ที่ออกแบบมาเพื่อสร้างภาพเคลื่อนไหวที่ราบรื่นจากภาพการ์ตูนแบบคงที่ โดยใช้เทคนิค AI ขั้นสูง มันใช้โมเดลการแพร่ภาพแฝง (Latent Diffusion Models หรือ LDMs) เพื่อเข้ารหัสภาพเป็นพื้นที่แฝงที่บีบอัด ซึ่งมีการเพิ่มเสียงรบกวนและลบออกทีละน้อยผ่านกระบวนการลดเสียงรบกวน วิธีนี้จะสร้างเฟรมกลางระหว่างภาพต้นฉบับ ทำให้เกิดภาพเคลื่อนไหวที่ราบรื่น
คุณลักษณะที่โดดเด่นของ ToonCrafter คือการเรียนรู้การปรับแก้การ์ตูน (Toon Rectification Learning) กระบวนการนี้ปรับโมเดล AI ที่ผ่านการฝึกฝนจากวิดีโอไลฟ์แอ็กชันให้เข้าใจและสร้างภาพเคลื่อนไหวการ์ตูน โดยการปรับแต่งโมเดลด้วยชุดข้อมูลขนาดใหญ่ของวิดีโอการ์ตูนคุณภาพสูง ToonCrafter จะเรียนรู้การเคลื่อนไหวและองค์ประกอบสไตล์เฉพาะของการ์ตูน เช่น การเคลื่อนไหวที่เกินจริงและพื้นผิวที่ง่ายขึ้น
ToonCrafter ยังมีการฉีดและเผยแพร่รายละเอียด (Detail Injection and Propagation) ซึ่งใช้ตัวถอดรหัส 3 มิติที่อ้างอิงจากคู่เพื่อรักษาความถูกต้องของภาพที่สร้างขึ้น ตัวถอดรหัสนี้จะวิเคราะห์และฉีดรายละเอียดระดับพิกเซลจากเฟรมต้นฉบับไปยังเฟรมใหม่ เพื่อให้แน่ใจว่าความสอดคล้องกับงานศิลปะต้นฉบับและป้องกันการเกิดสิ่งแปลกปลอมทางภาพ
นอกจากนี้ ToonCrafter ยังมีการสร้างที่ควบคุมโดยการร่าง (sketch-based controllable generation) ซึ่งช่วยให้นักสร้างภาพเคลื่อนไหวสามารถให้ภาพร่างที่เป็นแนวทางในการสร้างเฟรมกลางได้ คุณลักษณะนี้ช่วยให้นักศิลป์ควบคุมกระบวนการสร้างภาพเคลื่อนไหวได้มากขึ้น สามารถระบุท่าโพสหรือการเคลื่อนไหวเฉพาะได้ และทำให้ภาพเคลื่อนไหวสุดท้ายสอดคล้องกับวิสัยทัศน์ของพวกเขา
โหนด ToonCrafter ต้องการพารามิเตอร์การป้อนข้อมูลหลายตัวที่กำหนดพฤติกรรมและผลลัพธ์ของกระบวนการแปลง นี่คือคำอธิบายรายละเอียดของแต่ละพารามิเตอร์:
ผลลัพธ์ของโหนด ToonCrafter คือชุดของเฟรมที่แปลงซึ่งสามารถใช้สร้างวิดีโอได้ นี่คือสิ่งที่คุณคาดหวัง:
© ลิขสิทธิ์ 2024 RunComfy. สงวนลิขสิทธิ์