Updated: 5/27/2024
สวัสดี! คุณเคยคิดถึงไอเดียการเปลี่ยนข้อความเป็นวิดีโอหรือไม่? นี่ไม่ใช่เรื่องใหม่ แต่กำลังน่าตื่นเต้นมากขึ้นเรื่อยๆ วันนี้เรามาพูดถึงหนึ่งในเครื่องมือที่เจ๋งๆ เหล่านี้ AnimateDiff ในสภาพแวดล้อมของ ComfyUI ไม่ว่าคุณจะเป็นนักศิลปะดิจิทัลหรือแค่รักการสำรวจเทคโนโลยีใหม่ๆ AnimateDiff เสนอวิธีที่น่าตื่นเต้นในการเปลี่ยนไอเดียข้อความของคุณเป็น GIF และวิดีโอที่เคลื่อนไหวได้
เราจะครอบคลุม:
แกนหลักของ AnimateDiff คือโมดูลการเคลื่อนไหว คิดว่าเป็นสมองของการดำเนินการ เรียนรู้การเคลื่อนไหวจากคลิปวิดีโอต่างๆ มันเหมือนกับมีครูสอนเต้นที่รู้ทุกการเคลื่อนไหวในหนังสือ โมดูลนี้รวมเข้ากับโมเดลข้อความถึงภาพที่ผ่านการฝึกอบรมล่วงหน้า ดังนั้นคุณไม่ได้จำกัดเฉพาะภาพนิ่งอีกต่อไป – ผลงานของคุณสามารถเต้น, กระโดด, และหมุนได้!
ดูวิดีโอด้านบนที่สร้างขึ้นโดยใช้ ComfyUI AnimateDiff workflow ตอนนี้คุณสามารถดำดิ่งไปใน Animatediff Workflow โดยไม่ต้องติดตั้งใดๆ เราได้เตรียมทุกอย่างไว้ให้คุณใน ComfyUI ที่อยู่บนคลาวด์ พร้อมด้วย AnimateDiff workflow และโมเดลและโหนดที่กำหนดเองทั้งหมดของ Animatediff V3, Animatediff SDXL และ Animatediff V2
รู้สึกอิสระในการทดลองและเล่นกับมัน หรือคุณสามารถอ่านต่อในบทแนะนำนี้เกี่ยวกับวิธีการใช้ AnimateDiff แล้วลองใช้ในภายหลัง
มาทำความรู้จักกับเวอร์ชันต่างๆ ของ AnimateDiff กัน แต่ละเวอร์ชันมีเสน่ห์ของตัวเอง ดังนั้นเตรียมตัวให้พร้อมสำหรับการเดินทางที่รวดเร็ว!
AnimateDiff V3 ไม่ใช่แค่เวอร์ชันใหม่ แต่เป็นวิวัฒนาการในเทคโนโลยีโมดูลการเคลื่อนไหว โดดเด่นด้วยคุณสมบัติที่ปรับปรุง โมดูลการเคลื่อนไหว v3_sd15_mm.ckpt
เป็นหัวใจของเวอร์ชันนี้ รับผิดชอบการเคลื่อนไหวที่ละเอียดและยืดหยุ่น
มาทำความเข้าใจกับเทคโนโลยีเบื้องหลังกัน ผู้เล่นหลักที่นี่คือโมดูล Domain Adapter LoRA ซึ่งเป็นตัวเตรียมโมดูลการเคลื่อนไหว โดยการฝึกอบรมจากเฟรมที่นิ่งจากชุดข้อมูลวิดีโอ โมดูล LoRA นี้ทำให้ AnimateDiff มีความสามารถในการจัดการกับการเคลื่อนไหวได้ดีขึ้น เจ๋งใช่ไหม?
เมื่อใช้ AnimateDiff V3 คุณจะสังเกตว่าไม่ได้แซงหน้า Animatediff V2 ในทุกด้าน แต่เสนอการเคลื่อนไหวประเภทต่างๆ เพิ่มเครื่องมือมากขึ้นในคลังสร้างสรรค์ของคุณ
Positive Prompt:masterpiece, best quality, girl with rainbow hair, really wild hair, mane
Negative Prompt: (low quality, nsfw, worst quality:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, text, embedding:easynegative
CheckPoint:
toonyou_beta6
ถ้าคุณชอบวิดีโอความละเอียดสูง AnimateDiff SDXL อาจเป็นตัวเลือก รันบนโมดูลการเคลื่อนไหว mm_sdxl_v10_beta.ckpt
ออกแบบมาสำหรับการสร้างภาพเคลื่อนไหวความละเอียด 1024x1024 พร้อม 16 เฟรม แค่เตือนว่า มันยังอยู่ใน Beta อาจจะต้องรออีกหน่อยก่อนที่จะใช้
ใช้ Positive Prompt และ Negative Prompt เดียวกันกับ AnimateDiff V3
CheckPoint:
dreamshaperXL10_alpha2Xl10
AnimateDiff V2 คือคลาสสิก! ด้วย mm_sd_v15_v2.ckpt
เวอร์ชันนี้เสนอ MotionLoRA สำหรับการเคลื่อนไหวของกล้องแปดทิศทาง: Zoom In/Out, Pan Left/Right, Tilt Up/Down, และ Rolling Clockwise/Anticlockwise Animatediff V2 เหมาะสำหรับการเพิ่มการเคลื่อนไหวของกล้องที่มีไดนามิกเพื่อเพิ่มความดราม่าให้กับภาพเคลื่อนไหวของคุณ
ใช้ Positive Prompt และ Negative Prompt เดียวกันกับ AnimateDiff V3
CheckPoint:
toonyou_beta6
เมื่อคุณเข้าสู่ AnimateDiff workflow ใน ComfyUI คุณจะพบกลุ่มที่ชื่อว่า "AnimateDiff Options" ดังที่แสดงด้านล่าง พื้นที่นี้มีการตั้งค่าและคุณสมบัติที่คุณอาจจะใช้ขณะทำงานกับ AnimateDiff
ก่อนอื่น เลือกโมดูลการเคลื่อนไหว AnimateDiff ที่คุณต้องการลองใน dropdown ของ model_name:
v3_sd15_mm.ckpt
สำหรับ AnimateDiff V3mm_sdxl_v10_beta.ckpt
สำหรับ AnimateDiff SDXLmm_sd_v15_v2.ckpt
สำหรับ AnimateDiff V2AnimateDiff ต้องการโมเดล Stable Diffusion chickpoint
สำหรับ AnimateDiff V2 และ V3 คุณต้องใช้โมเดล SD v1.5 โมเดลเช่น realisticVisionV60B1_V51VAE , toonyou_beta6 และ cardos_Animev2.0 เป็นตัวเลือกที่ยอดเยี่ยม
ถ้าคุณเอียงไปทาง AnimateDiff SDXL ให้เลือกโมเดล SDXL เช่น sd_xl_base_1.0 หรือ dreamshaperXL10_alpha2Xl10
ในสภาพแวดล้อมของ RunComfy บนคลาวด์ โมดูลการเคลื่อนไหวและโมเดล checkpoint ทั้งหมดถูกติดตั้งล่วงหน้าเพื่อความสะดวกของคุณ
Beta Schedule ใน AnimateDiff กำหนดพฤติกรรมของกระบวนการลดเสียงรบกวนในระหว่างการสร้างภาพเคลื่อนไหว
สำหรับ AnimateDiff V3 และ V2 การตั้งค่า sqrt_linear
เป็นทางเลือกทั่วไป แต่ไม่ต้องลังเลที่จะลอง linear
เพื่อผลลัพธ์ที่น่าสนใจ
สำหรับ AnimateDiff XL ใช้ linear (AnimateDiff-SDXL)
Motion Scale ใน AnimateDiff ให้คุณควบคุมความเข้มของการเคลื่อนไหว ต่ำกว่า 1 หมายถึงการเคลื่อนไหวที่นุ่มนวลกว่า สูงกว่า 1 หมายถึงการเคลื่อนไหวที่ชัดเจนขึ้น
Batch Size ใน AnimateDiff แทนบล็อกพื้นฐานของภาพเคลื่อนไหวของคุณ เป็นปัจจัยพื้นฐานที่กำหนดความยาวของภาพเคลื่อนไหวของคุณ มันกำหนดจำนวน "ฉาก" หรือส่วนที่ภาพเคลื่อนไหวของคุณจะประกอบด้วย
Batch Size ที่ใหญ่ขึ้นนำไปสู่ฉากมากขึ้นในภาพเคลื่อนไหวของคุณ ทำให้เกิดประสบการณ์การเล่าเรื่องที่ยาวนานและซับซ้อนมากขึ้น ไม่มีขีดจำกัดสูงสุดของ Batch Size ดังนั้นคุณสามารถสร้างภาพเคลื่อนไหวได้นานหรือสั้นตามที่คุณต้องการ ขนาด Batch Size เริ่มต้นคือ 16
Uniform Context Length ใน AnimateDiff มีบทบาทสำคัญในการสร้างการเปลี่ยนผ่านที่ราบรื่นระหว่างฉากที่กำหนดโดย Batch Size ของคุณ มันเหมือนกับมีบรรณาธิการที่มีความสามารถที่รู้วิธีการตัดต่อฉากเพื่อให้การเปลี่ยนผ่านเป็นธรรมชาติที่สุด
ความยาวที่คุณตั้งสำหรับ Uniform Context จะกำหนดลักษณะการเปลี่ยนผ่านระหว่างฉาก ความยาวของ Uniform Context ที่ยาวขึ้นนำไปสู่การเปลี่ยนผ่านที่ราบรื่นและค่อยเป็นค่อยไปมากขึ้น ทำให้การเปลี่ยนจากฉากหนึ่งไปยังอีกฉากหนึ่งแทบจะไม่สังเกตเห็นได้ ในทางกลับกัน ความยาวที่สั้นลงจะสร้างการเปลี่ยนผ่านที่รวดเร็วและเห็นได้ชัดเจนมากขึ้น ซึ่งอาจเหมาะสำหรับผลกระทบการเล่าเรื่องบางประเภท ความยาว Uniform Context เริ่มต้นคือ 16
Motion LoRAs ใช้ได้เฉพาะกับ AnimateDiff v2 เท่านั้น สิ่งเสริมที่น่าสนใจเหล่านี้นำชั้นการเคลื่อนไหวของกล้องที่มีไดนามิกมาสู่ภาพเคลื่อนไหวของคุณ เมื่อใช้ Motion LoRAs สิ่งสำคัญคือต้องปรับความสมดุลของน้ำหนัก LoRA ให้ถูกต้อง การตั้งค่าไว้ที่ประมาณ 0.75 มักจะเป็นจุดที่เหมาะสม ให้การเคลื่อนไหวของกล้องที่ราบรื่นโดยไม่มีสิ่งรบกวนในพื้นหลัง
ยิ่งไปกว่านั้น คุณมีอิสระในการสร้างสรรค์เพื่อเชื่อมโยง Motion LoRAs หลายๆ ตัวเข้าด้วยกัน โดยการรวมโมเดล Motion LoRA ต่างๆ อย่างมีกลยุทธ์ คุณสามารถจัดการการเคลื่อนไหวของกล้องที่ซับซ้อน ทดลองและค้นหาการผสมผสานการเคลื่อนไหวที่สมบูรณ์แบบสำหรับวิสัยทัศน์การสร้างภาพเคลื่อนไหวที่เป็นเอกลักษณ์ของคุณ ยกระดับภาพเคลื่อนไหวของคุณไปสู่ผลงานชิ้นเอกทางภาพยนตร์
นี่คือตัวอย่างการใช้ฟีเจอร์ "Pan Left" และ "Zoom In" ของ Motion LoRa ด้วยกัน
เอาล่ะ ตอนนี้คุณมีโมเดลและการตั้งค่า AnimateDiff ของคุณพร้อมแล้ว ถึงเวลาที่จะเปลี่ยนข้อความของคุณให้เป็นภาพเคลื่อนไหววิดีโอ
นี่คือตัวอย่าง
Here's an example of a positive prompt and a negative prompt:
Positive Prompt:(masterpiece, best quality), 1girl, solo, elf, mist, sundress, forest, standing, in water, waterfall, looking at viewer, blurry foreground, dappled sunlight, moss, (intricate, lotus, mushroom)
Negative Prompt: (low quality, nsfw, worst quality, text, letterboxed:1.4), (deformed, distorted, disfigured:1.3), easynegative, hands, bad-hands-5, blurry, ugly, embedding:easynegative
แต่เดี๋ยวก่อน ยังมีอีก! คุณเคยลอง Prompt Travel / Prompt Scheduling ไหม? คิดว่าเป็นเหมือนการเป็นผู้กำกับภาพยนตร์ คุณอยู่ในการควบคุม สร้างเรื่องราวของคุณฉากต่อฉาก มันเหมือนกับการต่อจิ๊กซอว์ที่แต่ละชิ้นเป็นช่วงเวลาในเรื่องราวของคุณ
จินตนาการว่าคุณกำลังสร้างภาพยนตร์ขนาดเล็ก คุณตั้งค่า Prompt 1 ที่ Frame 1 และ Prompt 2 ที่ Frame 8 และอื่นๆ AnimateDiff จะผสมผสาน Prompt เหล่านี้อย่างราบรื่น สร้างการเปลี่ยนผ่านที่นุ่มนวลจาก Frame 1 ถึง Frame 8
เคล็ดลับ: ในขณะที่ Prompt Travel อาจน่าสนใจ แต่สำคัญที่จะทราบว่ามันไม่ใช่ความสำเร็จที่แน่นอนเสมอไป ประสิทธิภาพของ Prompt Travel ขึ้นอยู่กับโมเดล checkpoint ที่คุณเลือก ตัวอย่างเช่น โมเดล cardos_Animev2.0
เข้ากันได้กับ Prompt Travel แต่ไม่ใช่โมเดลทั้งหมด นอกจากนี้ ผลลัพธ์อาจไม่แน่นอน - บาง Prompt อาจไม่ผสมผสานกันได้ดี ทำให้การเปลี่ยนผ่านไม่เป็นที่น่าพอใจ ซึ่งทำให้ Prompt Travel เป็นฟีเจอร์ทดลองมากกว่าที่จะเป็นเครื่องมือที่รับประกันการสร้างภาพเคลื่อนไหวที่ราบรื่น
เราได้วาง "Prompt Travel / Prompt Scheduling" node ไว้ที่ปลายทางของ AnimateDiff ComfyUI workflow ถ้าคุณอยากทดลอง คุณจะต้องใช้ "Prompt Travel" แทนตัวเลือก "Prompt" ปกติ
โดยการใช้งาน AnimateDiff ร่วมกับ Hi-Res fix คุณสามารถเพิ่มความละเอียดของภาพของคุณได้ กระบวนการนี้จะเปลี่ยนภาพที่เลือนเล็กน้อยให้เป็นผลงานที่คมชัด ในส่วนนี้ เราจะแนะนำสองวิธี
การเพิ่มความละเอียดแบบ latent ใน ComfyUI โดยการตั้งค่าเช่น 0.6 denoising strength และเลือก 1.5x upscale คุณจะเห็นภาพเคลื่อนไหวของคุณเปลี่ยนไปด้วยรายละเอียดที่เข้มข้นขึ้นและความคมชัดที่มากขึ้น มันเหมือนกับการใส่แว่นตาและมองเห็นโลกในความละเอียดสูง!
การเพิ่มความละเอียดแบบ latent นั้นเจ๋ง แต่เรามายกระดับด้วย Control Net Assisted Latent Upscale มันใช้ ControlNets เพื่อการเพิ่มความละเอียดที่แม่นยำมากขึ้น ทำให้ภาพเคลื่อนไหวของคุณรักษาความสมบูรณ์ของมัน ด้วยการเพิ่ม preprocessor เส้นและโมเดล controlnet ที่ถูกต้อง คุณจะเพิ่มคุณภาพศิลปะของคุณในขณะที่รักษาจิตวิญญาณของมันไว้
เราได้สำรวจโลกที่น่าตื่นเต้นของ AnimateDiff ใน ComfyUI สำหรับผู้ที่ต้องการทดลองใช้ ComfyUI AnimateDiff Workflow ที่เราได้เน้น ให้ลอง RunComfy ซึ่งเป็นสภาพแวดล้อมบนคลาวด์ที่มี GPU ที่ทรงพลังและเตรียมพร้อมทุกอย่าง รวมถึงโมเดลที่จำเป็นทั้งหมดและโหนดที่กำหนดเอง ไม่มีการตั้งค่าด้วยตนเอง! แค่สนามเด็กเล่นเพื่อปลดปล่อยความคิดสร้างสรรค์ของคุณ 🌟
Author: RunComfy Editors
ทีมบรรณาธิการของเรามีประสบการณ์กับ AI มากกว่า 15 ปี เริ่มต้นจาก NLP/Vision ในยุคของ RNN/CNN เราได้รับประสบการณ์มากมายใน AI Chatbot/Art/Animation เช่น BERT/GAN/Transformer เป็นต้น พูดคุยกับเราหากคุณต้องการความช่วยเหลือเกี่ยวกับศิลปะ AI, ภาพเคลื่อนไหวและวิดีโอ
© ลิขสิทธิ์ 2024 RunComfy. สงวนลิขสิทธิ์