ComfyUI Vid2Vid arbetsflöde, skapat av , introducerar två distinkta arbetsflöden för att uppnå högkvalitativa, professionella animationer.
Detta arbetsflöde förbättrar kreativiteten genom att fokusera på komposition och maskering av din ursprungliga video.
Välj de lämpliga modellerna för din animation. Detta inkluderar att välja checkpoint-modellen, VAE (Variational Autoencoder) modell och LoRA (Low-Rank Adaptation) modell. Dessa modeller är avgörande för att definiera kapaciteten och stilen på din animation.
Input Video noden ansvarar för att importera videofilen som kommer att användas för animationen. Noden läser videon och konverterar den till individuella ramar, som sedan bearbetas i efterföljande steg. Detta möjliggör detaljerad redigering och förbättring av varje ram.
Ta bort bakgrund (Auto Masking) isolerar ämnet från bakgrunden med hjälp av en automatiserad maskeringsteknik. Detta involverar modeller som upptäcker och separerar förgrundsämnet från bakgrunden, vilket skapar en binär mask. Detta steg är avgörande för att säkerställa att ämnet kan manipuleras oberoende av bakgrunden.
Detta steg tillåter förfining av masken som skapades i föregående steg. Du kan antingen manuellt maskera specifika områden med annan programvara eller förlita dig på ComfyUI's 'Segment Anything' automatiserade maskfunktion.
Standardversionen använder en manuell mask. Om du vill prova den automatiska, vänligen kringgå den manuella maskgruppen och aktivera den automatiska maskgruppen. Anslut dessutom MASK av 'GroundingDinoSAM' (auto mask) till 'GrowMaskWithBlur' istället för att ansluta 'ImageToMask' (manuell mask) till 'GrowMaskWithBlur'.
Transform Mask konverterar masken till en bild och tillåter ytterligare justeringar som att lägga till oskärpa till den ursprungliga masken. Detta hjälper till att mjuka upp kanterna och få masken att smälta in mer naturligt med resten av bilden.
Ange textuella prompts för att styra animationsprocessen. Promten kan beskriva den önskade stilen, utseendet eller handlingarna för ämnet. Det är avgörande för att definiera den kreativa riktningen för animationen och säkerställa att slutresultatet matchar den föreställda konstnärliga stilen.
AnimateDiff noden skapar mjuka animationer genom att identifiera skillnader mellan på varandra följande ramar och applicera dessa förändringar gradvis. Detta hjälper till att bevara rörelsesammanhanget och minska abrupta förändringar i animationen, vilket leder till ett mer flytande och naturligt utseende.
IPAdapter noden anpassar inmatningsbilderna för att alignera dem med de önskade utgångsstilarna eller funktionerna. Detta inkluderar uppgifter som färgläggning och stilöverföring, vilket säkerställer att varje ram av animationen bibehåller ett konsekvent utseende och känsla.
Användning av ControlNet - v1.1 - Instruct Pix2Pix Version model förbättrar diffusionsmodeller genom att möjliggöra bearbetning av ytterligare inmatningsvillkor (t.ex. kantkartor, segmenteringskartor). Det underlättar text-till-bild-generering genom att kontrollera dessa förtränade modeller med uppgiftsspecifika villkor på ett end-to-end sätt, vilket möjliggör robust inlärning även med mindre dataset.
I Render steget kompileras de bearbetade ramarna till en slutlig videooutput. Detta steg säkerställer att alla individuella ramar kombineras sömlöst till en sammanhängande animation, redo för export och vidare användning.
Detta involverar att komponera det animerade ämnet med bakgrunden. Du kan lägga till en statisk eller dynamisk bakgrund till animationen, vilket säkerställer att ämnet integreras smidigt med den nya bakgrunden för att skapa en visuellt tilltalande slutprodukt.
Genom att använda ComfyUI Vid2Vid arbetsflöde Del1, kan du skapa intrikata animationer med exakt kontroll över varje aspekt av processen, från komposition och maskering till slutlig rendering.
© Copyright 2024 RunComfy. Alla Rättigheter Förbehållna.