ComfyUI  >  Workflows  >  AnimateDiff + ControlNet + IP-Adapter V1 | Cartoonstijl

AnimateDiff + ControlNet + IP-Adapter V1 | Cartoonstijl

In de ComfyUI Workflow integreren we meerdere knooppunten, waaronder Animatediff, ControlNet (met LineArt en OpenPose), IP-Adapter en FreeU. Deze integratie faciliteert de conversie van de originele video naar de gewenste animatie met slechts een handvol afbeeldingen om de gewenste stijl te definiëren. De checkpoint-modellen beïnvloeden echter ook de stijl. We moedigen aan om te experimenteren met verschillende afbeeldingen en checkpoint-modellen om de beste resultaten te bereiken!

ComfyUI Vid2Vid (Cartoon Style) Workflow

ComfyUI AnimateDiff, ControlNet and IP-Adapter Workflow
Wilt u deze workflow uitvoeren?
  • Volledig operationele workflows
  • Geen ontbrekende knooppunten of modellen
  • Geen handmatige instellingen vereist
  • Kenmerken verbluffende visuals

ComfyUI Vid2Vid (Cartoon Style) Voorbeelden

ComfyUI Vid2Vid (Cartoon Style) Beschrijving

1. ComfyUI AnimateDiff, ControlNet, IP-Adapter en FreeU Workflow

De ComfyUI workflow implementeert een methodologie voor het restylen van video's die verschillende componenten integreert—AnimateDiff, ControlNet, IP-Adapter en FreeU—om de mogelijkheden voor videobewerking te verbeteren.

AnimateDiff: Deze component maakt gebruik van temporele verschilmodellen om vloeiende animaties te creëren van statische afbeeldingen in de loop van de tijd. Het werkt door de verschillen tussen opeenvolgende frames te identificeren en deze variaties geleidelijk toe te passen om abrupte veranderingen te verminderen, waardoor de samenhang van de beweging behouden blijft.

ControlNet: ControlNet maakt gebruik van besturingssignalen, zoals die afgeleid van pose schattingstools zoals OpenPose, om de beweging en stroom van de animatie te sturen. Deze besturingssignalen worden gelaagd en verwerkt door modellen die lijken op controlenetten, die op hun beurt de uiteindelijke geanimeerde output vormgeven.

IP-Adapter: De IP-Adapter is ontworpen om invoerafbeeldingen aan te passen zodat ze beter overeenkomen met de beoogde uitvoerstijlen of functies. Het onderneemt processen zoals inkleuring en stijltransfer, waarbij beeldattributen onbewaakt worden gewijzigd.

FreeU: Als een kosteneffectieve verbeteringstool verfijnt FreeU diffusie modellen door de bestaande U-Net-architecturen bij te stellen. Dit resulteert in een aanzienlijke verbetering van de kwaliteit van het genereren van afbeeldingen en video's, met slechts minimale aanpassingen.

Samen werken deze componenten synergetisch binnen deze ComfyUI workflow om invoer om te zetten in gestileerde animaties via een verfijnd, meerfasig diffusieproces.

2. Overzicht van AnimateDiff

Bekijk de details op

3. Overzicht van ControlNet

Bekijk de details op

4. Overzicht van IP-Adapter

Bekijk de details in de 

5. Overzicht van FreeU

5.1. Introductie tot FreeU

FreeU is een geavanceerde verbetering voor diffusie modellen die de kwaliteit van monsters verhoogt zonder extra overhead. Het werkt binnen het bestaande systeem, zonder extra training, zonder extra parameters, en behoudt het huidige geheugen- en verwerkingstijdgebruik. FreeU maakt gebruik van de bestaande mechanismen van de diffusie U-Net-architectuur om de kwaliteit van generaties onmiddellijk te verbeteren.

De innovatie van FreeU ligt in het vermogen om de diffusie U-Net-architectuur effectiever te benutten. Het verfijnt de balans tussen de denoising ruggengraat van de U-Net en zijn hoogfrequente functie-toevoegende skip-verbindingen, waardoor de kwaliteit van gegenereerde afbeeldingen en video's wordt geoptimaliseerd zonder de semantische integriteit aan te tasten.

FreeU is ontworpen voor eenvoudige integratie met populaire diffusie modellen, met minimale aanpassingen en het afstemmen van slechts twee schaalfactoren tijdens inferentie om opmerkelijke verbeteringen in uitvoerkwaliteit te leveren. Dit maakt FreeU een aantrekkelijke optie voor degenen die hun generatieve workflows efficiënt willen verbeteren.

Parameters voor optimale FreeU-prestaties

Voel je vrij om deze parameters aan te passen op basis van je modellen, beeld-/videostijl of taken. De volgende parameters zijn slechts ter referentie.

SD1.4: (wordt binnenkort bijgewerkt)

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

SD1.5: (wordt binnenkort bijgewerkt)

b1: 1.5, b2: 1.6, s1: 0.9, s2: 0.2

SD2.1

b1: 1.4, b2: 1.6, s1: 0.9, s2: 0.2

SDXL

b1: 1.3, b2: 1.4, s1: 0.9, s2: 0.2

Bereik voor meer parameters

Bij het proberen van extra parameters, overweeg de volgende bereiken:

  • b1: 1 ≤ b1 ≤ 1.2
  • b2: 1.2 ≤ b2 ≤ 1.6
  • s1: s1 ≤ 1
  • s2: s2 ≤ 1

Voor meer informatie, bekijk het op

Meer ComfyUI Tutorials

Wilt u meer ComfyUI Workflows?

RunComfy

© Copyright 2024 RunComfy. Alle Rechten Voorbehouden.

RunComfy is de voornaamste ComfyUI platform, dat biedt ComfyUI online omgeving en diensten, samen met ComfyUI workflows met verbluffende visuals.