FramePackラッパー | 効率的な長時間ビデオ生成

ComfyUI FramePackラッパーの説明

1. ComfyUI FramePackラッパーとは？

ComfyUI FramePackラッパーは、スタンフォード大学の高度なFramePack技術をComfyUI環境に統合します。FramePackは、革新的なフレームコンテキストパッキング技術に基づいて構築されており、最小限のコンピューティングリソースで効率的かつ高品質な長時間ビデオ生成を可能にします。FramePack技術により、6GBのラップトップGPUのような控えめなGPU構成を使用しても、フル30fpsで数千のフレームを生成できます。これにより、プロフェッショナルなビデオ作成が誰にでもアクセス可能になります。FramePackの独自のビデオ生成アプローチは、画像の拡散のように感じられますが、卓越したビデオ結果を提供します。

2. ComfyUI FramePackラッパーの利点:

• 効率的なリソース使用: FramePackは、より小さなクラウドマシンで最小のGPUメモリ要件でビデオを生成します
• O(1)計算複雑度: FramePackはビデオの長さに関係なく一定の処理速度を維持します
• アンチドリフト技術: FramePackは、時間の経過によるビデオ品質の劣化という一般的な問題を解決します
• 長時間ビデオの一貫した品質: FramePackは、他のビデオ生成モデルに典型的な劣化なしで、30-60秒以上のビデオでも高い視覚品質を維持します
• タイムステップ蒸留なし: FramePackは効率を維持しながら品質を保ちます

3. ComfyUI FramePackラッパーの使用方法

3.1 ComfyUI FramePackでの生成方法

FramePackのセットアップ例:

1. 入力の準備:
   • Load Imageノードで、ビデオにアニメーション化される参照画像をアップロードします
2. キーパラメータの設定:
   • FramePackSamplerでビデオの長さを設定します（例: 5.0秒）
   • Video Combineでフレームレート（例: 30）と出力形式（例: video/h264-mp4）を設定します
3. runボタンをクリックしてFramePackワークフローを実行します
4. 生成されたFramePackビデオは、Video Combineノードの設定に従って保存されます

3.2 ComfyUI FramePackのパラメータ参照

FramePackSamplerノード:

• steps: 拡散ステップの数（例: 30） - 高い値はより良い品質を生みますが、FramePackで時間がかかります
• guidance_scale: FramePackでの追加ガイダンス強度（例: 10.00） - 高い値はプロンプトにより厳密に従います
• seed: FramePackで再現可能な結果を得るためのランダムシード（例: 47）
• total_second_length: FramePackで生成されるビデオの秒数（例: 5.0）
• control_after_generate: FramePackでのアンチドリフトサンプリング方法を制御します（「fixed」を保持して最良の結果を得ます）

Video Combineノード:

• frame_rate: 出力FramePackビデオのフレーム毎秒（例: 30）
• crf: 圧縮品質係数（例: 19） - 低い値は高品質のFramePackビデオを意味します

3.3. ComfyUI FramePackでの高度な最適化

FramePackを使用した長時間ビデオの生成: FramePackの主な強みの1つは、効率的に拡張されたビデオを生成する能力です。長時間のビデオを作成するには:

• FramePackSamplerノードでtotal_second_lengthパラメータを増やします（例: 5.0から10.0、30.0、または60.0+まで）
• FramePackの高度なアンチドリフトサンプリング技術を利用するためにcontrol_after_generateを「fixed」に設定します
• 10秒を超えるビデオを生成する際は、メモリ使用量を管理するためにgpu_memory_preservation値をわずかに増やすことを検討してください
• 非常に長いビデオ（30秒以上）の場合は、latent_window_sizeパラメータを減らす必要があるかもしれません
• FramePackのO(1)計算複雑度は、ビデオの長さに関係なく一貫した生成速度を保証します
• 時間的プロンプトを書く: より長いビデオのために、「徐々に」、「ゆっくり」、「その後」のような言葉を含めて、時間の流れを導き、要素が時間とともにどのように変化するかを説明します

ビデオ解像度の調整: FramePackビデオ出力の解像度を変更するには、ワークフローの"Resize Image"ノードを調整します:

• ご希望のFramePackビデオの寸法を設定するためにwidthとheightパラメータを変更します
• 最適なFramePack結果を得るために、寸法を8の倍数に保つことをお勧めします
• 注意: 高い解像度はFramePackでより多くのGPUメモリと処理時間を必要とします
• より大きな解像度の場合、FramePackでのメモリ使用量をバランスするためにgpu_memory_preservationパラメータを調整する必要があるかもしれません

FramePackプロンプトのヒント:

• FramePackの結果を向上させるために、プロンプトで動作と移行を非常に詳細に説明してください
• FramePackでの望ましい動きを説明する具体的な動詞を含めてください
• 最良の結果を得るために、FramePackビデオ内でシーンと要素の動きや変化をどのようにすべきかを説明してください

FramePackについての詳細情報

FramePack技術は、伝統的な因果制約を破り、長時間のビデオでも品質の劣化を防ぐ革新的な双方向サンプリング手法を使用しています。特に画像からビデオへの生成では、FramePackは"反転アンチドリフトサンプリング"を使用し、生成プロセス全体を通じて最初のフレームを近似ターゲットとして扱い、60秒以上（1800フレーム以上）のビデオでも高品質な結果を保証します。

追加の詳細とFramePackモデルのダウンロードについては:

謝辞

このワークフローは、スタンフォード大学のLvmin ZhangとManeesh Agrawalaによって開発されたFramePackによって支えられています。ComfyUI FramePackラッパーは、kijaiによって提供され、FramePack技術を使用して効率的な長時間ビデオ生成を可能にするカスタマイズされたワークフローと統合が含まれています。FramePackの画期的な研究に対する功績は、元の著者にあります。