SkyReels-A2 | マルチエレメントビデオ生成

SkyReels-A2: Advanced Element-to-Video Technology

1. ComfyUI SkyReels-A2ワークフローとは？

SkyReels-A2は、複数の参照画像を流動的で動的に生成されたビデオに組み合わせる高度なElement-to-Video（E2V）ワークフローです。Skywork AIによって開発されたこのSkyReels-A2技術は、各要素のアイデンティティと視覚的な忠実性を維持しながら、キャラクター、オブジェクト、背景を統合することを可能にします。従来の画像からビデオへのアプローチとは異なり、SkyReels-A2は、各要素の参照忠実性を保持しつつ、自然な相互作用を作成するという課題に特化しており、仮想製品デモ、キャラクターアニメーション、複雑なシーン構成に最適です。

2. ComfyUI SkyReels-A2の利点:

• SkyReels-A2によるマルチエレメント統合: 3つの異なる参照要素（人物、オブジェクト/別の人物、シーン）を1つの統合されたビデオに組み合わせます。
• アイデンティティの保持: SkyReels-A2は、参照画像への高い忠実性を維持しつつ、自然な動きと相互作用を作成します。
• 柔軟な構成: SkyReels-A2システムを使用して、テキストプロンプトを通じて要素間の関係を制御します。
• 解像度の制御: SkyReels-A2ワークフローは、異なるシーンタイプに合わせて入力画像の解像度を調整することを可能にします。
• 背景の除去: より良い構成のために被写体を背景から自動的に分離します。
• 正確なパディング制御: SkyReels-A2での数学的パディング計算を使用して、要素の配置と重要度を微調整します。
• シームレスな統合: 高品質なSkyReels-A2の結果を得るためにWAN2.1ビデオ生成技術と互換性があります。

3. ComfyUI SkyReels-A2ワークフローの使い方

3.1 SkyReels-A2イメージ準備プロセス

SkyReels-A2用要素画像の準備:

SkyReels-A2ワークフローには、3つの主要な画像グループがあります:

SkyReels-A2のSubject1Image: メインキャラクター/人物

• 画像を"Subject1Image"グループにロードします
• 最適なフレーミングを得るためにMask Bounding Boxノードを使用します
• パディング計算にはSimple Mathを適用します（a-40）
• シーンタイプに応じて640×480または832×480にリサイズします
• ImageCompositeMaskedを使用して、クリーンな背景に被写体を配置します

SkyReels-A2のSubject2Image: オブジェクトまたは二次キャラクター/人物

• 画像を"Subject2Image"グループにロードします
• 最適なフレーミングを得るためにMask Bounding Boxノードを使用します
• パディング計算にはSimple Mathを適用します（a-40）
• ImageCompositeMaskedを使用して、クリーンな背景に配置します
• 被写体画像の解像度に合わせてリサイズします

重要: ペン、ブラシ、ハンドヘルドアイテムなどの小さなオブジェクトの場合、Resize Imageノードの幅パラメータを低い値（10-20）に調整し、keep_proportionをtrueに設定します。これにより、最終構成でオブジェクトがキャラクターによって保持される際に不自然に大きく見えないように、オブジェクトの相対的なサイズを制御します。

SkyReels-A2のBackgroundImage: 環境

• 画像を"BackgroundImage"グループにロードします
• 選択した解像度（640×480または832×480）に合わせてリサイズします
• アスペクト比を維持するためにセンタークロップを適用します
• SkyReels-A2との互換性を確保するために、divisible_byの値を高く（16）設定します

3.2 SkyReels-A2エレメント構成プロセス

SkyReels-A2バッチアセンブリ:

1. ImageBatchRepeatInterleavingを4リピートに設定します
2. 最適なSkyReels-A2処理のために、すべての画像が同じ解像度とアスペクト比を維持していることを確認します

3.3 SkyReels-A2ビデオ生成設定

SkyReels-A2テキストエンコーディング:

1. 要素間の関係を説明するようにプロンプトを設定します
2. 3つの要素すべてが言及されていることを確認します

3.4 SkyReels-A2解像度ガイドライン

SkyReels-A2でのクローズアップポートレートの場合:

• 640×480解像度を使用
• すべての側面に20pxのパディングを調整（a-40式）

SkyReels-A2での全身ショットの場合:

• 832×480解像度を使用
• 適切なフレーミングを維持するためにパディングを調整

SkyReels-A2での複数の被写体の場合:

• 要素の突出を制御するために異なるパディング値を試してみてください

4. SkyReels-A2 E2V技術の技術的説明

SkyReels-A2ワークフローは、2ブランチのエンコーディングアプローチを使用しています:

1. SkyReels-A2での一般的な特徴エンコーディング: CLIP Vision Encoderは、テキストプロンプトに似たトークンのような表現を抽出します
2. SkyReels-A2での空間特徴エンコーディング: 3D VAE Encoderは、各要素の詳細な空間特性をキャプチャします

これらのエンコーディングは、要素間の望ましい関係を説明するテキストプロンプトと組み合わされます。

5. SkyReels-A2パフォーマンス最適化

SkyReels-A2 VRAM管理:

• SkyReels-A2ワークフローのメモは、バッチサイズが10になると簡単にメモリエラーが発生する可能性があると警告しています
• テストには33フレームを使用し、最終的なSkyReels-A2制作のために増やします

SkyReels-A2最適化ノード:

• Use_jit: true（SkyReels-A2での背景除去ノードの両方に）
• WanVideo TECache: latent_scale_factor: 0.25で有効
• WanVideo VRAM管理: offload_percent: 1.00
• SkyReels-A2でのメモリ効率を向上させるためにuse_non_blockingオプションを有効にします

謝辞

このワークフローは、Skywork AIの研究チームによって開発されたSkyReels-A2モデルに基づいています。オリジナルのモデルと研究はで入手可能です。SkyReels-A2のComfyUI実装はによって提供されています。ビデオ拡散トランスフォーマーとSkyReels-A2のエレメントからビデオへの技術における革新的な仕事をしたオリジナルの著者に全てのクレジットが与えられます。