高度なライブポートレート | パラメータコントロール

1. ComfyUI高度なライブポートレートワークフローとは？

ComfyUIの高度なライブポートレートワークフローは、写真やビデオ内の表情を直接変更することでリアルなアニメーションを作成する強力なツールです。頭の動き、目の瞬き、眉の動き、瞳の位置、口の形、笑顔など、顔のさまざまな側面を微調整するための一連のノードとパラメータを提供し、顔のアニメーションを次のレベルに引き上げます。

以前のライブポートレートツールでは、ソースビデオを参照して静止画像をアニメートできましたが、高度なライブポートレートはより高度な機能と表情の制御を提供します。高度なライブポートレートを使用すると、個々のパラメータを調整して画像内の表情を正確に変更し、ユニークなアニメーションを作成できます。

2. 高度なライブポートレートの利点:

• 静止写真に自然な動きと表情を加えて、より魅力的でダイナミックにします。
• カスタマイズ可能なパラメータを通じて生成されたアニメーションを高度に制御でき、顔の表情のあらゆる側面を微調整できます。
• 複数の動きと表情を組み合わせて、複雑でリアルなアニメーションを作成できます。
• 参照ビデオを使用して、アニメーション出力内の表情と動きを駆動させることができます。

3. ComfyUIで高度なライブポートレートワークフローを使用する方法

高度なライブポートレートは、写真やビデオ内の表情を変更することでリアルなアニメーションを作成するための強力なツールです。このチュートリアルでは、素晴らしい結果を達成するための高度なライブポートレートワークフローの使用方法をガイドします。

3.1. 高度なライブポートレートを使用して写真の表情を編集する

高度なライブポートレートワークフローの最初のステップは、Expression Editor (PHM) ノードを使用して写真の表情を変更することです。このノードは、頭の動き、目の瞬き、眉の動き、瞳の位置、口の形、笑顔など、顔のさまざまな側面を微調整するための広範なパラメータを提供します。

高度なライブポートレートのExpression Editorパラメータ:

• rotate_pitch: 頭の上下の動きを制御します。
• rotate_yaw: 頭の左右の動きを調整します。
• rotate_roll: 頭の傾き角度を決定します。
• blink: 目の瞬きの強度を制御します。
• eyebrow: 眉の動きを調整します。
• wink: ウィンクを制御します。
• pupil_x: 瞳を水平に動かします。
• pupil_y: 瞳を垂直に動かします。
• aaa: 「aaa」母音音のための口の形を制御します。
• eee: 「eee」母音音のための口の形を制御します。
• woo: 「woo」母音音のための口の形を制御します。
• smile: 笑顔の度合いを調整します。
• src_ratio: 適用されるソース表情の比率を決定します。
• sample_ratio: 適用されるサンプル表情の比率を決定します。
• sample_parts: 適用するサンプル表情の部分を指定します（"OnlyExpression", "OnlyRotation", "OnlyMouth", "OnlyEyes", "All"）。
• crop_factor: 顔の領域のクロップファクターを制御します。

高度なライブポートレートワークフローでこれらのパラメータを調整することで、写真内の表情を正確に制御し、望むルックを作り出すことができます。

3.2. 高度なライブポートレートで複数の動きを追加する

高度なライブポートレートを使用すると、複数の動きを組み合わせて複雑なアニメーションを作成できます。追加の動きを追加するには、Expression Editor (PHM) ノードを複製し、パラメータを適宜調整します。各追加のExpression Editor (PHM) ノードは新しい動きを表し（例: motion 2, motion 3 など）、

Expression Editor (PHM) ノードのシーケンスは、後続の高度なライブポートレートノードで使用されるモーションインデックスを決定します。提供されたワークフローでは、4つのExpression Editor (PHM) ノードがあり、それぞれmotion1, motion2, motion3, motion4を表します。ノードを簡単に追加または削除して、高度なライブポートレートワークフローでより高度な表情と動きを作り出すことができます。

3.3. 高度なライブポートレートノードで動きを組み合わせる

高度なライブポートレートノードは、高度なライブポートレートワークフローの核心部分です。複数の動きを組み合わせてビデオを生成します。ノードは、"command"入力で指定された特定の形式を使用して、各動きのシーケンスと期間を指定できます。

• 最初の数字はモーションインデックスを表します（例: 元のソースモーションは0、motion 1は1など）。
• 2番目の数字は変更フレームの長さを表します（例: 5は次の動きに移行するのに5フレームかかることを意味します）。
• 3番目の数字は次の動きを待つフレームの長さを表します（例: 3は次の動きに移行する前に現在の動きに3フレーム留まることを意味します）。

例えば、"1 = 5:3"は、motion 1が前の画像から移行するのに5フレームかかり、次の画像に移行する前にmotion 1に3フレーム留まることを意味します。

3.4. 高度なライブポートレートでソースビデオを使用する（オプション）

高度なライブポートレートは、表情と動きの参照としてソースビデオを使用することもできます。

高度なライブポートレートワークフローにソースビデオを組み込む方法は次のとおりです:

1. Load Videoノードを高度なライブポートレートノードの"driving_images"入力に接続します。
2. 高度なライブポートレートノードで"tracking_src_vid"パラメータをTrueに設定して、ソースビデオのトラッキングを有効にします。
3. 高度なライブポートレートノードは、ソースビデオをフレームごとに処理し、"command"入力で指定されたシーケンスと期間に基づいて対応する動きを適用します。
4. ソースビデオからの表情と動きが各フレームの開始点として使用されます。
5. 定義された動きがソースビデオの表情と動きの上に適用されます。
6. 高度なライブポートレートノードの"retargeting_eyes"と"retargeting_mouth"パラメータは、出力ビデオにおけるソースビデオの目と口の動きの影響を制御します。
7. 出力ビデオにおける結果の表情と動きは、ソースビデオと適用された動きの組み合わせになります。

ソースビデオを使用せずにアニメーションビデオを生成したい場合は、高度なライブポートレートノードで"animate_without_vid"パラメータをTrueに設定します。

詳細情報

高度なライブポートレートワークフローの詳細については、PowerHouseMan/ComfyUI-AdvancedLivePortraitをご覧ください。