PixelSmile 정밀한 표정 조절로 정확한 초상화 편집
이 ComfyUI 워크플로우는 Qwen Image Edit 위에 PixelSmile의 정밀한 표정 조절을 제공합니다. 이를 통해 얼굴을 중립에서 특정 감정으로 조절하고, 정체성과 구성을 유지하면서 그 사이를 블렌딩할 수 있습니다. 일반적인 사용 사례에는 인물 사진의 미세한 리터칭, 캐릭터의 감정 변화 탐색, 단일 캔버스에서 제어된 표정 믹스를 제작하는 것이 포함됩니다.
내부적으로, 그래프는 Qwen의 편집 인코더로 중립 및 목표 프롬프트를 인코딩하고, PixelSmile 델타를 계산하여 표정 변화를 분리하며, 여러 목표를 블렌딩한 후 경량 Lightning LoRA로 샘플링하여 빠르고 일관된 결과를 제공합니다. 장면을 재구성하지 않고도 행복, 놀람, 중립 또는 기타 프롬프트 가능한 표정에 대해 예측 가능한 제어를 얻을 수 있습니다.
Comfyui PixelSmile 정밀한 표정 조절 워크플로우의 주요 모델
- Qwen-Image-Edit-2511. 편집 중 레이아웃과 정체성을 유지하는 확산 기반 이미지 편집 백본입니다. 구조 인식, 지역화된 수정 및 안정적인 텍스트 조절 변경을 위해 Qwen-Image를 확장합니다. Model card
- Qwen2.5-VL-7B-Instruct. 짧고 자연스러운 문구에서 강력한 편집 조건을 생성하기 위해 여기서 사용되는 텍스트-비전 모델입니다. Model card
- PixelSmile LoRA. 프롬프트 의미론에 맞춰 선형, 강도 제어된 얼굴 변화를 제공하는 표정 중심 LoRA입니다. 오픈 소스 가중치 및 프로젝트 리소스를 참조하십시오. Hugging Face Paper
- Qwen-Image-Edit-2511-Lightning LoRA. 고품질 편집을 몇 단계만에 가능하게 하는 속도 최적화된 LoRA로, 상호작용적 표정 탐색에 이상적입니다. Model card
Comfyui PixelSmile 정밀한 표정 조절 워크플로우 사용법
플로우는 소스 초상화를 가져와 중립 및 목표 표정 조건을 구축하고, PixelSmile 델타를 계산하고, 여러 목표를 블렌딩한 후 결과를 샘플링하고 디코딩합니다. 인코더 노드에서 편집 프롬프트를 설정하고, PixelSmile 강도와 블렌드를 조정하고, 출력을 미리 봅니다.
소스 초상화 로드 및 작업 크기 설정
LoadImage(#129)를 사용하여 초상화를 가져옵니다. 이미지는 인코더와 크기 프로브에 모두 공급되어 그래프가 원래 해상도로 렌더링할 수 있습니다.GetImageSize+(#257)는 너비와 높이를 읽고,EmptySD3LatentImage(#119)는 같은 크기의 잠재 이미지를 할당합니다. 이렇게 하면 샘플링 중 프레임과 구성이 안정적으로 유지됩니다.
중립 및 목표 표정 설명
TextEncodeQwenImageEditPlus(#248)는 소스 이미지와 쌍을 이루는 중립 설명(예: "중립 표정")을 인코딩합니다. 이것이 참조 상태가 됩니다.TextEncodeQwenImageEditPlus(#113, #260)에서 "행복한 표정" 또는 "놀란 표정"과 같은 하나 이상의 목표 설명을 만듭니다. 각 목표는 동일한 소스 이미지를 사용하여 정체성과 포즈를 고정시킵니다.- 프롬프트는 짧고 자연스러울 수 있습니다. 인코더는 Qwen2.5-VL-7B-Instruct를 사용하여 Qwen-Image-Edit-2511에 맞춘 편집 조건을 도출합니다.
정밀한 제어를 위한 PixelSmile 델타 계산
- 각 목표에 대해
PixelSmileConditioning(#249, #259)는 목표 조건과 중립 조건을 취하여 얼굴 표정 변화를 분리하는 델타를 계산합니다. - 노드는 선형적으로 표정 강도를 조절하는 강도 제어를 노출합니다. 또한 얼굴 영역 외부의 원치 않는 변경을 피하는 데 도움이 되는 표현 단어에 보간을 제한하는 토큰 범위 방법을 지원합니다.
여러 표정 블렌딩
ConditioningAverage(#261)는 두 PixelSmile 출력을 단일 긍정 조건으로 블렌딩합니다. 예를 들어, 40% 놀람과 60% 행복을 혼합하여 복합 감정을 만드는데 사용할 수 있습니다.ConditioningZeroOut(#231)는 잔여 가이던스를 0으로 만들어 깨끗한 부정을 제공합니다. 이렇게 하면 편집이 집중되고 드리프트가 줄어듭니다.
Qwen Image Edit 및 Lightning으로 샘플링
- 모델 스택은 Qwen-Image-Edit-2511 UNet을 로드하고, PixelSmile LoRA를 적용한 후 Lightning LoRA를 레이어링하여 빠르고 일관된 단계를 제공합니다 (
UNETLoader(#244) →LoraLoaderModelOnly(#250, #251) →ModelSamplingAuraFlow(#118)). KSampler(#133)는 블렌딩된 긍정 및 제로화된 부정 조건을 사용하여 노이즈 제거를 실행합니다. Lightning LoRA는 PixelSmile 강도와 블렌드를 반복할 때 몇 단계로 응답성 있는 미리보기를 가능하게 합니다.
디코딩 및 미리보기
VAEDecode(#120)는 최종 잠재 이미지를 다시 이미지로 변환하고,PreviewImage(#134)는 결과를 표시합니다. 잠재 이미지 크기가 소스와 일치하므로 출력은 구성과 가로세로 비율을 유지합니다.
Comfyui PixelSmile 정밀한 표정 조절 워크플로우의 주요 노드
PixelSmileConditioning (#249)
목표 프롬프트와 중립 기준선 사이의 표정 델타를 계산하고 이를 확장하여 강도를 제어합니다. score를 조정하여 표정 변화를 증가 또는 완화할 수 있습니다. method 토글을 사용하여 모든 토큰에 걸쳐 보간하여 보다 넓은 스타일 변화를 주거나, 표현 토큰에 보간을 제한하여 더 엄격한 얼굴 제어를 할 수 있습니다. 이는 종종 머리카락과 배경을 더 충실하게 보존합니다. 노드 구현 세부 사항은 GitHub에서 확인하십시오.
PixelSmileConditioning (#259)
같은 중립 기준선에 대해 병렬 목표(예: "놀람")를 가능하게 하는 두 번째 인스턴스입니다. A/B 표정 트랙을 설정하여 블렌딩할 수 있습니다. 두 PixelSmile score 값을 적당히 유지하십시오. 두 트랙의 극단적인 설정은 결과를 상쇄하거나 과도하게 드라이브할 수 있습니다.
ConditioningAverage (#261)
두 PixelSmile 조건을 하나의 긍정 조건으로 블렌딩합니다. 원하는 표정 쪽으로 가중치를 증가시키거나, 순수한 단일 표현 실행을 위해 한쪽으로 완전히 설정합니다. 미세한 감정을 구축할 때는 균등 분할에 가깝게 시작한 후, 미세한 특징들이 자연스럽게 보일 때까지 소량씩 편향합니다.
TextEncodeQwenImageEditPlus (#113)
짧은 프롬프트와 입력 이미지에서 편집 조건을 생성하여 Qwen2.5-VL-7B-Instruct를 Qwen-Image-Edit-2511의 인코더로 활용합니다. 감정에 대해 간결하고 구체적인 문구를 유지하십시오. 중립 및 목표 인코더 전반에 동일한 소스 이미지를 쌍으로 짓는 것이 정체성 보존의 핵심입니다.
KSampler (#133)
Qwen-Image-Edit 백본 및 Lightning LoRA와 함께 노이즈 제거를 실행합니다. 주로 PixelSmile 강도와 블렌드를 미세 조정할 때 전체 반복 횟수와 변동성을 제어하는 데 사용합니다. 아티팩트가 나타나면, PixelSmile score를 먼저 줄인 후 단계를 늘리십시오.
선택적 추가 항목
- "미세한 행복한 표현" 또는 "약간의 놀람"과 같이 표현 단어를 명확히 유지하여 PixelSmile 델타가 미세 표현으로 향하도록 편향합니다.
- 얼굴 변화가 머리카락이나 배경으로 침범하면 PixelSmile
method를 토큰 제한 보간으로 전환하고score를 약간 줄입니다. - 표현이 약하게 느껴지면 편집 전에 얼굴 주변을 느슨하게 자른 다음 설정을 찾은 후 전체 이미지에 다시 적용하십시오.
- 미리보기 속도를 높이기 위해 Lightning LoRA와 낮은 단계로 반복한 후, 필요한 경우 최종 내보내기를 위해 단계 수를 높이십시오.
참조 모델 및 프로젝트 리소스에 대한 링크:
- PixelSmile 프로젝트 및 가중치: Hugging Face 및 논문 PixelSmile: Toward Fine-Grained Facial Expression Editing
- PixelSmile ComfyUI 노드: GitHub
- Qwen-Image-Edit-2511: Hugging Face
- Qwen2.5-VL-7B-Instruct: Hugging Face
- Qwen-Image-Edit-2511-Lightning: Hugging Face
감사의 말씀
이 워크플로우는 다음 작품 및 리소스를 구현하고 확장합니다. 우리는 원본 게시물에 대한 r/StableDiffusion 커뮤니티, PixelSmile 모델에 대한 PixelSmile, ComfyUI PixelSmile Conditioning Interpolation 노드에 대한 judian17의 기여와 유지 보수에 대해 감사드립니다. 권위 있는 세부 사항은 아래에 링크된 원본 문서 및 저장소를 참조하십시오.
리소스
- r/StableDiffusion/원본 게시물
- 문서 / 릴리스 노트: Reddit 게시물
- PixelSmile/PixelSmile
- Hugging Face: PixelSmile/PixelSmile
- judian17/ComfyUI-PixelSmile-Conditioning-Interpolation
참고: 참조된 모델, 데이터셋 및 코드를 사용하는 것은 저자 및 유지 관리자가 제공한 해당 라이선스 및 조건에 따릅니다.
