wan2.2图生视频的时候Lora导致人脸变化怎么解决?

我用comfyui本地部署了ai模型Wan 2.2 14b I2V,多加载了两个风格Lora,一个高噪一个低噪,结果用图生视频的时候人的五官容貌变了,和原图明显不一样,这个是什么原因,怎么才能让人物保持一致性?

3个回答

东方 - 资深小编
擅长:互联网技术/编程

应该是因为加载低噪Lora导致的人物变脸。

Wan 2.2的高噪Lora负责规划视频场景和人物动作轨迹,低噪Lora专门处理细节,像是表情、五官这些都归低噪处理。

有些三方的低噪Lora模型存在缺陷,作者用视频训练Lora的时候,视频里的人脸区域没剪切掉,也没打标签,所以模型强度的数字设置高了会影响原图人物的五官,尤其是变换表情或者场景后,整个脸完全像是变了一个人。

解决主要有四个办法。

wan2.2

1、加提示词

开头的提示词增加这些:

容貌始终不变化,(Her face looks the same as the first frame:1.5)

人物是男人的话就把英文的Her改成his。

2、调低Lora强度

提示词如果没效果,可以把影响面部的这个低噪Lora的强度先调到0.8看看,还变脸就每次减0.1继续测试。

强度低了,Lora的风格效果可能会略差一些,当然,高了效果好但影响面部,这个要自己取舍。

3、停用这个低噪Lora

一般强度调到0.4-0.5对面部的影响就会很少了,如果降到0.3仍然变脸,那就只能停止使用这个低噪Lora,找同类型的代替。

4、训练人脸Lora

这个俗称炼丹,就是把一个人的模样训练成Lora,到时候加载这个人脸Lora,强度调到1.0,用你训练设定的触发词,基本就不会变了,训练教程在哔哩哔哩有很多。

虾仁 - 网友

低噪lora的问题吧,我也遇到过,不用就好了

乐开怀 - 网友

有没有可能是因为你用了GGUF量化版,分辨率设的太低才变脸的?