EchoMimicV2常见问题汇总

[lymhust]

1. 正确使用方法

• 图像和手势需要对齐，notebook图像对齐和手势提取代码参考demo.ipynb。
• 主页提供的Flux生成的40张图是对齐过的，最简单的方法是用主页提供的图作为参考图，用ControlNet或者图生图生成类似的人像。
• 目前训练集我们严格挑选了正面、半身的数据进行了训练，因此侧面、非半身的非标准图目前算法不支持。下面是一些不支持的类型。
• 处理的比较好的博主，可以参考：
  • https://www.youtube.com/watch?v=-5fWC7RYXYk
  • https://www.youtube.com/watch?v=DLISdf89VeQ
  • https://www.youtube.com/watch?v=ZbESNjpKKe8
  • https://www.youtube.com/watch?v=buBFYizOxcw
  • https://www.youtube.com/watch?v=2ab6U1-nVTQ
  • https://www.youtube.com/watch?v=2P49SCJYEbY
  • https://www.youtube.com/watch?v=Pc6Lo58JuCg
  • [视频号]AI应用帮丨Danny的视频
  • [视频号]AI脑动力
• 常见处理问题：
  • 生成视频变形较大 #35

2. 速度问题

• 目前基于SD的算法对显卡和显存要求较高，算法跑起来大概16G左右，普通消费卡速度较慢。
• 加速版已经训练完成并发布，推理代码参考infer_acc.py。

3. 生成视频噪点问题

• 可以通过调整CFG参数来降低生成噪声。调整范围为1.5-3.0，CFG越低，视频质量越好，但是嘴型效果越差。CFG越高，视频质量越差，但是嘴型效果越好

cfg1-5.mp4

cfg1-8.mp4

cfg2-0.mp4

cfg2-5.mp4

4. 如何生成高质量参考图

• 主页提供的Flux生成的40张图是对齐过的，最简单的方法是用主页提供的图作为参考图，用ControlNet或者图生图生成类似的人像。
• 主页提供的图是Flux+小红书Lora生成的，其中用到的Lora如下：
  • 女版Lora：https://www.liblib.art/modelinfo/d9675e37370e493ab8bf52046827a2b0?via=techmoon&versionUuid=7852ee527ca34d8b940d0749a75e4b67
  • 男版Lora：https://www.liblib.art/modelinfo/8963f90cea46474b84fd4bbfc990e0cc?from=search&versionUuid=61172bdb46a6412e817c5a1bf4a72f6c
• 不会部署代码的，可以用现有的工具，例如：
  • 通义万象虚拟模特（https://tongyi.aliyun.com/wanxiang/app/virtual-model）
  • 即梦（https://jimeng.jianying.com/ai-tool/image/generate）
  • KERA.AI（https://www.krea.ai/apps/image/flux）
  • 用我们提供的Flux作为模板参考图。下面以通义万象、即梦和KERA.AI为例，展示如何生成高质量符合要求的模特。

5. Linux下安装脚本

• #57

6. windows系统下项目使用教程

• 视频：https://www.bilibili.com/video/BV1mhz5YxEf3/?vd_source=669a41b5549159436dfac89400bacf7e
• 文档：https://cqldg89mjy4.feishu.cn/docx/Ayp7dZehNo1M42x4hkNcX3IAn4e?from=from_copylink

7. 关于时长问题

• 我们高度重视这一问题，我们已经在开发一个jupyter notebook，近期发布，集成自定义pose时长、参考图对齐与分段推理，敬请期待。
• 我们的EchoMimicV2生成时长在原理上不受限制。显存允许情况下可以增加时长。
• issue中朋友们高频的提问是自己调大时长，但是仍然只能生成13s的视频。在项目所需必要环境配置正确情况下，这一问题的归因应是用户使用了我们提供的pose序列测试样例（只有13s）。如果使用自定义时长的pose，将不会出现类似问题。

[529507929]

我应该如何训练自己的自定义动作？

[muyuwuxin]

是否可以自定义动作序列

[xiaoqianzizi]

是否可以提供api接口脚本

[ShelveyH]

I executed the project following the github. However, the GPU MEN only 1 to 2 GB in processing, with the rtx-4090

[ECCKaka]

python .\app_acc.py 会报错，请问是不是我这里哪里有问题？谢谢