EchoMimic V2更新！自定义数字人动作！|Custom Poses for Your AI Digital Human

Рет қаралды 3,118

AI老腊肉

Күн бұрын

Пікірлер: 30

@thipzhao2478 Ай бұрын

臘肉哥，echomimic是不是不支持apple的mps？我改了幾處地方都會自動跳到cpu

@EhloGuan Ай бұрын

老哥，我在运行这个工作流的模型推理节点时，报错显示前向传播时的输入不正确，请问你遇到过吗？

@sunleyan_2021 Ай бұрын

有具体的报错信息吗

@kennywang8160 13 күн бұрын

有一键包吗？

@mljyt 4 күн бұрын

老师你好，请问EchoMimic V2能否实现只脸部运动呢？

@sunleyan_2021 4 күн бұрын

可以，自己做一个空动作，或者使用V1版就行

@morton566 Ай бұрын

現在的ai影片產生器，可以依音頻檔，自動產生對應嘴型嗎？

@sunleyan_2021 Ай бұрын

这个好像就是这个功能

@Brainstorming1237 Ай бұрын

当您提到自拍一个真人视频时，您说到自拍的不容易找到漂亮的模特，我想你只是要那个视频的动作而已，漂不漂亮是在于你在后来生成数字人时所选的图片是否漂亮，不知道我的理解是否正确？

@sunleyan_2021 Ай бұрын

你的理解没有问题，但是没有考虑到实操问题，如果我们用姿势-controlnet来生成模特效果非常差，你你可以试试，目前最理想的controlnet就是官方的depth和canny，个人建议是depth，但是如果使用depth，对于模特的外形就有要求了。

@Brainstorming1237 Ай бұрын

我的意思是用真人比划手势拍一段120秒的视频，再导入那个拆分为动作的工作流，然后利用这些动作来生成数字人，不是跟你在海螺去用图片生成一个视频同理吗？然后您拿着海螺生成的视频去comfyui中提取的也只是动作手势为接下来生成数字人提供参考，但并不牵涉到这个视频的人物的脸蛋是否漂亮呀？所以以自拍的丑人视频，只要动作手势符合要求就行，去comfyUI提取动作手势为什么会导致后来的数字人的生成也变丑呢？真人虽然也许不那么漂亮，但是动作手势容易到位呀。不知我这样理解说得通吗？因为我没有实践过，只是在观看您的视频时得出这样的想法，所以我的理解未必正确。

@sunleyan_2021 Ай бұрын

@@Brainstorming1237 我知道你的意思，但是人的比例是不同的，会导致姿势图会有差异，如果你的数字人和姿势图不能完美匹配，就得不到最好的效果，会有变形的情况，哪怕这种变形很小。所以才会有第一步的操作

@Brainstorming1237 Ай бұрын

知道了，我只考虑了动作手势的控制，没有想到视频整体人物是否match, 因为没有亲自实践过，所以会很片面地想当然。谢谢指导！

@sunleyan_2021 Ай бұрын

@@Brainstorming1237 如果你需要用真人的化，理论上只要保证手和手臂和你的openpose对齐，应该问题不大，这个我也没有实际尝试过。如果你打算要试一下，麻烦把你的测试结果告知一下谢谢

@iithades Ай бұрын

求google的那个提示词生成器，谢谢大佬

@sunleyan_2021 Ай бұрын

kzbin.info/www/bejne/qYrZp6uCoJydj8U 按照这个视频后半段自己训练

@chenlin322 Ай бұрын

节点包老是下载不全是什么情况

@sunleyan_2021 Ай бұрын

网络环境稳定吗，我是说科学上网环境，或者使用huggingface的镜像

@chenlin322 Ай бұрын

@@sunleyan_2021 好的

@Falkonar 17 күн бұрын

Echo_Sampler list indices must be integers or slices, not str

@RealMusic008 Ай бұрын

本來對這個項目還蠻期待的，對V1版生成的效果很好有很深的印象，雖然1分鐘的音頻花了差不多一小時。 V2版超過10秒鐘的音頻生成時間卻變得超慢，20秒的音頻半小時了都沒完成。。。版本更新了卻更慢，有點失望。現在開源的技術很多都不成熟，不是要求顯卡特別好要40G以上的顯存，就是要求很低但效果強差人意，消費級意義上能落地的應用還需要再等等。

@RealMusic008 Ай бұрын

20秒的音頻，3小時都還沒完成，徹底放棄了。

@chenlin322 Ай бұрын

@@RealMusic008 动作文件我都跑不动😅