ComfyUI_Sonic插件

前言

​ ComfyUI_Sonic 是一个 AI 语音驱动的嘴型同步插件，用于实现 AI 数字人、虚拟角色、动画生成 的音频驱动动画效果。它可以将音频波形数据转换为嘴型变化数据，从而驱动 AI 角色的嘴型动画，实现“语音-嘴型匹配”。

---

安装方法

第一种

通过manager搜索 sonic下载即可。

第二种

1. 进入 ComfyUI 的 custom_nodes 目录，并打开cmd
2. 使用以下命令克隆仓库：

git clone https://github.com/smthemex/ComfyUI_Sonic.git

3. 进入文件夹

cd ComfyUI_Sonic

4. 安装相应库文件

==虚拟环境==

pip install -r requirements.txt

==内置python环境==

python -m pip install -r requirements.txt

---

模型下载

模型下载：点击下载1|点击下载2（两个链接中的文件都要下载），按以下目录结构放置

ComfyUI/models/sonic/
    |-- audio2bucket.pth
    |-- audio2token.pth
    |-- unet.pth
    |-- yoloface_v5m.pt
    |-- whisper-tiny/
        |--config.json
        |--model.safetensors
        |--preprocessor_config.json
    |-- RIFE/
        |--flownet.pkl

SVD checkpoints下载： svd_xt.safetensors | svd_xt_1_1.safetensors（这两个文件随便选择一个下载，svd_xt_1_1小一些）按以下目录结构放置

ComfyUI/models/checkpoints
    ├── svd_xt.safetensors  or  svd_xt_1_1.safetensors