ComfyUI_Sonic>Overview

# 标签

数字人AI 虚拟主播唇形同步音画同步音频驱动肖像动画图像驱动动画
ComfyUI_Sonic
时间:2025/06/28

ComfyUI_Sonic插件

GitHub网址https://github.com/smthemex/ComfyUI_Sonic
GitHub星数1055
插件作者smthemex
插件最近更新时间2025/05/22
​       ComfyUI_Sonic 是一个 AI 语音驱动的嘴型同步插件,用于实现 AI 数字人、虚拟角色、动画生成 的音频驱动动画效果。它可以将音频波形数据转换为嘴型变化数据,从而驱动 AI 角色的嘴型动画,实现“语音-嘴型匹配”。

安装方法

第一种

通过manager搜索 sonic下载即可。

第二种

  1. 进入 ComfyUI 的 custom_nodes 目录,并打开cmd
  2. 使用以下命令克隆仓库:
git clone https://github.com/smthemex/ComfyUI_Sonic.git

  1. 进入文件夹
cd ComfyUI_Sonic
  1. 安装相应库文件

==虚拟环境==

pip install -r requirements.txt

==内置python环境==

python -m pip install -r requirements.txt

模型下载

模型下载:点击下载1|点击下载2(两个链接中的文件都要下载),按以下目录结构放置

ComfyUI/models/sonic/
    |-- audio2bucket.pth
    |-- audio2token.pth
    |-- unet.pth
    |-- yoloface_v5m.pt
    |-- whisper-tiny/
        |--config.json
        |--model.safetensors
        |--preprocessor_config.json
    |-- RIFE/
        |--flownet.pkl

SVD checkpoints下载: svd_xt.safetensors | svd_xt_1_1.safetensors(这两个文件随便选择一个下载,svd_xt_1_1小一些)按以下目录结构放置

ComfyUI/models/checkpoints
    ├── svd_xt.safetensors  or  svd_xt_1_1.safetensors


广告

可加入知识星球获取所有示例工作流

广告

微信扫码入群,加入AIGC大家庭,与大家一起交流学习