参数名称 | 说明 |
---|---|
torch_compile_args | Torch 编译配置参数字典,供模型加载器调用,实现编译优化。 |
WanVideo Torch Compile Settings
节点功能:配置 torch.compile 编译参数,用于提升推理性能
输出参数
控件参数
参数名称 | 说明 |
---|---|
backend | 编译后端类型,可选值:inductor、cudagraphs。默认使用 inductor。inductor 是 PyTorch 官方推荐的编译器,兼容性强;cudagraphs 则能提高推理速度,但要求模型结构稳定且支持 CUDA 图。 |
fullgraph | 是否启用完整图优化(Full Graph Mode)。 启用后尝试将整个模型一次性图编译,可能加快速度但容易报错,建议高级用户使用。 |
mode | 编译模式,控制 torch.compile 的优化策略。可选值包括: ① default:默认模式。 ② max-autotune:启用最大调优,提升性能。 ③ max-autotune-no-cudagraphs:最大调优但关闭 CUDA 图(cudagraphs)。 ④ reduce-overhe通常推荐使用 max-autotune; 如遇 cudagraphs 报错可尝试 max-autotune-no-cudagraphs;若追求稳定性或低端设备使用 default 或 reduce-overheadad:优化低开销执行,适合小模型或低性能设备。 |
dynamic | 是否启用动态图支持。启用后可接受输入尺寸变化,如不同长度的视频帧等。 |
dynamo_cache_size_limit | 设置 torch._dynamo.config.cache_size_limit,用于限制图缓存数量,默认 64。 |
compile_transformer_blocks_only | 是否仅编译 Transformer 块。默认启用,可以缩短编译时间并提高稳定性。 |
dynamo_recompile_limit | 设置 torch._dynamo.config.recompile_limit,限制最大重编译次数,默认 128。 |
sageattn
Torch Compile+sageattn(其实一般在1分20秒左右,这里是最快的一次)
该节点保持默认参数即可,调整参数的加速效果不是很明显。