加速效果相对来说不够明显。
extra_nodes
时间:2025/06/28
TorchCompileModel
节点功能:TorchCompileModel节点是一个实验性节点,用于对扩散模型(diffusion_model)进行PyTorch编译加速,以提升推理效率。它使用了PyTorch的torch.compile()接口,并支持不同的backend(如 "inductor" 和 "cudagraphs")。在 torch.compile(model, backend=...) 里,backend 指的是 PyTorch 编译系统用来优化和执行模型的“后端引擎”。模型编译后交给哪个“执行器”来运行。不同后端优化策略不同,性能也不同。在我测试的情况下,使用该方法加速必须安装triton环境包,并且保证安装了visual studio提供必要的编译工具。
TorchCompileModel-节点参数说明
输入参数 | |
model | 需要编译的模型对象。 |
输出参数 | |
MODEL | 已使用 torch.compile() 编译的模型对象。 |
控件参数 | |
backend | 编译后端,选择 inductor 或 cudagraphs。inductor 为 PyTorch 官方推荐的默认编译器;cudagraphs 适合极致推理性能。 |