TomePatchModel

节点功能:TomePatchModel 节点将一种名为 ToMe(Token Merging) 的机制注入到 Stable Diffusion 模型的注意力计算中,使得模型在推理阶段合并部分 token,从而加速计算并降低显存占用。你可以把它理解为:“我对模型进行轻微改造,让它在运行时自动合并相似的信息区域,达到加速和省显存的效果”。ToMe(Token Merging)是一种轻量加速机制,主要思路是:
在 Transformer 层内部找到相似的 token,将它们合并成一个 token,减少计算负担,同时尽量保持语义完整。

输入参数

参数名称说明
model输入的扩散模型(通常为 UNet 模型)。

输出参数

参数名称说明
MODEL已应用 Token Merging 的模型副本。(Token Merging:动态 token 合并机制)

控件参数

参数名称说明
ratioToken 合并比例,范围为 0.0–1.0,默认值为 0.3。设置 ToMe 合并 token 的强度,值越大表示合并越激进。建议从 0.2~0.5 之间尝试,过大会损失图像细节。

下图为使用方式以及模型保存位置。