AI 见闻
精选· 重要性 4/5

ComfyUI:最强大的模块化扩散模型图形界面与节点工作流引擎

GitHub Trending (AI repos)··Comfy-Org·约 7 分钟阅读
Hacker News 116491
中文导读

ComfyUI 是一款面向视觉专业人士的 AI 创作引擎,通过节点图界面实现对模型、参数和输出的精细控制,支持图像、视频、3D、音频等多种生成任务,并兼容最新开源与闭源模型。

ComfyUI 是面向视觉专业人士的 AI 创作引擎,让用户能够掌控每一个模型、每一个参数和每一个输出。其强大且模块化的节点图界面使创作者能够生成图像、视频、3D 模型、音频等内容。- ComfyUI 原生支持最新的开源 SOTA 模型。

- API 节点可访问最佳闭源模型,如 Nano Banana、Seedance、Hunyuan3D 等。- 支持 Windows、Linux 和 macOS,可通过桌面应用、便携安装或云端使用。

- 借助 App Mode,最复杂的工作流也能通过简单 UI 呈现。- 通过 API 端点无缝集成到生产管线中。- 最简单的入门方式。- 适用于 Windows 和 macOS。- 获取最新提交,完全可移植。

- 适用于 Windows。支持所有操作系统和 GPU 类型(NVIDIA、AMD、Intel、Apple Silicon、Ascend)。- 官方付费云版本适用于无法负担本地硬件的用户。- 使用新的模板工作流或旧的示例工作流,了解 ComfyUI 的能力。

- 节点/图形/流程图界面,无需编码即可实验和创建复杂的 Stable Diffusion 工作流。- 注意:支持的模型远多于下方列表,如需查看完整支持列表,请参阅 ComfyUI 内的模板列表。

- 图像模型- SD1.x、SD2.x (unCLIP)- SDXL、SDXL Turbo- Stable Cascade- SD3 和 SD3.

5- Pixart Alpha 和 Sigma- AuraFlow- HunyuanDiT- Flux- Lumina Image 2.0- HiDream- Qwen Image- Hunyuan Image 2.1- Flux 2- Z Image- Ernie Im

age- 图像编辑模型- 视频模型- 音频模型- 3D 模型- 异步队列系统- 多项优化:仅重新执行工作流中发生变化的部分。- 智能内存管理:可在低至 1GB 显存的 GPU 上自动运行大型模型,并智能卸载。

- 即使没有 GPU 也能运行:--cpu(慢)- 可加载 ckpt 和 safetensors:一体化检查点或独立扩散模型、VAE 和 CLIP 模型。- 安全加载 ckpt、pt、pth 等文件。

- Embeddings/Textual inversion- LoRAs(常规、locon 和 loha)- Hypernetworks- 从生成的 PNG、WebP 和 FLAC 文件中加载完整工作流(含种子)。

- 将工作流保存/加载为 JSON 文件。- 节点界面可用于创建复杂工作流,例如 Hires fix 或更高级的工作流。- 区域合成- 使用常规模型和修补模型进行修补。

- ControlNet 和 T2I-Adapter- 放大模型(ESRGAN、ESRGAN 变体、SwinIR、Swin2SR 等)- GLIGEN- 模型合并- LCM 模型和 LoRAs- 使用 TAESD 进行潜在预览- 完全离线工作:除非用户主动要求,

核心不会下载任何内容。- 可选 API 节点,用于通过在线 Comfy API 使用外部提供商的付费模型,可通过 --disable-api-nodes 禁用。- 配置文件用于设置模型的搜索路径。

工作流示例可在示例页面找到。ComfyUI 遵循每周发布周期,目标为周一,但由于模型发布或代码库重大变更,周期会定期变化。有三个相互关联的仓库:-- 大约每两周发布一个新的主要稳定版本(例如 v0.7.0)。

- 从 v0.4.0 开始,补丁版本将用于修复回移植到当前稳定版本。- 次要版本将用于主分支的发布。- 在回传无意义的情况下,补丁版本仍可能用于主分支的发布。- 稳定发布标签之外的提交可能非常不稳定,并会破坏许多自定义节点。

- 作为桌面版的基础。-- 使用最新的稳定核心版本构建新版本。-- 每两周以上,前端更新会合并到核心仓库。- 即将推出的核心版本功能冻结。- 下一个发布周期的开发继续进行。Ctrl 也可替换为 Cmd(适用于 macOS 用户)。

在发布页面上,有一个适用于 Windows 的便携式独立构建版本,可用于在 Nvidia GPU 上运行,或仅在 CPU 上运行。只需下载,使用 7-Zip 或最新 Windows 版本的资源管理器解压,然后运行。

对于较小的模型,通常只需将检查点(巨大的 ckpt/safetensors 文件)放入 ComfyUI\models\checkpoints,但许多较大的模型包含多个文件。

请务必按照说明了解应将文件放入 ComfyUI\models\ 中的哪个子文件夹。如果解压时遇到问题,请右键单击文件 -> 属性 -> 解除锁定。上述便携版目前附带 Python 3.13 和 PyTorch CUDA 13.0。

如果无法启动,请更新 Nvidia 驱动程序。适用于 Nvidia GPU 的便携版(支持 20 系列及以上)。适用于 Nvidia GPU 的便携版,附带 PyTorch CUDA 12.6 和 Python 3.12(支持 Nvidia 10 系列及更旧 GPU)。

请参阅配置文件以设置模型的搜索路径。在独立的 Windows 构建中,可以在 ComfyUI 目录中找到此文件。将此文件重命名为 extra_model_paths.yaml,并使用您喜欢的文本编辑器进行编辑。

您可以使用 comfy-cli 安装并启动 ComfyUI:pip install comfy-clicomfy installPython 3.14 可用,但某些自定义节点可能存在问题。自由线程变体可用,但某些依赖项会启用 GIL,因此未完全支持。

Python 3.13 得到良好支持。如果您在 3.13 上遇到某些自定义节点依赖项问题,可以尝试 3.12。支持 torch 2.4 及以上版本,但某些功能和优化可能仅适用于较新版本。

我们通常建议使用最新主要版本的 PyTorch 和最新 CUDA 版本,除非其发布不到两周。Git clone 此仓库。

将您的 SD 检查点(巨大的 ckpt/safetensors 文件)放入:models/checkpoints将您的 VAE 放入:models/vaeAMD 用户如果尚未安装,可以使用 pip 安装 ROCm 和 PyTorch,以下是安装稳定版本的命令:

pip install torch torchvision torchaudio --index-url https:

//download.pytorch.org/whl/rocm7.2以下是安装带有 ROCm 7.2 的 nightly 版本的命令,可能会有一些性能改进:

pip install --pre torch torchvision torchaudio --index-url https:

//download.pytorch.org/whl/nightly/rocm7.2这些版本的硬件支持少于上述版本,但可在 Windows 上运行。您还需要安装特定于硬件的 PyTorch 版本。

RDNA 3(RX 7000 系列):pip install --pre torch torchvision torchaudio --index-url https:

//rocm.nightlies.amd.com/v2/gfx110X-all/RDNA 3.5(Strix Halo/Ryzen AI Max+ 365):

pip install --pre torch torchvision torchaudio --index-url https://rocm.nightlies.amd.com/v2/gfx1151/RDNA 4(RX 9000 系列):

pip install --pre torch torchvision torchaudio --index-url https:

//rocm.nightlies.amd.com/v2/gfx120X-all/Intel Arc GPU 用户可以使用 pip 安装带有 torch.xpu 支持的本地 PyTorch。更多信息可在此处找到。

- 要安装 PyTorch xpu,请使用以下命令:pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/xpu

这是安装 PyTorch xpu nightly 版本的命令,可能会有一些性能改进:pip install --pre torch torchvision torchaudio --index-url https:

//download.pytorch.org/whl/nightly/xpuNvidia 用户应使用以下命令安装稳定的 PyTorch:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130这是安装 PyTorch nightly 版本的命令,可能会有性能改进:

pip install --pre torch torchvision torchaudio --index-url https:

//download.pytorch.org/whl/nightly/cu132如果遇到 "Torch not compiled with CUDA enabled" 错误,请使用以下命令卸载 torch:pip uninstall torch然后使用上述命令重新安装。

通过在 ComfyUI 文件夹中打开终端并运行以下命令来安装依赖项:pip install -r requirements.txt之后,您应该已安装所有内容并

原文出处
Comfy-Org/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.

本文为机器翻译辅以 AI 润色,仅供参考。原始事实以原文为准。

相关阅读