«123»
小鹦鹉昂比例 - 2024-11-28 23:00
[GF]
前言感谢大家的支持，让我有动力更新本帖。相比前一版本，新工作流改变了处理逻辑，引入了GroundingDINO+SAM2让识别更加稳定和精准。在一定程度上可以做到一键去衣。如果已经使用过上一个工作流，只需下载新增的SAM2插件即可使用。效果展示(以上皆为工作流原图直出)工作流下载此帖售价 0 SP币,已有 1028 人购买若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!Issues使用官方版本ComfyUI时，SAM2插件的GroundingDinoSAM2Segment(segment anything2)可能会出现错误，需要替换transforms.py文件使用官方版本ComfyUI时,Advanced-ControlNet插件可能会报错，请替换这一插件主要改进更好的遮罩处理方式优化了遮罩生成逻辑，使用GroundingDINO_SAM2获得稳定遮罩改进了图像参考方式，总是使用全身作为参考，给模型提供更好的图片上下文无所谓人物在图片中的比重，即使她只占很小一部分画面（多人图像除外）更高效的处理流程优化了工作流程序，减少了不必要的步骤提供了批量处理功能更自然的处理结果改进了IPAdapter参数1. 环境准备硬件要求：推荐使用8GB显存的显卡，6GB显存也可以流畅运行，4GB显存可能会遇到内存不足的问题导致处理时间过长1.1 Comfyui下载秋叶整合包下载地址：https://pan.quark.cn/s/64b808baa960需要文件：ComfyUI-aki-v1.4.7zcontrolnet文件夹中的openpose（也可以从下方的另外一个地址下载）也可以直接从github仓库下载: https://github.com/comfyanonymous/ComfyUI/releases并安装ComfyUI-Manager: https://github.com/ltdrdata/ComfyUI-Manager1.2 基础模型下载存放位置：`models/checkpoints`建议自建文件夹，存放于`models/checkpoints/sd15`与工作流保持一致uber-realistic-porn-merge下载：https://civitai.com/models/2661/uber-realistic-porn-merge-urpm-sd15(可选)Realistic_Vision_V6.0_NV_B1_fp16.safetensors: 仓库地址：https://huggingface.co/SG161222/Realistic_Vision_V6.0_B1_noVAE/tree/main有更好的体态，对于全身的绘制有优势，缺点是nipple不好看。支持半精度的显卡请不要下载fp16版本1.3 ControlNet模型下载存放位置：`models/controlnet`建议自建文件夹，存放于`models/controlnet/sd15`工作流保持一致controlnet仓库地址: https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/mainOpenpose下载：https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_openpose.pth?download=true1.4 插件及依赖下载IPAdapter仓库地址：https://github.com/cubiq/ComfyUI_IPAdapter_plus必需文件：IP-Adapter模型（存放于 models/ipadapter）下载：https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter-plus_sd15.safetensorsCLIP Vision模型（存放于 models/clip_vision）注意，一定要将CLIP重命名为CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors下载：https://huggingface.co/h94/IP-Adapter/resolve/main/models/image_encoder/model.safetensorsBrushnetgithub仓库地址: https://github.com/nullquant/ComfyUI-BrushNet模型仓库地址：https://huggingface.co/Kijai/BrushNet-fp16/tree/main必需文件：模型文件（存放于 models/inpaint）下载：https://huggingface.co/Kijai/BrushNet-fp16/resolve/main/brushnet_segmentation_mask_fp16.safetensors?download=trueSAM2仓库地址：https://github.com/neverbiasu/ComfyUI-SAM2必需文件：GroundingDINO文件（存放于 models/grounding-dino）：GroundingDINO_SwinB.cfg.py下载：https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/GroundingDINO_SwinB.cfg.pygroundingdino_swinb_cogcoor.pth下载：https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swinb_cogcoor.pthSAM2模型（存放于 models/sam2）：(必须)sam2-hiera-large下载: https://huggingface.co/facebook/sam2-hiera-large/resolve/main/sam2_hiera_large.pt?download=truesam2.1-hiera-large下载：https://dl.fbaipublicfiles.com/segment_anything_2/092824/sam2.1_hiera_large.pt(注意,由于插件有bug,sam2文件夹中必须有sam2-hiera-large.pt，否则选则sam2.1会出现403错误)注意：整合包已包含大部分所需节点，加载工作流后只需通过 ComfyUI Manager 安装缺失节点即可。(安装缺失节点)2. 使用及模块详解2.1 快速上手指南第一步：准备工作① 下载并安装所有必需的模型和插件② 导入工作流文件到ComfyUI（将json文件拖入浏览器comfyui界面中即可）第二步：基本操作流程1. 加载图片① 点击IMageinput组中的加载图像节点② 选择需要处理的图片2. 遮罩处理方式一：SAM2自动识别① 将IMageinput组左侧Set_use_SAM2下的Boolean设为true方式二：手动绘制遮罩① 使用画笔工具在需要处理的区域涂抹(手动绘制遮罩示例)> 注意：SAM2和手动绘制遮罩可以同时使用，它们会叠加在一起3. 参数调整① 调整左侧Int框中的数值以改变处理时的图像像素值② 默认值1024表示1024×1024像素③ 请根据显存情况适当调整4. 开始处理① 点击右侧菜单栏的Queue Prompt按钮开始处理（快捷键：Ctrl+Enter）② 在Compare Images模块查看处理结果5. 常见问题处理> 结果不理想：- 调整Brushnet的开始步数（默认10，可降至3-5）> 显存不足：- 减小Int节点中的数值> 批量处理：- 开启load_from_path并设置目录2.2 模块详解2.2.1 总览2.2.2 模型加载以及提示词功能说明：为了简化工作流，我移除了所有的LoRA模型，但保留了LoRA加载器节点，以便需要时可以随时加载自己的LoRA模型。在Load Checkpoint模块中选择下载好的模型，根据需要调整正面提示词(绿)，负面提示词(红)。2.2.3 输入模块功能说明：这是改变最多的一个区域，该功能被改造成根据遮罩调整大小以及裁剪，让采样器能够更好地参考画面元素，并确保输入到潜空间的图像包含整个人体以及让绘制区域有足够多的像素进行扩散。主要控制项：图像分辨率控制① 最大分辨率限制：通过Int模块控制处理图片的最大尺寸。默认值1024表示图片不会超过1024×1024像素。遮罩生成控制② SAM2自动遮罩：通过Set_use_SAM2的Boolean开关控制。 设为true时启用自动衣物遮罩识别注：由于if/else节点限制，即使关闭此功能也会进行遮罩提取，但不会影响最终结果批量处理控制 ③ 批量处理开关：通过load_from_path控制④ 批处理设置：使用前请确保primitive值已重置为0⑤ 批处理路径：在Load images(PATH)中输入目标文件夹路径建议配合Comfyui Manager中的Extra options的auto queue功能使用图像输入组操作说明：图像上传与遮罩添加通过右侧Image Input组上传单张图像右侧会显示遮罩参考图，用于检查和调整遮罩的完整性⑦遮罩参数调整`expand`：控制遮罩延展范围`blur_radius`：调整遮罩边缘模糊度，提高数值可获得更平滑的边缘过渡`fill holes`：用于填充遮罩内的空洞区域⑧遮罩修复使用mask fix节点清理遮罩中的噪点调整范围：0-32，根据实际需要选择合适的数值主要用于去除由错误识别产生的孤立像素点遮罩计算流程说明：遮罩合并与缩放将自动识别的遮罩与手动绘制的遮罩进行叠加计算合适的缩放比例，使遮罩区域接近512×512像素图像裁剪处理第一次裁剪：使用完整遮罩（包含衣物、手动和人物遮罩）对原图进行缩放和裁剪，确保人物和所有遮罩区域完整保留第二次裁剪：使用完整遮罩对衣物遮罩进行位置校正，确保其在待处理图像中的位置准确缩放比例计算# 主缩放比例计算scale = ((512 + (0 if c > 0 else c))**2 / (a * b))**0.5# 其中：# a, b: 膨胀后遮罩的宽度和高度# c: 像素限制参数# c值的计算c = ((c**2) * b / a)**0.5 - 512# 其中：# a, b: 完整遮罩的宽度和高度# c: Int模块中设定的像素限制值 设计目标防止局部参考导致的处理结果异常优化openpose的识别效果保持处理区域的像素密度在合理范围内像素调整策略：不同于上个工作流使用固定的512x768，现采用总像素调整方案。原因是我在使用中观察到遮罩区域的pixel数量会影响生成质量，尤其是在SDXL模型中尤为明显。于是我设定在接近模型训练时的512x512（约26万像素）。2.2.4 GroundingDINO + SAM2SAM2插件只需要输入一个GroundingDINO和一个SAM2模型即可简单使用。功能分区：上方：面部识别用途：产生IPAdapter的风格参考图像效果：减少背景干扰，优化肤色参考中间：衣物遮罩生成用途：生成需要进行重绘的遮罩下方：人体识别用途：为输入模块的裁剪提供参考2.2.5 IPAdapter功能说明：主要用途：风格参考和噪声注入效果：改善肤色一致性，平滑图像局限性：对于极端肤色（如过分白皮肤）效果有限，因模型训练素材限制我观察到一些有趣的现象，假如参考的区域是模糊的，生成的区域会模仿它的风格也是模糊的。2.2.6 Controlnet Openpose使用说明：常规使用：通常保持开启状态全身参考提升效果配合Brushnet双分支处理逻辑使用特殊情况：复杂姿势可能需要关闭关闭后调整建议：Brushnet模块开始步数从10调低至3左右优化说明：移除了上一版本中的depth和linart功能，因其效果多为负面2.2.7 Brushnet关键参数设置：brushnet强度：0.8开始步数：10Ksampler采样器步数：40经验参数组合：组合一：brushnet开始步数：5采样器步数：35组合二：brushnet开始步数：3采样步数：25~30注意：需要去除的内容越少，或者生成图像被干扰的越多（通常表现为棕暗色皮肤），开始步数应越低工作原理：Brushnet采用双分支策略，将处理内容逐步融入Unet。通过跳过部分步数，可以更好地参考模型生成的潜空间图像。降低brushnet强度则可以突出模型潜空间图像特征，获得更好效果并显著减少额外衣物生成。2.2.8 Compare Images简单的图像对比功能模块，用于结果比对。3. 讨论3.1 使用心得1. 连帽衫处理遇到连帽衫记得关闭遮罩处理2. 阴影问题阴影会造成干扰，注意裙摆和打光造成的阴影可能不会被当作衣物进行自动遮罩3. 遮罩错误处理有时遮罩会出现错误，覆盖到脸部，这时请手动绘制遮罩为什么没有添加减去脸部遮罩的功能：因为脸部识别也可能失效而使遮罩覆盖全身，这反而会升高错误的概率保留了这个功能，只需要改变Dino_SAM2组内添加衣物遮罩右侧节点的连接方法即可应用3.2 已尝试过的优化nipple ADetailer会导致breasts形状和位置改变，看着不自然。openpose局部裁剪通过裁剪原图生成openpose的方案未能成功。由于参考区域过小，导致姿态朝向发生改变。高清放大使用tile+Ultimate SD Upscale对肤色进行修复并混合进原图，目的是修复肤色以及模糊的nipples。但这种方法存在内容改变风险且耗时较长，大部分情况下得不偿失。使用inpainting模型SDXL的皮肤质感优化效果不明显，且可能劣化nipples。虽然最初用于肤色一致性优化效果良好，但随着IPAdapter和Brushnet参数的调整，该功能只在较少情况下会使用。我曾尝试将brushnet替换为sd1.5的inpainting模型，但大面积的衣物很难消除掉，只有使用肤色覆盖衣物部分才有较好的效果，尤其是对于一些brushnet工作流处理不了的肤色。目前没有找到很好的方法来给肢体上色，如果使用遮罩上色的话，遇到裙子那将是一场灾难。densepose的预处理又太不稳定了，Risky大佬在discord说在准备2.0自动去衣工作流，很好奇他是怎么做的233。RAUnet本想让它处理分辨率较大的图片，但它似乎并不受openpose控制，没有达到预期效果。densepose controlnet在联合openpose时对于大腿交叠的区域有一定效果，但成功率较低，依然需要抽卡。对于脚和手的区域形状控制有较好效果，但工作流一般不会关注这个部分。且densepose的预处理器导出的结果往往很不理想，一团糟。关于SDXL为什么不用sdxl？因为sdxl重绘有比comfyui更好的选择，例如fooocus和forge。且它会抗拒生成nipples，导致效果显得很奇怪。皮肤质感和真实感也没有明显优势。brushnet的sdxl版本效果也不够理想，在comfyui上没有特别好的重绘模型选择。虽然有一个fooocus插件也不错，但既然如此，为什么不直接在fooocus使用它的原版呢？各类重绘方法体感来说:controlnet_inpaint：实验数据比较好，但依然会有色差,建议配合blend使用。inpainting模型：大面积衣物很难消除掉，只有使用肤色覆盖衣物部分才有较好的效果，尤其是对于一些brushnet工作流处理不了的肤色。brushnet：效果很不错，适用于大部分情况，对于各种拓展插件的兼容性良好。powerpaintV2：对于图片上下文的参考较好，但是体感没有brushnet好，且兼容性不佳。3.3 杂谈这个工作流的创建源于我在研究视频工作流时的灵感。由于视频工作流始终未能达到理想效果 - 重绘区域经常出现发暗发黄的问题，我尝试了多种方法，包括但不限于替换animate diff lighting以及逐帧重绘后用smooth video插件平滑，但都未能获得稳定理想的结果。受限于使用colab，每次配置环境就需要半小时，这极大地影响了进度。也许等5090发布并更换显卡后，我会继续这项工作。这个工作流始终围绕三个核心目标：在不改变原图其他要素的前提下实现重绘，保证效果的自然性，使用的插件越少越好。因此，我没有引入任何高清放大功能，也没有在整体重绘保证肤色后使用instantID或FaceID进行人物脸部还原。删除那些冗余节点需要一定的决心，否定自己的工作确实不易。我经常思考：这样的改动是否真的能带来提升？是否有必要加入这么花哨但没有太多帮助的插件？为了确保工作流的简洁易用和实用性，我主要采用了主流插件，以及经过测试确认好用的插件。删除冗余节点带来的好处之一是再也没有需要禁用的模块，每次使用的时候只要进行队列就好了。(第一版，未公布的第二版，现在的第三版)为什么不在上一篇帖子中进行更新？因为上一个工作流的图像处理逻辑和现在非常不同，耗费的显存也不同。我想那个工作流还有一定存在的意义。关于工作流的进一步优化，你可以尝试将模型更换为单精度版本(单精度的brushnet模型后缀是random，在https://drive.google.com/drive/folders/1fqmS1CEOvXCxNWFrsSYd_jHYXxrydh1n?usp=drive_link可以下载到)。这个工作流的潜力还是很高的，你甚至可以将模型换成dreamshaper，chilloutmix，MeinaMix之类的重绘动画人物或者虚拟主播。Comfyui存在局限性，某些图像处理起来较为困难。它也不能总是生成完美细节的图片，有时只需要简单的后期处理就能显著提升效果。回顾之前的作品时，我发现以前的成果其实也不错，只是需要大量的抽卡和ps循环。而现在，只需要点击一个按钮加上简单的后期调整，就能获得更高质量的图像，这让我感到开心。目前发现了一个关于此工作流的缺点是当遮罩覆盖到图像边缘时，会导致黑边的问题，在小分辨率的图像上尤为明显。这可能是blend节点的问题。你可以添加一个save image节点从Ksampler采样器后面的vae decode节点保存图片，然后使用ps进行后期处理。对于显存受限的情况，最基础的PS绘制肤色+inpainting重绘可能是最佳选择。这种方案够用、占用资源少，而且足够精简。以下是在处理1024×1024像素图像时,不同显存容量下的内存占用情况测试(模拟其他程序同时占用部分显存):8GB显存占用情况6GB显存占用情况4GB显存占用情况3.4 交流最后好像ai区在tg上依然缺少一块交流的地方，所以创建了一个群组https://t.me/nanjiaaigouzhen
回复
曼希斯学派代表人物 - 2024-11-28 23:08
[B1F]
回复
6c92fac9 - 2024-11-28 23:37
[B2F]
感谢大佬分享=-=虽然现在不会，但总感觉不能忽视这个宝贝
回复
御姐喜欢舔我肉棒 - 2024-11-28 23:39
[B3F]
学习技术！！！！！
回复
73e0d915 - 2024-11-29 02:56
[B4F]
学习技术！！！
回复
c7c18b8e - 2024-11-29 12:06
[B5F]
SAM2ModelLoader (segment anything2)HTTP Error 403: Forbidden大佬，顯示這個應該怎麼解決
回复
小鹦鹉昂比例 - 2024-11-29 12:45
[B6F]
网络问题，给秋叶启动器设置一个代理试试
回复
9b429e53 - 2024-11-29 18:57
[B7F]
有批量自动处理的么？这样可以处理视频了
回复
1234567890 - 2024-11-29 19:18
[B8F]
支持学习！
回复
db848106 - 2024-11-29 19:32
[B9F]
我的智力只能允许我玩webui...
回复
小鹦鹉昂比例 - 2024-11-29 19:39
[B10F]
插件有bug，sam2文件夹里必须有个sam2模型，下载后放进去才能正常用sam2.1https://huggingface.co/facebook/sam2-hiera-large/resolve/main/sam2_hiera_large.pt?download=true
回复
海绵体宝宝 - 2024-11-29 22:25
[B11F]
好
回复
小白菜1666 - 2024-11-30 05:37
[B12F]
我也是这个问题，SAM2ModelLoader (segment anything2)HTTP Error 403: Forbidden大佬， 这个是代理问题吗，我设好了也是这个，上了魔法
回复
sd50pcs - 2024-11-30 09:39
[B13F]
models\sam2下有没有sam2_hiera_large.pt?
回复
白泽与泪 - 2024-11-30 17:23
[B14F]
感谢大佬，瑟瑟果然是第一生产力
回复
月中游 - 2024-11-30 19:32
[B15F]
流程阻断报错找不到文件，查了半天都下了以及各种路径没放错啊最后放大下面过程拆解说明的截图然后查看git才发现，clip vision模型文件下载自动命名需要手改成CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors才行
回复
小鹦鹉昂比例 - 2024-11-30 19:44
[B16F]
感谢提醒，已经修改帖子内容
回复
叶子 - 2024-11-30 22:23
[B17F]
有空好好试一下
回复
初如恋 - 2024-11-30 22:26
[B18F]
回复
c7c18b8e - 2024-11-30 23:29
[B19F]
隨便抓了張圖試，跑成功了但是不出圖
回复
2e2b8c1b - 2024-12-01 08:55
[B20F]
学习了，谢谢lz
回复
小鹦鹉昂比例 - 2024-12-01 13:50
[B21F]
替换掉Advanced-ControlNet插件，换成官方版本的Load Controlnet Model和Apply Controlnet试试。Advanced-ControlNet在新版comfyui好像有bug
回复
百花缭乱 - 2024-12-01 14:32
[B22F]
先收藏了
回复
潘达 - 2024-12-01 17:24
[B23F]
大佬，运行成功了，但是衣服变成黑色的，没有脱衣效果，是什么问题？
回复
c7c18b8e - 2024-12-01 17:46
[B24F]
換了也不行，大佬用的什麼版本，我切換回去試試
回复
小鹦鹉昂比例 - 2024-12-01 19:18
[B25F]
使用nsfw模型的情况下，多抽几下卡试试点击这里让种子随机
回复
小鹦鹉昂比例 - 2024-12-01 19:21
[B26F]
秋叶和官方的我都用了也测试过。有跳错误代码吗，可以说说具体情况吗。
回复
潘达 - 2024-12-01 21:04
[B27F]
把openpose关了就好了，打开就不行，不知道什么原因
回复
c7c18b8e - 2024-12-01 22:57
[B28F]
可以了，重新下所有東西，換了插件，然後就成功了
回复
yuyu - 2024-12-02 00:55
[B29F]
mac可以搞吗 身边没有win
回复
青青草原 - 2024-12-02 16:42
[B30F]
引用引用第7楼9b429e53于2024-11-29 18:57发表的 :有批量自动处理的么？这样可以处理视频了并不行，视频用这个方法处理的话效果不行的。
回复
«123»
回复
表 情
桌面版