前言：

Segment Anything 应该是语义分析后最强大的抠图神奇之一了。顾名思义，这个插件的作用就是分割任意物体。

在整图的构建中，我们之前也介绍了一些边界检测的ControlNet范畴内的控制行为，这个插件也是一个非常独立运作的补充。

生成的各种mask，分割图也可以用于ControlNet其余控制环节，帮助你生成中间的辅助图。

知识点：

语义分割
抠图

插件介绍

Segment Anything 提供了一种新的图像分割模型。该模型支持输入点或者方框作为引导提示，可以生成图像中所有对象的 mask。它使用 11 million 图像和 1.1 billion masks 数据进行训练，具有很好的 zero-shot transfer 零样本迁移到新的图像分割和任务的能力。

主要的能力

生成用于inpainting的蒙版
自动裁剪图片（一般用于准备LoRA/LyCORIS的训练素材）
增强ControlNet语义分割的效果

可以看出，这个插件是独立于画图过程的，它不在画图过程中参与，只是提供额外的辅助。把他作为一个独立的“抠图”“切图”工具也是可以的。

最常用的情况比如我要对一个人物和背景分开重绘，但是手涂蒙版太麻烦既不准确也费手，这样就需要使用SAM来精确抠出蒙版了。

官方地址：

https://github.com/continue-revolution/sd-webui-segment-anything

sd-webui-segment-anything.zip

安装好后的界面

还需要一些大模型的下载准备（GroundingDINO 软件包、GroundingDINO 模型和 ControlNet 注释器模型将在您第一次使用时自动安装。）

选择下面的一个或多个模型并将它们放入${sd-webui}/models/sam或${sd-webui-segment-anything}/models/sam（选择一个，而不是两者。如果您选择使用后者，请删除前一个文件夹。）。不要更改模型名称，否则此扩展可能会由于段内的错误而失败。

我们支持细分模型的多种变体：

来自 Meta AI 的SAM 。
我自己在 NVIDIA 3090 Ti 上测试了 vit_h，效果很好。如果您遇到 VRAM 问题，您应该切换到较小的型号。
来自 SysCV 的SAM-HQ。
来自庆熙大学的MobileSAM 。
- 39MB 移动_sam

我们计划（尚不支持）在对代码库进行重大重构后支持分段模型的一些其他变体：

Matting- SHI-Labs 的任何东西。这是适用于 SAM 任何变体的后处理模型。将模型放在下面${sd-webui-segment-anything}/models/sam
- 11MB 妈妈
来自 CASIA-IVA-Lab 的FastSAM 。这是 SAM 的 YOLO 变体。
- 145MB FastSAM-x

配置如下图中的，原图和分割算法。点击【Preview Segmentation】【预览分割】，可以看到处理后的预览效果