在不断发展的人工智能领域，Meta 刚刚投下了一颗重磅炸弹，它将彻底改变计算机视觉领域。Segment Anything Model 2（简称 SAM 2）问世了。这不仅仅是另一个增量更新；这是人工智能理解和与视觉内容交互能力的一次巨大飞跃。让我们深入了解是什么让 SAM 2 成为游戏规则改变者，以及为什么它可能成为计算机视觉领域的“GPT-4 时刻”。

SAM 2 有哪些新功能？

SAM 2 是在其前身的基础上改进而来，但称其为升级版就好比称火箭只是自行车的轻微改进版。以下是正在酝酿的内容：

1. 视觉人工智能的万事通

我们首次拥有一个可以同时处理图像和视频的模型。这就像拥有一把处理视觉内容的瑞士军刀：

• 图像分割：SAM 2 可以像手术一样精确地对图像进行切片和切块，轻松识别和勾勒出物体的轮廓。
• 视频跟踪：它不仅限于静态图像。SAM 2 可以跨视频帧跟踪对象，为视频编辑和分析开辟了无限可能。

2. 零射奇迹

还记得人工智能需要通过数千个示例进行训练才能识别猫的日子吗？SAM 2 说：“帮我拿啤酒。”它可以分割从未见过的物体，开箱即用，用途非常广泛。

3. 速度恶魔

在视频处理领域，速度就是王道。SAM 2 不仅能跟上时代，还能引领潮流：

• 实时处理：每秒 44 帧。这比大多数好莱坞电影还要流畅！
• 流式推理：无需等待整个视频加载。SAM 2 可以即时处理帧，非常适合直播应用。

4. 精准度

数字不会说谎，SAM 2 的数字令人印象深刻：

• 准确度提高 6 倍：与之前的图像分割任务相比。
• 效率提高 3 倍：在视频分割中，需要的交互数量减少三倍即可实现相同的结果。

内部原理：是什么让 SAM 2 如此出色？

SAM 2 不只是功能炫酷。其真正强大之处在于其复杂的架构：

1. 记忆力如大象

SAM 2 配有每个会话记忆模块。可以将其视为模型自己的个人记事本：

• 它可以记住视频帧中的物体，即使它们暂时从视野中消失。
• 这种持久内存可实现一致的跟踪，使 SAM 2 成为具有多个移动物体的复杂场景的理想选择。

2. 可提示的视觉分割 (PVS)

SAM 2 不是单行道。它专为互动而设计：

• 用户可以使用各种提示（例如点击、框或蒙版）来指导分割过程。
• 这种交互性允许进行微调控制，使其能够适应各种特定需求。

3. 统治一切的数据集

每个伟大的人工智能背后都有一个伟大的数据集。SAM 2 也不例外：

• 在 Segment Anything Video (SA-V) 数据集上进行训练。
• 超过 50,900 个视频和 642,600 个面具注释。
• 使用一种将人工输入与人工智能辅助相结合的新型注释系统创建，确保数据高质量且多样化。

现实世界的影响：SAM 2 的亮点

SAM 2 不仅仅是一个技术演示。它的潜在应用非常广泛且多样：

1. 好莱坞，见见你的新好朋友

• 视频编辑：想象一下，您可以像编辑文档中的文本一样轻松地选择和操作视频中的对象。
• 视觉效果：SAM 2 可以彻底改变视觉特效行业，使诸如转描之类的复杂任务更快、更准确。

2. 增强现实成为现实

• 动态交互：SAM 2 实时分割和跟踪物体的能力可以带来更具沉浸感和响应速度的 AR 体验。
• 虚拟试穿：从虚拟服装试穿到家具摆放，SAM 2 可以使 AR 应用更加逼真和实用。

3. 科学和医学水平提高

• 医学成像：精确分割有助于诊断成像、肿瘤检测和手术规划。
• 环境监测：以前所未有的细节跟踪植被、城市发展或野生动物种群随时间的变化。

开源锦上添花

Meta 已将 SAM 2 及其数据集开源，此举必将加速创新。这意味着：

• 世界各地的研究人员和开发人员都可以在此基础上开发和改进该技术。
• 我们可能会在未来数月和数年内看到新应用和新用例的激增。

结论：未来是分割的

SAM 2 不仅仅代表了计算机视觉技术的进步，更是机器理解和与视觉信息交互方式的范式转变。通过将最先进的性能与用户友好的交互性和开源可访问性相结合，Meta 为视觉 AI 应用的新时代奠定了基础。

无论您是想将尖端视觉功能集成到应用程序中的开发人员、想要突破计算机视觉极限的研究人员，还是对技术的未来充满期待的人，SAM 2 都值得关注。“分割任何事物”的能力可能正是打开数字和物理之间的界限变得越来越模糊、越来越令人惊奇的世界的钥匙。

常问问题

问：SAM 2 与其他图像分割模型有何不同？答：SAM 2 因其处理图像和视频分割的能力、零样本能力和实时性能而脱颖而出。

问：SAM 2 可以处理实时视频吗？答：是的，SAM 2 支持流式推理，可以以每秒约 44 帧的速度实时处理视频帧。

问：SAM 2 仅供专业使用，还是任何人都可以使用？答：Meta 已将 SAM 2 及其数据集开源，这意味着任何人都可以将其用于研究、开发或个人项目。

问：与前代产品相比，SAM 2 的准确度如何？答：据报道，对于图像分割任务，SAM 2 的准确度比原始 SAM 高出六倍，而对于视频分割，所需的交互次数减少了三倍。

问：哪些应用可从 SAM 2 中受益？答：SAM 2 在视频编辑、增强现实、医学成像、环境监测以及许多其他需要精确对象分割和跟踪的领域都有潜在的应用。