回答-BFW问答

目前已有专门针对 UI 界面截图进行 Set-of-Mark（SoM）智能标记 的开源工具和相关实现，主要包括以下几类：

1. 官方 SoM 技术实现（微软研究院）

SoM（Set-of-Mark）最初由微软研究院提出，是一种用于增强多模态大模型（如 GPT-4V）在 GUI 理解任务中视觉定位能力的技术。其核心思想是在 UI 截图上自动标注可发音、空间唯一的视觉标记（如数字或字母），从而让模型能精准关联语言指令与界面上的元素。

一篇非官方的 SoM 实现已在 GitHub 上开源，虽然作者自述“可能远不如官方”，但可用于研究或实验用途。

微软的 SoM 技术已在多个 GUI Agent 项目中集成使用，如 OmniParser 。

2. 集成了 SoM 的 GUI Agent 开源项目

UI-TARS：字节跳动开源的 GUI 智能体系统，明确使用了 SoM 技术对 UI 截图中的元素进行视觉标记，以增强模型对界面元素的理解与操作能力。

OmniParser：一个基于视觉的 GUI Agent，也采用了 SoM 方法在截图上叠加边界框标记，用于解析 UI 元素。

3. 相关但非 SoM 专用的 UI 截图工具

PixPin：虽支持 UI 元素智能捕捉与标注，但并非专为 SoM 设计，更多是通用截图+OCR 工具。

ScreenCoder：将 UI 截图转为前端代码，依赖视觉理解模型，但未明确使用 SoM 技术。

回答