Meta 的 SAM「分割一切」模型刚发布,国内团队就进行了二创,打造了一个最强的零样本视觉应用 Grounded-SAM,不仅能分割一切,还能检测一切,生成一切。
Meta 的「分割一切」模型横空出世后,已经让圈内人惊呼 CV 不存在了。
就在 SAM 发布后一天,国内团队在此基础上搞出了一个进化版本「Grounded-SAM」。
网友纷纷表示,太卷了!
谷歌大脑的研究科学家、滑铁卢大学计算机科学助理教授 Wenhu Chen 表示「这也太快了」。
AI 大佬沈向洋也向大家推荐了这一最新项目:
Grounded-Segment-Anything:自动检测、分割和生成任何有图像和文本输入的东西。边缘分割可以进一步改进。
截至目前,这个项目在 GitHub 上已经狂揽 2k 星。
检测一切,分割一切,生成一切
上周,SAM 的发布让 CV 迎来了 GPT-3 时刻。甚至,Meta AI 声称这是史上首个图像分割基础模型。
该模型可以在统一的框架 prompt encoder 内,指定一个点、一个边界框、一句话,直接一键分割出任何物体。
SAM 具有广泛的通用性,即具有了零样本迁移的能力,足以涵盖各种用例,不需要额外训练,就可以开箱即用地用于新的图像领域,无论是水下照片,还是细胞显微镜。
由此可见,SAM 可以说是强到发指。
而现在,国内研究者基于这个模型想到了新的点子,将强大的零样本目标检测器 Grounding DINO 与之结合,便能通过文本输入,检测和分割一切。
最后,还可以利用 Stable Diffusion 对分割出来的区域做可控的文图生成。
再 Grounded-SAM 具体实践中,研究者将 Segment-Anything 与 3 个强大的零样本模型相结合,构建了一个自动标注系统的流程,并展示出非常非常令人印象深刻的结果!
这一项目结合了以下模型:
?BLIP:强大的图像标注模型
?Grounding DINO:最先进的零样本检测器
?Segment-Anything:强大的零样本分割模型
?Stable-Diffusion:出色的生成模型
所有的模型既可以组合使用,也可以独立使用。组建出强大的视觉工作流模型。整个工作流拥有了检测一切,分割一切,生成一切的能力。
该系统的功能包括:
BLIP+Grounded-SAM = 自动标注器
使用 BLIP 模型生成标题,提取标签,并使用 Ground-SAM 生成框和掩码:
?半自动标注系统:检测输入的文本,并提供精确的框标注和掩码标注。
?全自动标注系统:
首先使用 BLIP 模型为输入图像生成可靠的标注,然后让 Grounding DINO 检测标注中的实体,接着使用 SAM 在其框提示上进行实例分割。
Stable Diffusion+Grounded-SAM = 数据工厂
?用作数据工厂生成新数据:可以使用扩散修复模型根据掩码生成新数据。
Segment Anything+HumanEditing
在这个分支中,作者使用 Segment Anything 来编辑人的头发 / 面部。
?SAM + 头发编辑
?SAM + 时尚编辑
作者对于 Grounded-SAM 模型提出了一些未来可能的研究方向:
自动生成图像以构建新的数据集;分割预训练的更强大的基础模型;与 GPT 模型的合作;一个完整的管道,用于自动标注图像(包括边界框和掩码),并生成新图像。
作者介绍
Grounded-SAM 项目其中的一位研究者是清华大学计算机系的三年级博士生刘世隆。
他近日在 GitHub 上介绍了自己和团队一起做出的最新项目,并称目前还在完善中。
现在,刘世隆是粤港澳大湾区数字经济研究院,计算机视觉与机器人研究中心的实习生,由张磊教授指导,主要研究方向为目标检测,多模态学习。
在此之前,他于 2020 年获得了清华大学工业工程系的学士学位,并于 2019 年在旷视实习过一段时间。
顺便提一句,刘世隆也是今年 3 月份发布的目标检测模型 Grounding DINO 的一作。
此外,他的 4 篇论文中了 CVPR 2023,2 篇论文被 ICLR 2023 接收,1 篇论文被 AAAI 2023 接收。
而刘世隆提到的那位大佬 —— 任天和,目前在 IDEA 研究院担任计算机视觉算法工程师,也由张磊教授指导,主要研究方向为目标检测和多模态。
此外,项目的合作者还有,中国科学院大学博士三年级学生黎昆昌,主要研究方向为视频理解和多模态学习;IDEA 研究院计算机视觉与机器人研究中心实习生曹赫,主要研究方向为生成模型;以及阿里云高级算法工程师陈佳禹。
项目需要安装 python 3.8 及以上版本,pytorch 1.7 及以上版本和 torchvision 0.8 及以上版本。此外,作者强烈建议安装支持 CUDA 的 PyTorch 和 TorchVision。
安装 Segment Anything:
python-mpipinstall-esegment_anything
安装 GroundingDINO:
python-mpipinstall-eGroundingDINO
安装 diffusers:
pipinstall--upgradediffusers
安装掩码后处理、以 COCO 格式保存掩码、example notebook 和以 ONNX 格式导出模型所需的可选依赖。同时,项目还需要 jupyter 来运行 example notebook。
pipinstallopencv-pythonpycocotoolsmatplotlibonnxruntimeonnxipykernel
GroundingDINO 演示
下载 groundingdino 检查点:
运行 demo:
exportCUDA_VISIBLE_DEVICES=0pythongrounding_dino_demo.py--configGroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py--grounded_checkpointgroundingdino_swint_ogc.pth--input_imageassets/demo1.jpg--output_dir"outputs"--box_threshold0.3--text_threshold0.25--text_prompt"bear"--device"cuda"
模型预测可视化将保存在 output_dir 中,如下所示:
Grounded-Segment-Anything+BLIP 演示
自动生成伪标签很简单:
1. 使用 BLIP来生成一个标注。
2. 从标注中提取标签,并使用 ChatGPT 来处理潜在的复杂句子。
3. 使用 Grounded-Segment-Anything 来生成框和掩码。
exportCUDA_VISIBLE_DEVICES=0pythonautomatic_label_demo.py--configGroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py--grounded_checkpointgroundingdino_swint_ogc.pth--sam_checkpointsam_vit_h_4b8939.pth--input_imageassets/demo3.jpg--output_dir"outputs"--openai_keyyour_openai_key--box_threshold0.25--text_threshold0.2--iou_threshold0.5--device"cuda"
伪标签和模型预测可视化将保存在 output_dir 中,如下所示:
Grounded-Segment-Anything+Inpainting 演示
CUDA_VISIBLE_DEVICES=0pythongrounded_sam_inpainting_demo.py--configGroundingDINO/groundingdino/config/GroundingDINO_SwinT_OGC.py--grounded_checkpointgroundingdino_swint_ogc.pth--sam_checkpointsam_vit_h_4b8939.pth--input_imageassets/inpaint_demo.jpg--output_dir"outputs"--box_threshold0.3--text_threshold0.25--det_prompt"bench"--inpaint_prompt"Asofa,highquality,detailed"--device"cuda"Grounded-Segment-Anything+Inpainting Gradio App
pythongradio_.py
作者在此提供了可视化网页,可以更方便的尝试各种例子。
网友评论
对于这个项目 logo,还有个深层的含义:
看到 Grounded-SAM 后,网友表示,知道要来,但没想到来的这么快。
项目作者任天和称,「我们用的 Zero-Shot 检测器是目前来说最好的。」
未来,还会有 web demo 上线。
最后,作者表示,这个项目未来还可以基于生成模型做更多的拓展应用,例如多领域精细化编辑、高质量可信的数据工厂的构建等等。欢迎各个领域的人多多参与。
参考资料:
原文标题:《动物是怎么“闻着味儿就来了”?科学家:这不好说》 2022年10月2日,在飓风“伊恩”袭击佛罗里达州四天后,一只名叫阿瑞斯的罗
交易提示 新股申购:晶升股份,中裕科技,中船特气(行情688146,诊股) 可转债申购:韵达发债 新股上市:暂无 可转债上市:春23
今日A股三大指数开盘涨跌不一,开盘后沪指窄幅震荡整理,深成指、创业板呈冲高回落走势,科创50指数午前跳水翻绿并跌超1%。 截止午间收盘,沪
,CHERRY此前推出了MX1.1TKL键盘,采用悬浮式设计。现在雪原极光版本已上市,售价429元,采用RGB酷炫灯效,搭配高透键帽及悬浮结
抱着相机兴冲冲地跑到公园里,结果能拍到的只有人山人海。 而花期,是需要“赶”的,很多地方的樱花随着气温回升或者经历一场雨后已经凋谢的差不多
,乘联会数据显示,2023年3月乘用车零售销量达到158.7万辆,同比增长0.3%,环比增长14.3%。 其中,新能源乘用车零售销量54.
由中冶华南承建的优饮七期Ⅳ标项目进入收尾竣工验收阶段,4月10日,已有4个小区完成初步验收工作,16日前首批9个验收小区将全部完成初验。
4月13日,由大麦Mailive出品、上海大剧院创制中心联合出品,“当然有戏”自制的音乐剧《道林格雷的画像》继上海首演后,在北京保利剧院首次
,三星官方承认SamsungKeyboard应用存在BUG,导致运行OneUI5.1的GalaxyS22系列和GalaxyS21系列机型出现
4月6日,罗马尼亚EXIMPROD集团到访正泰新能海宁总部,并现场签署200MWn型TOPCon订单。这是继3月154.4MW光伏组件交付德
先驱网--综合性的生活资讯平台
邮箱:hchchc0324@163.com