当前位置:首页 » 《随便一记》 » 正文

Segment Anything Model (SAM)——卷起来了,那个号称分割一切的CV大模型他来了

15 人参与  2023年04月08日 16:42  分类 : 《随便一记》  评论

点击全文阅读


最近每天打开微信看到10个公众号里面差不多有11个都在各种玩赚chatGPT,每个都在说是各种大好风口,哎,看得眼睛都是累的。

今天下午无意间看到Meta发布了一款号称能分割一切的CV大模型,CV圈也开始卷起来,今年各种大模型要爆发了感觉。

吃瓜群众满怀好奇,点开了解一下。

官方论文在这里,感兴趣可以自行阅读。

 官方同时也开源了项目,地址在这里,如下所示:

 可以看到:才开源了一天的时间就已经有6k的star量了,后续增长感觉会更猛的!

官方也给出来了数据集地址,在这里,如下所示:

 有需要的话可以自行下载使用即可。

当然了这么精彩的技术自然不会少的了技术博客的介绍,官方的技术博客在这里。

为了能让大家第一时间上手体验,这里官方也是开放出来了Demo地址,在这里,如下所示:

 上传一张我本地的图片,用的就是上一篇博客摔倒检测的数据集,如下:

 我添加了一个box,瞬间就给我分割出来了,如下:

 随着光标的移动,模型给出来的响应也是很快的:

 甚至还可以一键cutout所有的子对象如下:

 很强大了已经。

官方这里也提供了很多实例图片,简单看下:

 选择小狗试试吧:

添加box对指定区域直接分割:

 再来一张:

 效果如下:

 指定区域分割:

 最后再来试一下:

 效果如下:

 感兴趣的话都可以自己玩玩体验一下。

当然了如果想要自己安装使用也是可以的,官方同样给了安装说明如下:

先安装一些基础依赖pip install opencv-python pycocotools matplotlib onnxruntime onnx安装SAM方法一:pip install git+https://github.com/facebookresearch/segment-anything.git方法二:git clone git@github.com:facebookresearch/segment-anything.gitcd segment-anything; pip install -e .

 模型库在这里,需要的自行下载即可。

使用方法也很简单如下:

#from a given prompt:from segment_anything import build_sam, SamPredictor predictor = SamPredictor(build_sam(checkpoint="</path/to/model.pth>"))predictor.set_image(<your_image>)masks, _, _ = predictor.predict(<input_prompts>)

或者也可以如下使用:

#generate masks for an entire image:from segment_anything import build_sam, SamAutomaticMaskGeneratormask_generator = SamAutomaticMaskGenerator(build_sam(checkpoint="</path/to/model.pth>"))masks = mask_generator_generate(<your_image>)

当然了,mask也可以通过命令行生成,如下:

python scripts/amg.py --checkpoint <path/to/sam/checkpoint> --input <image_or_folder> --output <output_directory>

关于两种不同的调用计算方式,官方也都给出来了详细的demo样例如下:

predictor_example

automatic_mask_generator_example

想要导出onnx格式的话也是可以的,如下:

python scripts/export_onnx_model.py --checkpoint <path/to/checkpoint> --output <path/to/output>

这里一共提供了H、L、B三种不同size的模型,如下:

ViT-H SAM model
ViT-L SAM model
ViT-B SAM model

 三种不同模型体积如下:

 可以根据自己的兴趣自由使用即可。

今天就简单到这里了,后面找时间在仔细看看吧!


点击全文阅读


本文链接:http://zhangshiyu.com/post/58904.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1