Update https://docs.ultralytics.com/models (#6513)
Signed-off-by: Glenn Jocher <glenn.jocher@ultralytics.com> Co-authored-by: pre-commit-ci[bot] <66853113+pre-commit-ci[bot]@users.noreply.github.com>
This commit is contained in:
parent
0c4e97443b
commit
16a13a1ce0
178 changed files with 14224 additions and 561 deletions
116
docs/pt/models/mobile-sam.md
Normal file
116
docs/pt/models/mobile-sam.md
Normal file
|
|
@ -0,0 +1,116 @@
|
|||
---
|
||||
comments: true
|
||||
description: Saiba mais sobre o MobileSAM, sua implementação, comparação com o SAM original e como baixá-lo e testá-lo no framework Ultralytics. Melhore suas aplicações móveis hoje.
|
||||
keywords: MobileSAM, Ultralytics, SAM, aplicações móveis, Arxiv, GPU, API, codificador de imagens, decodificador de máscaras, download do modelo, método de teste
|
||||
---
|
||||
|
||||

|
||||
|
||||
# Segmentação Móvel de Qualquer Coisa (MobileSAM)
|
||||
|
||||
O artigo do MobileSAM agora está disponível no [arXiv](https://arxiv.org/pdf/2306.14289.pdf).
|
||||
|
||||
Uma demonstração do MobileSAM executando em uma CPU pode ser acessada neste [link de demonstração](https://huggingface.co/spaces/dhkim2810/MobileSAM). O desempenho em um Mac i5 CPU leva aproximadamente 3 segundos. Na demonstração do Hugging Face, a interface e CPUs de menor desempenho contribuem para uma resposta mais lenta, mas ela continua funcionando efetivamente.
|
||||
|
||||
O MobileSAM é implementado em vários projetos, incluindo [Grounding-SAM](https://github.com/IDEA-Research/Grounded-Segment-Anything), [AnyLabeling](https://github.com/vietanhdev/anylabeling) e [Segment Anything in 3D](https://github.com/Jumpat/SegmentAnythingin3D).
|
||||
|
||||
O MobileSAM é treinado em uma única GPU com um conjunto de dados de 100 mil imagens (1% das imagens originais) em menos de um dia. O código para esse treinamento será disponibilizado no futuro.
|
||||
|
||||
## Modelos Disponíveis, Tarefas Suportadas e Modos de Operação
|
||||
|
||||
Esta tabela apresenta os modelos disponíveis com seus pesos pré-treinados específicos, as tarefas que eles suportam e sua compatibilidade com diferentes modos de operação, como [Inference](../modes/predict.md), [Validation](../modes/val.md), [Training](../modes/train.md) e [Export](../modes/export.md), indicados pelos emojis ✅ para os modos suportados e ❌ para os modos não suportados.
|
||||
|
||||
| Tipo de Modelo | Pesos Pré-treinados | Tarefas Suportadas | Inference | Validation | Training | Export |
|
||||
|----------------|---------------------|--------------------------------------------------|-----------|------------|----------|--------|
|
||||
| MobileSAM | `mobile_sam.pt` | [Segmentação de Instâncias](../tasks/segment.md) | ✅ | ❌ | ❌ | ✅ |
|
||||
|
||||
## Adaptação de SAM para MobileSAM
|
||||
|
||||
Como o MobileSAM mantém o mesmo pipeline do SAM original, incorporamos o pré-processamento original, pós-processamento e todas as outras interfaces. Consequentemente, aqueles que estão atualmente usando o SAM original podem fazer a transição para o MobileSAM com um esforço mínimo.
|
||||
|
||||
O MobileSAM tem um desempenho comparável ao SAM original e mantém o mesmo pipeline, exceto por uma mudança no codificador de imagens. Especificamente, substituímos o codificador de imagens ViT-H original (632M) por um ViT menor (5M). Em uma única GPU, o MobileSAM opera em cerca de 12 ms por imagem: 8 ms no codificador de imagens e 4 ms no decodificador de máscaras.
|
||||
|
||||
A tabela a seguir fornece uma comparação dos codificadores de imagens baseados em ViT:
|
||||
|
||||
| Codificador de Imagens | SAM Original | MobileSAM |
|
||||
|------------------------|--------------|-----------|
|
||||
| Parâmetros | 611M | 5M |
|
||||
| Velocidade | 452ms | 8ms |
|
||||
|
||||
Tanto o SAM original quanto o MobileSAM utilizam o mesmo decodificador de máscaras baseado em prompt:
|
||||
|
||||
| Decodificador de Máscaras | SAM Original | MobileSAM |
|
||||
|---------------------------|--------------|-----------|
|
||||
| Parâmetros | 3,876M | 3,876M |
|
||||
| Velocidade | 4ms | 4ms |
|
||||
|
||||
Aqui está a comparação de todo o pipeline:
|
||||
|
||||
| Pipeline Completo (Enc+Dec) | SAM Original | MobileSAM |
|
||||
|-----------------------------|--------------|-----------|
|
||||
| Parâmetros | 615M | 9,66M |
|
||||
| Velocidade | 456ms | 12ms |
|
||||
|
||||
O desempenho do MobileSAM e do SAM original é demonstrado usando tanto um ponto quanto uma caixa como prompts.
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
Com seu desempenho superior, o MobileSAM é aproximadamente 5 vezes menor e 7 vezes mais rápido que o FastSAM atual. Mais detalhes estão disponíveis na [página do projeto MobileSAM](https://github.com/ChaoningZhang/MobileSAM).
|
||||
|
||||
## Testando o MobileSAM no Ultralytics
|
||||
|
||||
Assim como o SAM original, oferecemos um método de teste simples no Ultralytics, incluindo modos para prompts de Ponto e Caixa.
|
||||
|
||||
### Download do Modelo
|
||||
|
||||
Você pode baixar o modelo [aqui](https://github.com/ChaoningZhang/MobileSAM/blob/master/weights/mobile_sam.pt).
|
||||
|
||||
### Prompt de Ponto
|
||||
|
||||
!!! Example "Exemplo"
|
||||
|
||||
=== "Python"
|
||||
```python
|
||||
from ultralytics import SAM
|
||||
|
||||
# Carregar o modelo
|
||||
model = SAM('mobile_sam.pt')
|
||||
|
||||
# Prever um segmento com base em um prompt de ponto
|
||||
model.predict('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])
|
||||
```
|
||||
|
||||
### Prompt de Caixa
|
||||
|
||||
!!! Example "Exemplo"
|
||||
|
||||
=== "Python"
|
||||
```python
|
||||
from ultralytics import SAM
|
||||
|
||||
# Carregar o modelo
|
||||
model = SAM('mobile_sam.pt')
|
||||
|
||||
# Prever um segmento com base em um prompt de caixa
|
||||
model.predict('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])
|
||||
```
|
||||
|
||||
Implementamos `MobileSAM` e `SAM` usando a mesma API. Para obter mais informações sobre o uso, consulte a [página do SAM](sam.md).
|
||||
|
||||
## Citações e Agradecimentos
|
||||
|
||||
Se você achar o MobileSAM útil em sua pesquisa ou trabalho de desenvolvimento, considere citar nosso artigo:
|
||||
|
||||
!!! Citar ""
|
||||
|
||||
=== "BibTeX"
|
||||
|
||||
```bibtex
|
||||
@article{mobile_sam,
|
||||
title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
|
||||
author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
|
||||
journal={arXiv preprint arXiv:2306.14289},
|
||||
year={2023}
|
||||
}
|
||||
Loading…
Add table
Add a link
Reference in a new issue