OpenVision quer substituir o CLIP: o novo encoder de visão da UCSC é realmente melhor?

OpenVision: UCSC lança alternativa open source ao CLIP para integrar visão computacional a LLMs

A Universidade da Califórnia em Santa Cruz (UCSC) anunciou o lançamento do OpenVision, uma nova família de codificadores de visão que promete ser uma alternativa robusta e de código aberto aos modelos existentes, como o CLIP da OpenAI e o SigLIP do Google.

O projeto, liderado pelo professor assistente Cihang Xie, em colaboração com Xianhang Li, Yanqing Liu, Haoqin Tu e Hongru Zhu, traz uma abordagem escalável, eficiente e altamente acessível para aplicações empresariais e industriais que exigem entendimento visual em larga escala.

O que é um codificador de visão?

Um vision encoder é um modelo de IA especializado em transformar imagens em dados numéricos, tornando-os compreensíveis por modelos de linguagem como os LLMs (Modelos de Linguagem de Grande Escala). Ele é peça-chave para permitir que LLMs “vejam” — ou seja, processem e compreendam conteúdos visuais como fotografias, capturas de tela, documentos e mais.

Licença comercial e 26 modelos prontos para uso

O OpenVision é distribuído sob a licença permissiva Apache 2.0, o que significa que pode ser usado inclusive em aplicações comerciais. A família conta com 26 modelos, variando de 5,9 milhões a 632,1 milhões de parâmetros, permitindo que desenvolvedores escolham o modelo ideal conforme o uso: desde dispositivos embarcados até servidores robustos.

Esses modelos podem ser utilizados em uma ampla gama de casos — como análises visuais em canteiros de obras, diagnósticos em eletrodomésticos ou suporte em dispositivos móveis com câmera — sempre integrando visão à inteligência artificial de forma prática e segura.

Arquitetura flexível para aplicações empresariais

O OpenVision foi pensado para ser flexível:

• Modelos maiores oferecem precisão superior para uso em servidores e data centers.
• Modelos menores (Tiny e Small) são otimizados para uso em dispositivos de borda com baixa capacidade de processamento.
• Suporte a tamanhos de patch adaptáveis (8×8 e 16×16) oferece equilíbrio entre resolução e carga computacional.

Resultados expressivos em benchmarks multimodais

Nos testes realizados com frameworks como LLaVA-1.5 e Open-LLaVA-Next, os modelos do OpenVision apresentaram desempenho superior ao CLIP e ao SigLIP em tarefas como:

• TextVQA (perguntas visuais baseadas em texto)
• ChartQA (interpretação de gráficos)
• MME (multimodal evaluation)
• OCR (reconhecimento óptico de caracteres)

Inclusive nas resoluções mais altas (336×336), o OpenVision-L/14 superou o CLIP-L/14 em quase todas as métricas avaliadas. Já os modelos menores se mostraram bastante competitivos, mantendo precisão com muito menos parâmetros.

Treinamento progressivo e eficiente

Uma das inovações mais relevantes do OpenVision é seu processo de treinamento com resoluções progressivas — começando com imagens de baixa resolução e evoluindo gradualmente. Isso resultou em uma redução de custo computacional de 2 a 3 vezes em comparação com o CLIP e o SigLIP, sem perda de performance.

Estudos de ablação (remoção de componentes) também confirmaram a importância de estratégias como o uso de legendas sintéticas e decodificadores auxiliares de texto, que ampliam a riqueza semântica aprendida pelos modelos.

Compatível com sistemas leves e IA de borda

Outro destaque do OpenVision é sua capacidade de funcionar bem mesmo em sistemas compactos. Em testes, foi possível combinar um encoder visual com um modelo de linguagem de apenas 150 milhões de parâmetros (Smol-LM), resultando em um sistema multimodal completo com menos de 250 milhões de parâmetros — ideal para smartphones, câmeras industriais ou dispositivos médicos portáteis.

Por que o OpenVision é estratégico para empresas?

O OpenVision representa um salto importante para equipes de engenharia de IA, orquestração, infraestrutura de dados e segurança corporativa:

• Evita dependência de APIs fechadas, permitindo total controle e personalização da pipeline multimodal.
• Suporta desde dispositivos de borda até ambientes de nuvem de alto desempenho, com diferentes tamanhos de modelo.
• Reduz custos de MLOps graças ao treinamento eficiente e modularidade dos encoders.
• Protege dados sensíveis com execução local e arquitetura transparente — ideal para setores regulados como saúde, jurídico e finanças.
• Integra-se facilmente com ferramentas como PyTorch, Hugging Face e frameworks multimodais existentes.

Disponível agora

O repositório oficial do OpenVision está disponível com implementações em PyTorch e JAX, além de utilitários para integração com estruturas populares. Os modelos podem ser baixados via Hugging Face, e as receitas de treinamento foram publicadas com foco em reprodutibilidade.

Com uma abordagem aberta, escalável e altamente eficiente, o OpenVision se destaca como alternativa sólida aos encoders proprietários — democratizando o acesso à IA multimodal com visão computacional de ponta.

📎 Acesse a página oficial do projeto no GitHub para benchmarks, documentação completa e downloads.