O que é a IA multimodal? (E porque raramente significa um só modelo)

«Multimodal» é usado para duas coisas diferentes, e confundi-las leva a uma desilusão a sério.

Um sentido é um modelo capaz de ler mais do que um tipo de entrada — texto, imagens, áudio, vídeo. O outro é um sistema capaz de produzir mais do que um tipo de saída. Quase nenhum modelo faz as duas coisas, e a distância entre esses dois factos explica por que razão construir uma «app multimodal» costuma significar ligar vários modelos entre si.

Valores verificados pela última vez a 26 de agosto de 2026.

O que é uma modalidade

Uma modalidade é um tipo de dado: texto, imagem, áudio, vídeo. Um modelo é multimodal quando lida com mais do que um.

A pergunta útil nunca é «é multimodal?» mas «que modalidades, e em que direção?» — porque ler e escrever são capacidades completamente diferentes.

O que os grandes modelos de hoje realmente aceitam

Lê na horizontal, não na vertical. Todos eles produzem apenas texto.

Duas coisas saltam à vista.

O Gemini lê áudio e vídeo; o Claude e o GPT não. É neste momento a diferença de capacidade mais clara entre as grandes famílias, e não é um juízo de qualidade — é uma lista de tipos de entrada aceites. Se a tua entrada for uma reunião gravada ou um clipe de vídeo, essa diferença decide o teu modelo antes de qualquer outra coisa.

Todas as famílias dessa tabela escrevem texto e mais nada. O Gemini consegue ver um vídeo e descrevê-lo. Não consegue fazer um.

Então quem faz as imagens e os vídeos?

Modelos completamente diferentes. Só no catálogo da Atlas Cloud, a divisão é:

Quase todos esses modelos de imagem e vídeo fazem um só trabalho: entra texto, sai um tipo de média. Não conversam, não leem documentos, e não são os modelos da tabela acima.

Esta é a forma prática da IA multimodal em 2026: um modelo de texto capaz de ler vários tipos de entrada, mais geradores especializados para cada tipo de saída, unidos pelo teu código. Não um modelo que faça tudo.

Podes ver a divisão no índice de modelos — chat, imagem e vídeo são listas separadas porque são famílias de modelos separadas.

Quanto custa mesmo a entrada multimodal

Ler imagens e documentos não é grátis. São convertidos em tokens como tudo o resto, e a Anthropic publica as contagens:

• Uma imagem mais uma instrução curta: 1.028 tokens de entrada
• Um PDF mais uma instrução curta: 2.188 tokens de entrada

Portanto um pedido com vinte capturas de ecrã custa cerca de 20.000 tokens de entrada antes do teu prompt. No Claude Sonnet 5, a 2,00 $ por milhão, isso são quatro cêntimos por pedido — insignificante uma vez, real a cinquenta mil pedidos por mês.

O vídeo pesa ainda mais, o que ajuda a explicar por que menos fornecedores o aceitam.

Onde o multimodal ganha mesmo o seu lugar

• Ler documentos que são imagens. Digitalizações, capturas de ecrã, recibos, formulários manuscritos. Um modelo de texto com visão substitui um pipeline de OCR e aguenta maquetas para as quais nunca foi treinado.
• Compreensão de áudio e vídeo. Resumos de reuniões, análise de chamadas, descrição de clipes. Hoje isto aponta para o Gemini, porque é a família que aceita essas entradas.
• Geração ancorada. Mostra a um modelo as fotos da tua marca e pede-lhe textos que combinem com elas.
• Trabalho de interface. Dá a um modelo a captura de uma página estragada e pergunta o que está mal.

Onde não

• Quando precisas de média à saída. Vai buscar um gerador especializado. É para isso que servem os 196 modelos de vídeo e os 121 de imagem.
• Quando texto simples bastava. Um modelo de visão a ler um PDF que podias ter processado são mil tokens que não precisavas de gastar.
• Quando «multimodal» está a fazer trabalho de marketing. Um modelo que lê imagens não é automaticamente melhor em texto. Vê a lista de modalidades, não o adjetivo.

Como escolher

1. Escreve a direção. O que entra, o que sai. Duas listas.
2. Escolhe o leitor pelo tipo de entrada. Se houver áudio ou vídeo na lista de entrada, a família Gemini é hoje a resposta entre os três grandes.
3. Escolhe cada gerador em separado. Os modelos de imagem, vídeo e áudio escolhem-se pelos seus próprios méritos e preços.
4. Orçamenta as entradas. Mil tokens por imagem, dois mil por PDF, multiplicados pelo teu volume real de pedidos.

Versão curta

• Multimodal descreve o que um modelo lê, o que escreve, ou ambos — pergunta sempre qual.
• O Gemini lê áudio e vídeo. O Claude e o GPT leem texto, imagens e ficheiros. Todos escrevem apenas texto.
• Os média são produzidos por modelos especializados à parte: 196 de vídeo, 121 de imagem e 20 de áudio num só fornecedor.
• Uma aplicação multimodal a sério costuma ser um leitor mais um ou mais geradores, unidos pelo teu código.
• Imagens e PDF custam cerca de 1.000 e 2.000 tokens de entrada respetivamente. Multiplica pelo teu volume antes de desenhares à volta deles.

Explora mais na ElliSekiz

Vê as famílias lado a lado. O índice de modelos separa chat, imagem, vídeo e áudio, cada um com preços atuais.

Compara os leitores pelo preço. As tarifas por token de cada modelo de texto estão na página de comparação, na unidade em que cada fornecedor cobra.

Fontes

• API de modelos da OpenRouter, https://openrouter.ai/api/v1/models (modalidades de entrada e saída, consultada a 26-08-2026)
• API do catálogo de modelos da Atlas Cloud, https://api.atlascloud.ai/api/v1/models (contagens por tipo de modelo)
• Anthropic — Token counting (contagens de tokens de imagem e PDF)