멀티모달 AI란 무엇인가? (그리고 왜 한 모델을 뜻하는 경우가 드문가)

"멀티모달"은 서로 다른 두 가지를 가리키는 데 쓰이고, 그 둘을 혼동하면 진짜로 실망하게 됩니다.

하나는 여러 종류의 입력을 읽을 수 있는 모델이라는 뜻입니다 — 텍스트, 이미지, 오디오, 비디오. 다른 하나는 여러 종류의 출력을 만들어 낼 수 있는 시스템이라는 뜻입니다. 단일 모델이 둘 다 하는 경우는 거의 없고, 이 두 사실 사이의 간극이 바로 "멀티모달 앱을 만든다"가 대개 여러 모델을 엮는 일이 되는 이유입니다.

수치 최종 확인: 2026년 8월 26일.

모달리티란 무엇인가

모달리티는 데이터의 종류입니다. 텍스트, 이미지, 오디오, 비디오. 모델이 그중 둘 이상을 다루면 멀티모달입니다.

쓸모 있는 질문은 결코 "멀티모달인가"가 아니라 "어떤 모달리티를, 어느 방향으로"입니다 — 읽는 것과 쓰는 것은 완전히 다른 능력이니까요.

오늘의 큰 모델들이 실제로 받아들이는 것

세로가 아니라 가로로 읽으십시오. 여기 있는 모두가 출력은 텍스트뿐입니다.

두 가지가 눈에 띕니다.

Gemini는 오디오와 비디오를 읽고, Claude와 GPT는 읽지 않습니다. 지금 큰 계열들 사이에서 가장 뚜렷한 능력 차이이고, 품질 판단이 아닙니다 — 받아들이는 입력 종류의 목록입니다. 당신의 입력이 녹음된 회의나 영상 클립이라면, 이 차이가 다른 무엇보다 먼저 모델을 결정합니다.

그 표의 모든 계열이 텍스트만 씁니다. Gemini는 영상을 보고 설명할 수 있습니다. 만들지는 못합니다.

그러면 이미지와 영상은 누가 만드나

전혀 다른 모델들입니다. Atlas Cloud 카탈로그만 봐도 분포는 이렇습니다.

그 이미지·비디오 모델의 거의 전부가 한 가지 일만 합니다. 텍스트가 들어가고, 한 종류의 미디어가 나옵니다. 대화하지 않고, 문서를 읽지 않으며, 위 표의 모델들이 아닙니다.

이것이 2026년 멀티모달 AI의 실무적 형태입니다. 여러 입력 종류를 읽을 수 있는 텍스트 모델 하나에, 출력 종류마다 전문 생성기를 더하고, 당신의 코드로 잇는 것. 모든 걸 하는 한 모델이 아닙니다.

그 분리는 모델 목록에서 볼 수 있습니다 — 채팅, 이미지, 비디오가 따로인 이유는 그것들이 별개의 모델 계열이기 때문입니다.

멀티모달 입력의 실제 비용

이미지와 문서를 읽는 것은 공짜가 아닙니다. 다른 모든 것처럼 토큰으로 바뀌고, Anthropic이 그 수를 공개합니다.

• 이미지 한 장 + 짧은 지시: 입력 1,028토큰
• PDF 하나 + 짧은 지시: 입력 2,188토큰

그러니 스크린샷 스무 장이 든 요청은 당신의 프롬프트가 시작되기 전에 약 20,000 입력 토큰을 씁니다. Claude Sonnet 5의 100만당 2.00달러로 치면 요청당 4센트 — 한 번이면 사소하고, 월 5만 건이면 실제 금액입니다.

비디오는 더 무겁고, 받아들이는 공급자가 더 적은 이유의 일부이기도 합니다.

멀티모달이 제 값을 하는 자리

• 이미지인 문서 읽기. 스캔본, 스크린샷, 영수증, 손으로 쓴 서식. 시각을 갖춘 텍스트 모델은 OCR 파이프라인을 대체하고, 학습한 적 없는 레이아웃도 감당합니다.
• 오디오·비디오 이해. 회의 요약, 통화 분석, 클립 설명. 오늘은 Gemini를 가리킵니다. 그 입력을 받는 계열이기 때문입니다.
• 근거 있는 생성. 모델에 브랜드 사진을 보여 주고 거기 어울리는 문구를 요청하기.
• 인터페이스 작업. 망가진 페이지의 스크린샷을 주고 무엇이 잘못됐는지 묻기.

제 값을 못 하는 자리

• 미디어를 출력해야 할 때. 전문 생성기를 쓰십시오. 비디오 196개와 이미지 121개는 그러라고 있습니다.
• 그냥 텍스트로 됐을 때. 파싱할 수 있었던 PDF를 비전 모델에 읽히는 것은 쓰지 않아도 될 천 토큰입니다.
• "멀티모달"이 마케팅 일을 하고 있을 때. 이미지를 읽는 모델이 자동으로 텍스트를 더 잘하지는 않습니다. 형용사가 아니라 모달리티 목록을 확인하십시오.

고르는 법

1. 방향을 적으십시오. 무엇이 들어가고 무엇이 나오는지. 목록 두 개.
2. 읽는 쪽은 입력 종류로 고르십시오. 입력 목록에 오디오나 비디오가 있다면, 큰 세 곳 중에서는 현재 Gemini 계열이 답입니다.
3. 생성기는 각각 따로 고르십시오. 이미지·비디오·오디오 모델은 저마다의 장점과 저마다의 가격으로 고릅니다.
4. 입력을 예산에 넣으십시오. 이미지당 천 토큰, PDF당 이천 토큰에 실제 요청량을 곱하십시오.

짧게 정리하면

• 멀티모달은 모델이 무엇을 읽는지, 무엇을 쓰는지, 또는 둘 다를 가리킵니다 — 항상 어느 쪽인지 물으십시오.
• Gemini는 오디오와 비디오를 읽습니다. Claude와 GPT는 텍스트, 이미지, 파일을 읽습니다. 모두 텍스트만 씁니다.
• 미디어는 별개의 전문 모델이 만듭니다. 공급자 한 곳만 해도 비디오 196, 이미지 121, 오디오 20.
• 진짜 멀티모달 애플리케이션은 대개 읽는 쪽 하나에 생성기 하나 이상을, 당신의 코드로 이은 것입니다.
• 이미지와 PDF는 각각 약 1,000토큰과 2,000토큰입니다. 그 둘을 중심으로 설계하기 전에 당신의 처리량을 곱해 보십시오.

ElliSekiz에서 더 보기

계열을 나란히 보기. 모델 목록은 채팅, 이미지, 비디오, 오디오를 나누어 각각 현재 가격과 함께 보여 줍니다.

읽는 쪽을 가격으로 비교하기. 모든 텍스트 모델의 토큰 요율은 비교 페이지에, 각 공급자가 청구하는 단위 그대로 있습니다.

코드가 아니라 이미지와 영상을 만들고 싶다면. 위에서 다룬 이미지·영상·음성 생성 모델은 영화, 릴스, 스토리를 만드는 크리에이티브 스튜디오 Reelina AI에도 있습니다. 크레딧 잔액 하나로, API 키 없이 쓸 수 있습니다.

출처

• OpenRouter models API, https://openrouter.ai/api/v1/models (입력·출력 모달리티, 2026-08-26 확인)
• Atlas Cloud 모델 카탈로그 API, https://api.atlascloud.ai/api/v1/models (모델 종류별 개수)
• Anthropic — Token counting (이미지와 PDF 토큰 수)