マルチモーダル AI とは? (そしてなぜ一つのモデルを指すことは稀なのか)

「マルチモーダル」は二つの別のことを指して使われ、混同すると本当に落胆します。

ひとつは、複数の種類の入力を 読める モデルという意味——テキスト、画像、音声、動画。もうひとつは、複数の種類の出力を 作れる システムという意味です。両方をこなす単一のモデルはほとんどなく、この二つの事実のあいだの隔たりが、「マルチモーダルなアプリを作る」がたいてい複数のモデルを結線することを意味する理由です。

数値の最終確認: 2026年8月26日。

モダリティとは何か

モダリティとはデータの種類です。テキスト、画像、音声、動画。モデルがそのうち二つ以上を扱えるとき、そのモデルはマルチモーダルです。

役に立つ問いは「マルチモーダルかどうか」ではなく、つねに 「どのモダリティを、どちら向きに」 です——読むことと書くことはまったく別の能力だからです。

今日の大規模モデルが実際に受け取るもの

縦ではなく横に読んでください。ここに挙げたどれもが、出力はテキストだけです。

二つのことが目を引きます。

Gemini は音声と動画を読む。Claude と GPT は読まない。 これが現時点で大手ファミリー間の最も明快な能力差であり、品質の評価ではありません——受け付ける入力形式の一覧です。あなたの入力が録音された会議や動画クリップなら、この違いが何よりも先にモデルを決めてしまいます。

この表のどのファミリーも、書くのはテキストだけです。 Gemini は動画を見て説明できます。作ることはできません。

では画像や動画は誰が作るのか

まったく別のモデルです。Atlas Cloud のカタログだけでも、内訳はこうなります:

これら画像・動画モデルのほとんどは仕事がひとつです。テキストを入れ、一種類のメディアを出す。会話はせず、文書も読まず、上の表のモデルとは別物です。

これが 2026 年におけるマルチモーダル AI の実務上の姿です: 複数の入力形式を読めるテキストモデルに、出力形式ごとの専用ジェネレーターを足し、あなたのコードでつなぐ。何でもこなす一つのモデルではありません。

その分かれ方は モデル一覧 で見られます——チャット、画像、動画 が別々のリストなのは、別々のモデルファミリーだからです。

マルチモーダル入力の実際のコスト

画像や文書を読むのは無料ではありません。ほかのすべてと同じくトークンに変換され、Anthropic はその数を公開しています:

• 画像 1 枚＋短い指示: 入力 1,028 トークン
• PDF 1 つ＋短い指示: 入力 2,188 トークン

スクリーンショット 20 枚を含むリクエストは、あなたのプロンプトが始まる前に約 20,000 入力トークンかかる計算です。Claude Sonnet 5 の 100 万あたり 2.00 ドルなら、1 リクエストで 4 セント——一度なら些細でも、月 5 万リクエストなら現実の額です。

動画はさらに重く、受け付けるプロバイダーが少ない理由の一端でもあります。

マルチモーダルが本当に値打ちを出す場面

• 画像である文書を読む。 スキャン、スクリーンショット、レシート、手書きの書式。視覚を持つテキストモデルは OCR パイプラインを置き換え、学習したことのないレイアウトにも対処します。
• 音声・動画の理解。 会議の要約、通話の分析、クリップの説明。今日これは Gemini を指します。その入力を受け付けるファミリーだからです。
• 根拠づけられた生成。 ブランド写真をモデルに見せ、それに合う文章を書かせる。
• インターフェースの作業。 壊れたページのスクリーンショットを渡し、何がおかしいかを尋ねる。

値打ちを出さない場面

• メディアを出力したいとき。 専用のジェネレーターに頼ってください。196 の動画モデルと 121 の画像モデルはそのためにあります。
• ただのテキストで足りたとき。 パースできたはずの PDF をビジョンモデルに読ませるのは、使わずに済んだ千トークンです。
• 「マルチモーダル」がマーケティングの仕事をしているとき。 画像を読めるモデルが自動的にテキストで優れるわけではありません。形容詞ではなく、モダリティの一覧を確認してください。

選び方

1. 向きを書き出す。 何が入り、何が出るか。二つのリスト。
2. 読み手は入力形式で選ぶ。 入力リストに音声か動画があるなら、大手三社のなかでは今のところ Gemini ファミリーが答えです。
3. ジェネレーターは個別に選ぶ。 画像・動画・音声のモデルは、それぞれの長所とそれぞれの価格で選びます。
4. 入力を予算に入れる。 画像 1 枚につき千トークン、PDF 1 つにつき二千トークン。実際のリクエスト量を掛けてください。

短くまとめると

• マルチモーダルは、モデルが何を 読む か、何を 書く か、あるいはその両方を指す——どちらの意味かをつねに確かめること。
• Gemini は音声と動画を読む。Claude と GPT はテキスト、画像、ファイルを読む。いずれも書くのはテキストだけ。
• メディアは別の専用モデルが作る。あるプロバイダー一社だけで動画 196、画像 121、音声 20。
• 実務のマルチモーダルアプリは、たいてい読み手ひとつ＋ジェネレーター一つ以上を、あなたのコードでつないだもの。
• 画像はおよそ 1,000、PDF はおよそ 2,000 入力トークン。設計を始める前に、自分の量を掛けてください。

ElliSekiz でさらに見る

ファミリーを並べて見る。 モデル一覧 は チャット、画像、動画、音声に分かれ、それぞれ現在の価格つきです。

読み手を価格で比べる。 すべてのテキストモデルのトークン単価は 比較ページ に、各プロバイダーが課金する単位のまま載っています。

出典

• OpenRouter models API, https://openrouter.ai/api/v1/models（入力・出力モダリティ、2026-08-26 参照）
• Atlas Cloud モデルカタログ API, https://api.atlascloud.ai/api/v1/models（モデル種別ごとの数）
• Anthropic — Token counting（画像と PDF のトークン数）