2026-07-06

Что такое токены ИИ? (И почему счёт больше, чем вы ожидали)

Токены простым языком: что считается одним, почему чат из 10 ходов выставляет счёт за 22× напечатанного текста и почему выходные токены дороже всего.

Что такое токены ИИ? (И почему счёт больше, чем вы ожидали)

Вы нашли подходящую модель, а рядом с ней цену: 2 $ за миллион токенов. Это число бесполезно, пока вы не можете ответить на один вопрос — сколько токенов на самом деле расходует ваше приложение?

Большинство прикидывает на глаз, и большинство занижает. Не потому что токены сложны, а потому что почти всё в запросе состоит из токенов, и лишь малая часть этого — то, что вы напечатали.

Вот что такое токен, как его посчитать и где прячутся сюрпризы.

Цены проверены 26 августа 2026 года. Актуальные значения — на странице сравнения ElliSekiz.

Что такое токен на самом деле

Модели ИИ не читают ни букв, ни слов. Они читают токены — небольшие куски текста из фиксированного словаря, с которым модель была построена.

Токен может быть целым словом, частью слова, отдельным символом или знаком препинания. Примерно так:

Зачем резать текст именно так? Модели нужен фиксированный список того, что она умеет распознавать. Список всех английских слов был бы огромным и всё равно упустил бы имена, опечатки и другие языки. Список примерно из 100 000 подсловных кусков покрывает почти всё, потому что незнакомое слово можно сложить из знакомых фрагментов.

В этом вся идея. Текст входит, режется на известные куски, и счёт выставляется за кусок.

Сколько токенов в вашем тексте?

Эмпирическое правило OpenAI для английского: один токен ≈ 4 символа ≈ ¾ слова, то есть 100 токенов — около 75 слов.

Для быстрой проверки годится, для бюджета — нет, по трём причинам.

Каждая модель токенизирует по-своему. Одна и та же фраза даёт разное число на разных моделях — иногда очень разное. В документации Anthropic сказано, что Claude 4.7 и новее используют более новый токенизатор, где «тот же входной текст даёт примерно на 30 процентов больше токенов, чем на прежних моделях». Тот же текст, тот же поставщик, на 30 % больше токенов — только из-за смены версии.

Другие языки стоят дороже. Словарь большинства моделей построен вокруг английского. Текст на менее представленных языках дробится на большее число более мелких кусков — тот же смысл обходится в большее число токенов.

Код и структурированный текст ведут себя странно. Отступы, скобки и длинные идентификаторы распадаются иначе, чем проза.

Надёжный ход — считать, а не оценивать. Поставщики дают для этого инструмент: у Anthropic есть эндпоинт подсчёта токенов, вызов которого бесплатен, а OpenAI публикует токенизатор. Посчитайте один раз на своих настоящих промптах — и гадать больше не придётся.

То, что удивляет: всё состоит из токенов

Ваш вопрос — малая доля того, за что вы платите. Документация Anthropic публикует точные цифры для нескольких минимальных запросов, и их стоит прочитать внимательно:

Что было отправленоВходные токены
Системный промпт «You are a scientist» плюс сообщение «Hello, Claude»14
Вопрос «What's the weather like in San Francisco?» плюс одно описание инструмента403
Одно изображение плюс «Describe this image»1 028
Один PDF плюс «Please summarize this document.»2 188

Перечитайте вторую строку. В вопросе девять слов. Описание одного-единственного инструмента — имя, описание, схема входа — стоит примерно 390 токенов. Агент с пятнадцатью инструментами платит это в каждом запросе, до того как пользователь что-либо напечатал.

Третья и четвёртая строки — та же история про медиа. Изображение — около тысячи токенов. PDF — пара тысяч, и это был короткий.

Входные и выходные токены стоят по-разному

Каждая текстовая модель публикует две ставки. Выход всегда дороже.

МодельВход $/1MВыход $/1MВыход стоит
GPT-5 nano$0.05$0.408× входа
Gemini 2.5 Flash Lite$0.10$0.404× входа
GPT-5 mini$0.25$2.008× входа
Claude Haiku 4.5$1.00$5.005× входа
GPT-5$1.25$10.008× входа
Claude Sonnet 5$2.00$10.005× входа
Claude Opus 5$5.00$25.005× входа

Отсюда следует прямой практический вывод: велеть модели отвечать тремя предложениями вместо десяти экономит больше, чем сокращение промпта на тот же объём. Обычно это самая дешёвая доступная оптимизация, и стоит она одной строки инструкции.

Во сколько на самом деле обходится один разговор

Чат на 10 ходов. Системный промпт 500 токенов, вопросы по 100 токенов, ответы по 250 токенов.

Загвоздка в том, что у моделей нет памяти между вызовами — весь разговор пересылается заново каждый ход. Ход 10 снова платит за ходы с 1 по 9.

Вы напечатали тысячу токенов, а заплатили почти за двадцать две тысячи.

МодельСтоимость одного такого разговора
GPT-5 nano$0.002
Claude Sonnet 5$0.069

Обе цифры малы. Умножьте на 50 000 разговоров в месяц — и разница станет разницей между ошибкой округления и настоящей статьёй расходов.

Четыре вещи, которые незаметно раздувают счёт за токены

  1. Системный промпт, оплачиваемый в каждом запросе. Системный промпт на 800 токенов при 50 000 сообщений — это 40 млн токенов в месяц за текст, который вы написали один раз. Кеширование промптов существует ровно для этого: поставщик хранит неизменяемый префикс и берёт долю за его повторное чтение.
  2. История разговора. Как показано выше. Решение — обрезать или пересказывать старые ходы.
  3. Описания инструментов. Около 390 токенов каждое, в каждом запросе, независимо от того, использован инструмент или нет.
  4. Изображения и PDF. По тысяче токенов и больше каждое.

Ничего из этого не спрятано — всё задокументировано. Просто это легко забыть в оценке.

Токены — лишь одна из нескольких единиц тарификации

Стоит знать, прежде чем обобщать: большинство моделей ИИ не тарифицируются по токенам. Из 472 моделей, которые отслеживает ElliSekiz, по токенам оценены 160 — текстовые и чат-модели. Остальные 338 оценены за изображение, за мегапиксель, за секунду видео или за запуск.

Так что «сколько стоит эта модель» принимает разную форму в зависимости от того, что модель производит, и цену за токен нельзя напрямую сравнить с ценой за изображение.

Выводы

Что посмотреть дальше на ElliSekiz

Загляните в чат-модели. Цены входных и выходных токенов для каждой текстовой модели, рядом друг с другом, на странице чат-моделей.

А потом попробуйте одну. У каждой страницы модели есть playground — запустите свой настоящий промпт и прочитайте реальные числа токенов, прежде чем умножать что-либо на 50 000.

Источники

← Все записи