2026-07-06

Що таке токени ШІ? (І чому рахунок більший, ніж ви очікували)

Токени простою мовою: що вважається одним, чому чат із 10 ходів виставляє рахунок за 22× набраного тексту і чому вихідні токени найдорожчі.

Що таке токени ШІ? (І чому рахунок більший, ніж ви очікували)

Ви знайшли модель, яка вам підходить, а поруч ціну: 2 $ за мільйон токенів. Це число нічого не варте, доки ви не можете відповісти на одне запитання — скільки токенів насправді витрачає ваш застосунок?

Більшість прикидає на око, і більшість занижує. Не тому, що токени складні, а тому, що майже все в запиті складається з токенів, і лише мала частина цього — те, що ви набрали.

Ось що таке токен, як його порахувати і де ховаються несподіванки.

Ціни востаннє перевірено 26 серпня 2026 року. Актуальні значення — на сторінці порівняння ElliSekiz.

Що таке токен насправді

Моделі ШІ не читають ані літер, ані слів. Вони читають токени — невеликі шматки тексту з фіксованого словника, з яким модель була побудована.

Токен може бути цілим словом, частиною слова, одним символом або розділовим знаком. Приблизно так:

Навіщо різати текст саме так? Моделі потрібен фіксований перелік того, що вона вміє розпізнавати. Перелік усіх англійських слів був би величезним і все одно проминув би імена, одруки та інші мови. Перелік приблизно зі 100 000 підслівних шматків покриває майже все, бо незнайоме слово можна скласти зі знайомих фрагментів.

У цьому вся ідея. Текст заходить, ріжеться на відомі шматки, і рахунок виставляється за шматок.

Скільки токенів у вашому тексті?

Емпіричне правило OpenAI для англійської: один токен ≈ 4 символи ≈ ¾ слова, тобто 100 токенів — приблизно 75 слів.

Для швидкої перевірки годиться, для бюджету — ні, з трьох причин.

Кожна модель токенізує по-своєму. Те саме речення дає різну кількість на різних моделях — іноді дуже різну. Документація Anthropic зазначає, що Claude 4.7 і новіші використовують новіший токенізатор, де «той самий вхідний текст дає приблизно на 30 відсотків більше токенів, ніж на попередніх моделях». Той самий текст, той самий постачальник, на 30 % більше токенів — лише через зміну версії.

Інші мови коштують дорожче. Словник більшості моделей побудований навколо англійської. Текст менш представленими мовами дробиться на більшу кількість дрібніших шматків — той самий зміст обходиться в більше токенів.

Код і структурований текст поводяться дивно. Відступи, дужки й довгі ідентифікатори розпадаються інакше, ніж проза.

Надійний хід — рахувати, а не оцінювати. Постачальники дають для цього інструмент: у Anthropic є ендпоінт підрахунку токенів, виклик якого безкоштовний, а OpenAI публікує токенізатор. Порахуйте один раз на своїх справжніх промптах — і більше не доведеться вгадувати.

Те, що дивує: усе складається з токенів

Ваше запитання — мала частка того, за що ви платите. Документація Anthropic публікує точні числа для кількох мінімальних запитів, і їх варто прочитати уважно:

Що було надісланоВхідні токени
Системний промпт «You are a scientist» плюс повідомлення «Hello, Claude»14
Запитання «What's the weather like in San Francisco?» плюс один опис інструмента403
Одне зображення плюс «Describe this image»1 028
Один PDF плюс «Please summarize this document.»2 188

Перечитайте другий рядок. У запитанні дев'ять слів. Опис одного-єдиного інструмента — назва, опис, схема входу — коштує приблизно 390 токенів. Агент із п'ятнадцятьма інструментами платить це в кожному запиті, ще до того, як користувач щось набрав.

Третій і четвертий рядки — та сама історія про медіа. Зображення — близько тисячі токенів. PDF — пара тисяч, і то був короткий.

Вхідні та вихідні токени коштують по-різному

Кожна текстова модель публікує дві ставки. Вихід завжди дорожчий.

МодельВхід $/1MВихід $/1MВихід коштує
GPT-5 nano$0.05$0.408× входу
Gemini 2.5 Flash Lite$0.10$0.404× входу
GPT-5 mini$0.25$2.008× входу
Claude Haiku 4.5$1.00$5.005× входу
GPT-5$1.25$10.008× входу
Claude Sonnet 5$2.00$10.005× входу
Claude Opus 5$5.00$25.005× входу

Звідси прямий практичний висновок: сказати моделі відповідати трьома реченнями замість десяти економить більше, ніж скоротити промпт на той самий обсяг. Зазвичай це найдешевша доступна оптимізація, і коштує вона одного рядка інструкції.

Скільки насправді коштує одна розмова

Чат на 10 ходів. Системний промпт 500 токенів, запитання по 100 токенів, відповіді по 250 токенів.

Заковика в тому, що моделі не мають пам'яті між викликами — уся розмова пересилається заново щоходу. Тож хід 10 знову платить за ходи з 1 по 9.

Ви набрали тисячу токенів, а заплатили майже за двадцять дві тисячі.

МодельВартість однієї такої розмови
GPT-5 nano$0.002
Claude Sonnet 5$0.069

Обидві цифри малі. Помножте на 50 000 розмов на місяць — і різниця стане різницею між похибкою округлення і справжньою статтею витрат.

Чотири речі, що непомітно роздувають рахунок за токени

  1. Системний промпт, оплачуваний у кожному запиті. Системний промпт на 800 токенів за 50 000 повідомлень — це 40 млн токенів на місяць за текст, написаний один раз. Кешування промптів існує саме для цього: постачальник зберігає незмінний префікс і бере частку за його повторне читання.
  2. Історія розмови. Як показано вище. Рішення — обрізати або переказувати старі ходи.
  3. Описи інструментів. Близько 390 токенів кожен, у кожному запиті, незалежно від того, чи інструмент використано.
  4. Зображення і PDF. По тисячі токенів і більше кожне.

Нічого з цього не приховано — усе задокументовано. Просто це легко забути в оцінці.

Токени — лише одна з кількох одиниць тарифікації

Варто знати, перш ніж узагальнювати: більшість моделей ШІ не тарифікуються за токенами. Із 472 моделей, які відстежує ElliSekiz, за токенами оцінено 160 — текстові та чат-моделі. Решта 338 оцінені за зображення, за мегапіксель, за секунду відео або за запуск.

Тож «скільки коштує ця модель» має різну форму залежно від того, що модель виробляє, і ціну за токен ніколи не можна порівняти напряму з ціною за зображення.

Висновки

Що подивитися далі на ElliSekiz

Загляньте до чат-моделей. Ціни вхідних і вихідних токенів для кожної текстової моделі, поруч, на сторінці чат-моделей.

А потім спробуйте якусь. Кожна сторінка моделі має playground — запустіть свій справжній промпт і прочитайте реальні числа токенів, перш ніж множити щось на 50 000.

Джерела

← Усі записи