এআই টোকেন কী? (আর আপনার বিল কেন প্রত্যাশার চেয়ে বড়)

আপনি পছন্দের একটি মডেল পেয়েছেন এবং তার পাশে একটি দাম: প্রতি দশ লক্ষ টোকেনে ২ ডলার। একটি প্রশ্নের উত্তর দিতে না পারা পর্যন্ত এই সংখ্যাটির কোনো কাজ নেই — আপনার অ্যাপ আসলে কত টোকেন খরচ করে?

বেশির ভাগ মানুষ আন্দাজ করেন, আর বেশির ভাগই কম আন্দাজ করেন। টোকেন জটিল বলে নয়, বরং একটি অনুরোধের প্রায় সবকিছুই টোকেন দিয়ে তৈরি, আর তার সামান্য অংশই আপনার টাইপ করা লেখা।

টোকেন কী, কীভাবে গুনবেন, আর চমকগুলো কোথায় লুকিয়ে আছে — সেটাই এখানে।

দাম সর্বশেষ যাচাই: ২৬ আগস্ট ২০২৬। সরাসরি সংখ্যাগুলো আছে ElliSekiz তুলনা পাতায়।

টোকেন আসলে কী

এআই মডেল অক্ষরও পড়ে না, শব্দও পড়ে না। তারা পড়ে টোকেন — একটি নির্দিষ্ট শব্দভাণ্ডার থেকে নেওয়া লেখার ছোট ছোট টুকরো, যে শব্দভাণ্ডার দিয়ে মডেলটি বানানো হয়েছিল।

একটি টোকেন হতে পারে একটি পুরো শব্দ, শব্দের অংশ, একটিমাত্র অক্ষর, কিংবা একটি যতিচিহ্ন। মোটামুটি:

• cat → একটি টোকেন
• tokenization → প্রায়ই তিন-চার টুকরো, যেমন token + iz + ation
• ! → একটি টোকেন
• শব্দের আগের ফাঁকা জায়গাটি সাধারণত শব্দের সঙ্গেই যায়, তাই the একটি টোকেন, দুটি নয়

লেখা এভাবে ভাঙা হয় কেন? মডেলের এমন জিনিসের একটি নির্দিষ্ট তালিকা দরকার যা সে চিনতে পারে। ইংরেজির প্রতিটি শব্দের তালিকা বিশাল হবে, তবু নাম, বানান-ভুল আর অন্য ভাষা বাদ পড়ে যাবে। প্রায় এক লক্ষ উপ-শব্দ টুকরোর তালিকা প্রায় সবকিছু সামলে নেয়, কারণ অচেনা শব্দ চেনা টুকরো দিয়ে বানানো যায়।

পুরো ধারণাটা এটুকুই। লেখা ঢোকে, চেনা টুকরোয় কাটা পড়ে, আর আপনার বিল হয় টুকরো হিসেবে।

আপনার লেখা কত টোকেন

ইংরেজির জন্য OpenAI-এর মোটা নিয়ম হলো একটি টোকেন ≈ ৪ অক্ষর ≈ শব্দের ¾, অর্থাৎ ১০০ টোকেন প্রায় ৭৫ শব্দ।

দ্রুত যাচাইয়ের জন্য চলে, বাজেটের জন্য চলে না — তিনটি কারণে।

প্রতিটি মডেল আলাদাভাবে টোকেনাইজ করে। একই বাক্য ভিন্ন মডেলে ভিন্ন সংখ্যা দেয় — কখনও অনেক ভিন্ন। Anthropic-এর নিজের নথিতেই লেখা, Claude 4.7 ও তার পরের সংস্করণ নতুন টোকেনাইজার ব্যবহার করে যেখানে "একই ইনপুট লেখা আগের মডেলগুলোর চেয়ে প্রায় ৩০ শতাংশ বেশি টোকেন তৈরি করে।" একই লেখা, একই সরবরাহকারী, ৩০% বেশি টোকেন — কেবল সংস্করণ বদলের কারণে।

অন্য ভাষা বেশি খরচ করায়। বেশির ভাগ মডেলের শব্দভাণ্ডারে ইংরেজির প্রাধান্য। কম প্রতিনিধিত্ব পাওয়া ভাষার লেখা আরও বেশি ও আরও ছোট টুকরোয় ভাঙে — একই অর্থে বেশি টোকেন লাগে।

কোড আর কাঠামোবদ্ধ লেখা অদ্ভুত আচরণ করে। ইনডেন্ট, বন্ধনী আর লম্বা আইডেন্টিফায়ার গদ্যের চেয়ে আলাদাভাবে ভাঙে।

নির্ভরযোগ্য কাজ হলো আন্দাজ নয়, গোনা। সরবরাহকারীরা উপায় দেয়: Anthropic-এর টোকেন গোনার একটি এন্ডপয়েন্ট আছে যা কল করা বিনামূল্যে, আর OpenAI একটি টোকেনাইজার টুল প্রকাশ করে। নিজের আসল প্রম্পট দিয়ে একবার গুনে নিন, আর কখনও আন্দাজ করতে হবে না।

যে জায়গাটা মানুষকে চমকে দেয়: সবকিছুই টোকেন

আপনি যা টাকা দেন, তার ছোট একটি অংশই আপনার প্রশ্ন। Anthropic-এর নথি কয়েকটি ন্যূনতম অনুরোধের সঠিক সংখ্যা প্রকাশ করে, আর সেগুলো মন দিয়ে পড়ার মতো:

দ্বিতীয় সারিটি আবার পড়ুন। প্রশ্নটি নয় শব্দের। একটিমাত্র টুলের বর্ণনা — তার নাম, বিবরণ, ইনপুট স্কিমা — খরচ করে প্রায় ৩৯০ টোকেন। পনেরোটি টুলওয়ালা একটি এজেন্ট প্রতিটি অনুরোধেই সেটা দেয়, ব্যবহারকারী কিছু টাইপ করার আগেই।

তৃতীয় ও চতুর্থ সারি মিডিয়ার ক্ষেত্রে একই গল্প। একটি ছবি প্রায় এক হাজার টোকেন। একটি PDF কয়েক হাজার, আর সেটিও ছিল ছোট।

ইনপুট আর আউটপুট টোকেনের দাম এক নয়

প্রতিটি টেক্সট মডেল দুটি হার প্রকাশ করে। দামিটা সবসময় আউটপুট।

এর সরাসরি একটি ব্যবহারিক ফল আছে: মডেলকে দশ বাক্যের বদলে তিন বাক্যে উত্তর দিতে বলা, প্রম্পট সমান পরিমাণে ছোট করার চেয়ে বেশি টাকা বাঁচায়। সাধারণত এটাই সবচেয়ে সস্তা অপ্টিমাইজেশন, আর খরচ এক লাইনের নির্দেশ।

একটি কথোপকথনের আসল খরচ

১০ দফার চ্যাট। ৫০০ টোকেনের সিস্টেম প্রম্পট, ১০০ টোকেনের প্রশ্ন, ২৫০ টোকেনের উত্তর।

গোলমালটা হলো, কলের মাঝে মডেলের কোনো স্মৃতি নেই — প্রতিটি দফায় গোটা কথোপকথন আবার পাঠানো হয়। তাই দফা ১০ আবার দফা ১ থেকে ৯-এর দাম দেয়।

• আপনার টাইপ করা টোকেন: ১০ × ১০০ = ১,০০০
• যত ইনপুট টোকেনের বিল হয়: ২১,৭৫০
• আউটপুট টোকেন: ১০ × ২৫০ = ২,৫০০

আপনি এক হাজার টোকেন টাইপ করে প্রায় বাইশ হাজারের দাম দিয়েছেন।

দুটোই ছোট। মাসে ৫০,০০০ কথোপকথন দিয়ে গুণ করুন, তখন এই পার্থক্যটাই হয়ে দাঁড়ায় রাউন্ডিং ত্রুটি আর সত্যিকারের খরচের খাতের মধ্যেকার পার্থক্য।

চারটি জিনিস যা চুপচাপ টোকেন বিল ফোলায়

১. সিস্টেম প্রম্পট, প্রতিটি অনুরোধে ধরা হয়। ৫০,০০০ বার্তায় ৮০০ টোকেনের সিস্টেম প্রম্পট মানে মাসে ৪ কোটি টোকেন — এমন এক লেখার জন্য যা আপনি একবার লিখেছেন। প্রম্পট ক্যাশিং ঠিক এর জন্যই আছে — সরবরাহকারী অপরিবর্তিত অংশটি জমা রাখে আর পুনরায় পড়ার জন্য সামান্য অংশ নেয়। ২. কথোপকথনের ইতিহাস। উপরে যেমন দেখানো হলো। পুরোনো দফাগুলো ছেঁটে ফেলা বা সংক্ষেপ করাই সমাধান। ৩. টুল সংজ্ঞা। প্রতিটি প্রায় ৩৯০ টোকেন, প্রতিটি অনুরোধে, টুলটি ব্যবহার হোক বা না হোক। ৪. ছবি আর PDF। প্রতিটি এক হাজার টোকেন বা তার বেশি।

এর কোনোটিই লুকানো নয় — সবই নথিভুক্ত। শুধু হিসাব থেকে বাদ পড়ে যাওয়া সহজ।

টোকেন কেবল কয়েকটি মূল্য-এককের একটি

সাধারণীকরণের আগে জেনে রাখা ভালো: বেশির ভাগ এআই মডেলের দাম টোকেনে ধরা হয় না। ElliSekiz যে ৪৭২টি মডেল অনুসরণ করে, তার ১৬০টির দাম টোকেন হিসেবে — টেক্সট আর চ্যাট মডেল। বাকি ৩৩৮টির দাম প্রতি ছবি, প্রতি মেগাপিক্সেল, ভিডিওর প্রতি সেকেন্ড, কিংবা প্রতি রান হিসেবে।

তাই "এই মডেলের দাম কত" প্রশ্নের আকার বদলায় মডেল কী বানায় তার উপর, আর প্রতি-টোকেন দামের সঙ্গে প্রতি-ছবি দামের সরাসরি তুলনা কখনোই চলে না।

উপসংহার

• টোকেন লেখার একটি ছোট টুকরো, শব্দ নয়। ইংরেজিতে প্রায় শব্দের ¾, আর অন্য বেশির ভাগ ভাষায় তারও কম।
• মোটা নিয়মে কখনও বাজেট করবেন না। সরবরাহকারীর নিজের টুল দিয়ে, ঠিক যে মডেলটি ব্যবহার করবেন তার উপরেই গুনুন।
• আপনার প্রশ্নটাই ছোট অংশ। সিস্টেম প্রম্পট, কথোপকথনের ইতিহাস, টুল সংজ্ঞা আর সংযুক্তিই বড় অংশ।
• আউটপুট টোকেন ইনপুটের চেয়ে ৪ থেকে ৮ গুণ দামি, তাই ছোট উত্তরই সবচেয়ে সস্তা সাশ্রয়।

ElliSekiz-এ আরও দেখুন

চ্যাট মডেলগুলো দেখুন। প্রতিটি টেক্সট মডেলের ইনপুট ও আউটপুট টোকেনের দাম পাশাপাশি, চ্যাট মডেল পাতায়।

তারপর একটি চালিয়ে দেখুন। প্রতিটি মডেল পাতায় একটি playground আছে — কোনো কিছুকে ৫০,০০০ দিয়ে গুণ করার আগে নিজের আসল প্রম্পট চালিয়ে সত্যিকারের টোকেন সংখ্যা পড়ে নিন।

সূত্র

• Anthropic — Token counting (নথিভুক্ত উদাহরণ সংখ্যা, টোকেনাইজার বদল, বিনামূল্যের গণনা এন্ডপয়েন্ট)
• OpenAI Help Center — What are tokens and how to count them? (ইংরেজির মোটা নিয়ম)
• OpenRouter models API, https://openrouter.ai/api/v1/models (টোকেনের দাম, পড়া হয়েছে ২৬-০৮-২০২৬)