AI 토큰이란 무엇인가? (그리고 청구서가 예상보다 큰 이유)

마음에 드는 모델을 찾았고 그 옆에 가격이 붙어 있습니다. 100만 토큰당 2달러. 이 숫자는 한 가지 질문에 답할 수 있기 전까지는 쓸모가 없습니다. 당신의 앱은 실제로 토큰을 몇 개나 쓰나요?

대부분은 어림잡고, 대부분은 적게 잡습니다. 토큰이 복잡해서가 아니라, 요청을 이루는 거의 모든 것이 토큰이고 당신이 입력한 것은 그중 작은 일부이기 때문입니다.

토큰이 무엇인지, 어떻게 세는지, 그리고 놀라움이 어디에 숨어 있는지 살펴봅니다.

가격 최종 확인: 2026년 8월 26일. 실시간 수치는 ElliSekiz 비교 페이지에 있습니다.

토큰이란 실제로 무엇인가

AI 모델은 글자도 단어도 읽지 않습니다. 토큰을 읽습니다 — 모델이 만들어질 때 정해진 고정 어휘에서 가져온 작은 텍스트 조각입니다.

토큰은 온전한 단어일 수도, 단어의 일부일 수도, 한 글자일 수도, 문장부호일 수도 있습니다. 대략 이렇습니다.

• cat → 토큰 하나
• tokenization → 흔히 서너 조각, 예를 들어 token + iz + ation
• ! → 토큰 하나
• 단어 앞의 공백은 보통 그 단어와 함께 다니므로 the는 토큰 하나이지 둘이 아닙니다

왜 이렇게 자를까요? 모델에는 인식할 수 있는 것들의 고정된 목록이 필요합니다. 영어 단어를 모두 담은 목록은 엄청나게 크면서도 고유명사, 오타, 다른 언어를 놓칩니다. 약 10만 개의 하위 단어 조각 목록이면 거의 모든 것을 감당합니다. 모르는 단어도 아는 조각들로 철자할 수 있으니까요.

이게 전부입니다. 텍스트가 들어가고, 알려진 조각으로 잘리고, 조각 단위로 청구됩니다.

당신의 텍스트는 몇 토큰인가

영어에 대한 OpenAI의 어림 규칙은 토큰 하나 ≈ 4자 ≈ 단어의 ¾, 그러니까 100토큰은 약 75단어입니다.

빠른 점검에는 충분하고 예산에는 부적합합니다. 이유는 셋입니다.

모델마다 토큰화가 다릅니다. 같은 문장도 모델이 다르면 개수가 다르고, 때로는 아주 다릅니다. Anthropic 문서에는 Claude 4.7 이후가 새로운 토크나이저를 쓰며 "같은 입력 텍스트가 이전 모델보다 약 30퍼센트 더 많은 토큰을 만든다"고 적혀 있습니다. 같은 텍스트, 같은 공급자, 오직 버전이 바뀌었다는 이유로 30% 증가입니다.

다른 언어는 더 비쌉니다. 대부분 모델의 어휘는 영어가 지배합니다. 덜 대표되는 언어의 텍스트는 더 많고 더 작은 조각으로 쪼개집니다 — 같은 뜻에 더 많은 토큰이 듭니다.

코드와 구조화된 텍스트는 이상하게 굴러갑니다. 들여쓰기, 괄호, 긴 식별자는 산문과 다른 방식으로 조각납니다.

믿을 만한 방법은 추정이 아니라 세는 것입니다. 공급자가 방법을 제공합니다. Anthropic에는 호출이 무료인 토큰 계산 엔드포인트가 있고, OpenAI는 토크나이저 도구를 공개합니다. 실제 프롬프트로 한 번 세어 두면 다시는 짐작할 필요가 없습니다.

사람들이 놀라는 지점: 전부가 토큰이다

당신의 질문은 지불액의 작은 몫입니다. Anthropic 문서는 최소한의 요청 몇 가지에 대해 정확한 개수를 공개하며, 꼼꼼히 읽어 볼 가치가 있습니다.

둘째 줄을 다시 보세요. 질문은 아홉 단어입니다. 도구 하나를 설명하는 데 — 이름, 설명, 입력 스키마 — 대략 390토큰이 듭니다. 도구가 열다섯 개인 에이전트는 사용자가 아무것도 입력하기 전에, 요청마다 그만큼을 냅니다.

셋째, 넷째 줄은 미디어에 대한 같은 이야기입니다. 이미지는 약 1,000토큰. PDF는 수천 토큰이고, 그것도 짧은 것이었습니다.

입력 토큰과 출력 토큰은 값이 다르다

모든 텍스트 모델은 두 가지 요율을 공개합니다. 비싼 쪽은 늘 출력입니다.

여기서 실무적인 결론이 곧바로 나옵니다. 모델에게 열 문장 대신 세 문장으로 답하라고 말하는 편이, 프롬프트를 같은 분량만큼 줄이는 것보다 돈을 더 아낍니다. 대개 가장 값싼 최적화이고, 지시문 한 줄이면 됩니다.

대화 하나의 실제 비용

10턴 대화. 시스템 프롬프트 500토큰, 질문 100토큰, 답변 250토큰.

함정은 모델에게 호출 사이의 기억이 없다는 점입니다 — 대화 전체가 매 턴 다시 전송됩니다. 그래서 10번째 턴은 1번부터 9번 턴까지를 다시 지불합니다.

• 당신이 입력한 토큰: 10 × 100 = 1,000
• 청구되는 입력 토큰: 21,750
• 출력 토큰: 10 × 250 = 2,500

1,000토큰을 쳤는데 22,000에 가까운 값을 낸 셈입니다.

둘 다 작습니다. 월 50,000회 대화를 곱하면, 그 차이는 반올림 오차와 진짜 지출 항목의 차이가 됩니다.

토큰 청구서를 조용히 부풀리는 네 가지

1. 시스템 프롬프트, 요청마다 과금. 800토큰짜리 시스템 프롬프트를 메시지 50,000건에 곱하면, 한 번 쓴 텍스트 때문에 월 4,000만 토큰입니다. 프롬프트 캐싱이 정확히 이걸 위해 있습니다 — 공급자가 변하지 않는 접두부를 저장하고, 다시 읽는 값으로 일부만 청구합니다.
2. 대화 기록. 위에서 본 대로입니다. 오래된 턴을 잘라내거나 요약하는 것이 해법입니다.
3. 도구 정의. 개당 약 390토큰, 요청마다, 그 도구를 쓰든 안 쓰든.
4. 이미지와 PDF. 각각 1,000토큰 이상.

이 중 감춰진 것은 없습니다 — 전부 문서에 있습니다. 다만 견적에서 빠뜨리기 쉬울 뿐입니다.

토큰은 여러 과금 단위 중 하나일 뿐이다

일반화하기 전에 알아 둘 것: 대부분의 AI 모델은 토큰으로 과금되지 않습니다. ElliSekiz가 추적하는 472개 모델 중 토큰 과금은 160개 — 텍스트와 채팅 모델입니다. 나머지 338개는 이미지당, 메가픽셀당, 영상 1초당, 또는 실행당 과금됩니다.

그러니 "이 모델은 얼마인가"는 모델이 무엇을 만들어 내느냐에 따라 모양이 달라지고, 토큰 단가는 이미지 단가와 결코 직접 비교할 수 없습니다.

결론

• 토큰은 단어가 아니라 작은 텍스트 조각입니다. 영어로는 단어의 약 ¾, 다른 대부분의 언어에서는 그보다 적습니다.
• 어림 규칙으로 예산을 잡지 마세요. 공급자의 도구로, 실제로 쓸 바로 그 모델에 대고 세십시오.
• 당신의 질문은 작은 쪽입니다. 시스템 프롬프트, 대화 기록, 도구 정의, 첨부가 큰 쪽입니다.
• 출력 토큰은 입력의 4~8배이므로, 답변을 짧게 하는 것이 가장 값싼 절약입니다.

ElliSekiz에서 더 보기

채팅 모델 둘러보기. 모든 텍스트 모델의 입력·출력 토큰 가격을 나란히, 채팅 모델 페이지에서.

그리고 하나 써 보기. 모든 모델 페이지에는 playground가 있습니다 — 무언가에 50,000을 곱하기 전에, 진짜 프롬프트를 실행해 실제 토큰 수를 읽어 보세요.

출처

• Anthropic — Token counting (문서화된 예시 수치, 토크나이저 변경, 무료 계산 엔드포인트)
• OpenAI Help Center — What are tokens and how to count them? (영어 어림 규칙)
• OpenRouter models API, https://openrouter.ai/api/v1/models (토큰 가격, 2026-08-26 확인)