Thẻ mô hình nào cũng mang một con số kiểu "200K ngữ cảnh" hay "1M ngữ cảnh". Trông như thông số dung lượng, giống dung lượng ổ đĩa. Thực ra nó gần với một khoản ngân sách bạn tiêu trong từng yêu cầu một — và phần lớn thứ tiêu nó không phải là những gì bạn gõ.
Số liệu kiểm tra lần cuối ngày 26 tháng 8 năm 2026.
Độ dài ngữ cảnh là gì
Mô hình không có trí nhớ. Mỗi lần bạn gọi, bạn gửi lại toàn bộ cuộc hội thoại — prompt hệ thống, mọi lượt trước đó, mọi tệp đính kèm — và nó đọc hết trước khi viết một chữ.
Độ dài ngữ cảnh là kích thước tối đa của gói đó, đo bằng token. Token là một mẩu văn bản nhỏ, trong tiếng Anh xấp xỉ ba phần tư một từ.
Vậy nên đó không phải bộ nhớ lưu trữ. Đó là kích thước cái bàn mà mô hình có thể trải tài liệu của bạn ra, dọn sạch lại ở mỗi yêu cầu.
Giới hạn thực tế hôm nay
| Độ dài ngữ cảnh | Mô hình cỡ đó |
|---|---|
| 32.768 | Qwen 2.5 Coder 32B |
| 200.000 | Claude Haiku 4.5 |
| 262.144 | Kimi K2.7 Code |
| 400.000 | Toàn bộ họ GPT-5, gồm mọi biến thể Codex |
| 1.000.000 | Claude Opus 5, Claude Sonnet 5, Qwen3 Coder Flash và Plus |
| 1.048.576 | Họ Gemini 2.5 và 3.x, DeepSeek V4 Pro |
Hai điều đáng chú ý.
Một triệu token vào khoảng 750.000 từ — vài cuốn tiểu thuyết dài. Gần như không ứng dụng nào cần đến thế, và những ứng dụng thấy cần thường có vấn đề về tìm kiếm chứ không phải về ngữ cảnh.
1.048.576 chính là 2²⁰, không phải con số tròn kiểu tiếp thị. Chỗ nào nhà cung cấp ghi đúng 1.000.000 là họ đã làm tròn; chỗ nào ghi 1.048.576 là họ báo cáo kích thước bộ đệm thật.
Giá token và độ dài ngữ cảnh của mọi mô hình văn bản nằm ở trang mô hình trò chuyện.
Thứ thực sự lấp đầy nó
Đây là phần các thẻ mô hình không nói. Tài liệu của Anthropic công bố số token chính xác cho vài yêu cầu tối giản, và chúng rất đáng học:
| Đã gửi gì | Token đầu vào |
|---|---|
| Prompt hệ thống năm từ cộng tin nhắn hai từ | 14 |
| Câu hỏi chín từ cộng một định nghĩa công cụ | 403 |
| Một ảnh cộng "Describe this image" | 1.028 |
| Một PDF cộng "Please summarize this document." | 2.188 |
Một định nghĩa công cụ tốn khoảng 390 token. Một agent có hai mươi công cụ tiêu chừng 8.000 token trong cửa sổ của nó trước khi người dùng gõ bất cứ điều gì — và trả tiền cho chúng ở mọi yêu cầu.
Một ảnh khoảng một nghìn token. Hai mươi ảnh chụp màn hình là 20.000.
Và bản thân cuộc hội thoại thì lớn dần. Lượt 10 mang theo các lượt 1 đến 9. Cuộc trò chuyện tưởng nhỏ lúc đầu, đến cuối lại là thứ lớn nhất trong yêu cầu.
Vậy nên một mô hình "200K ngữ cảnh" nằm trong agent có mười lăm công cụ, prompt hệ thống dài và vài ảnh chụp màn hình không hề khởi đầu ở 200K. Nó khởi đầu thấp hơn nhiều, và co lại sau mỗi lượt.
Cái bẫy: cùng một văn bản không cùng một số token
Độ dài ngữ cảnh đo bằng token, mà token lại không phải đơn vị ổn định giữa các mô hình.
Chính tài liệu của Anthropic nêu rằng Claude 4.7 trở đi dùng bộ tách token mới hơn, ở đó "cùng một văn bản đầu vào tạo ra nhiều hơn khoảng 30 phần trăm token so với các mô hình trước."
Nghĩa là: một prompt đo được 150.000 token trên mô hình cũ có thể thành khoảng 195.000 trên mô hình mới — cùng những từ ấy, nhiều hơn ba mươi phần trăm cửa sổ và nhiều hơn ba mươi phần trăm chi phí. Nếu bạn đã tính kích thước một pipeline xử lý tài liệu theo một mô hình rồi đổi sang mô hình khác, hãy đo lại trước khi cho rằng nó vẫn vừa.
Nhà cung cấp cho bạn cách kiểm tra. Endpoint đếm token của Anthropic gọi miễn phí. Hãy đếm trên đúng mô hình bạn định chạy.
Chuyện gì xảy ra khi hết chỗ
Không phải suy giảm êm ái. Tuỳ nhà cung cấp, bạn nhận một lỗi, một đầu vào bị cắt cụt, hoặc lịch sử bị lặng lẽ bỏ đi — và cái thứ ba mới nguy hiểm, vì mô hình tự tin trả lời dựa trên một cuộc hội thoại mà nó không còn nhìn thấy trọn vẹn.
Ba lối ra, xếp theo lượng công sức:
Cắt tỉa. Bỏ hoặc tóm tắt những lượt cũ nhất. Rẻ nhất để làm, và thường là đủ cho trò chuyện.
Bộ nhớ đệm. Nếu phần lớn ngữ cảnh của bạn là một tiền tố cố định — prompt hệ thống dài, một tài liệu tham chiếu — thì bộ nhớ đệm prompt cho phép nhà cung cấp lưu nó lại và chỉ tính một phần nhỏ để đọc lại. Việc này không nới rộng cửa sổ, nhưng lấy đi phần lớn chi phí lấp đầy nó.
Truy xuất. Ngừng gửi toàn bộ kho ngữ liệu và chỉ gửi những phần liên quan. Tốn công kỹ thuật hơn, nhưng là cách duy nhất không tệ đi khi dữ liệu của bạn lớn lên.
Với tay sang một cửa sổ ngữ cảnh lớn hơn là lựa chọn thứ tư, và thường là đắt nhất — vì bạn trả tiền cho mọi token trong cửa sổ ấy ở mọi yêu cầu.
Cửa sổ lớn hơn có đắt hơn không?
Không, tính trên mỗi token thì không. Với cùng một yêu cầu, mô hình 1M ngữ cảnh không bị tính giá cao hơn mô hình 200K; Claude Sonnet 5 là 2,00 $ cho mỗi triệu token đầu vào, dù bạn gửi năm trăm token hay năm trăm nghìn.
Nhưng cửa sổ lớn hơn khiến việc tiêu nhiều trở nên dễ dàng, vì nó gỡ mất cái lỗi lẽ ra đã chặn bạn lại. Lấp đầy một cửa sổ triệu token ở mức 2,00 $ mỗi triệu là 2,00 $ cho mỗi yêu cầu — và nếu yêu cầu đó là một lượt trò chuyện xảy ra năm mươi nghìn lần mỗi tháng, phép tính nhanh chóng trở nên nghiêm túc.
Kỷ luật thì vẫn thế: gửi ít nhất có thể, không phải nhiều nhất được phép.
Bản ngắn
- Độ dài ngữ cảnh là kích thước tối đa của một yêu cầu, tính bằng token, không phải bộ nhớ.
- Giới hạn hôm nay chạy từ khoảng 33K đến khoảng 1M; phần lớn công việc thực tế vừa vặn thoải mái ở đầu thấp.
- Định nghĩa công cụ (~390 token mỗi cái), ảnh (~1.000), PDF (~2.000) và lịch sử gửi lại lấp đầy nó nhanh hơn các prompt của bạn.
- Cùng một văn bản cho số token khác nhau trên các mô hình khác nhau — hãy kiểm tra lại khi đổi.
- Cửa sổ lớn hơn không đắt hơn trên mỗi token. Nó chỉ khiến việc tiêu nhiều hơn dễ dàng hơn.
Khám phá thêm trên ElliSekiz
So sánh độ dài ngữ cảnh và giá token cạnh nhau. Trang mô hình trò chuyện liệt kê mọi mô hình văn bản cùng mức giá đầu vào và đầu ra.
Rồi đo chính prompt của bạn. Mỗi trang mô hình đều có playground — chạy một yêu cầu thật và đọc số token thực tế trước khi tính kích thước bất cứ thứ gì.
Nguồn
- OpenRouter models API,
https://openrouter.ai/api/v1/models(độ dài ngữ cảnh, đọc ngày 26-08-2026) - Anthropic — Token counting (số liệu ví dụ có tài liệu, thay đổi bộ tách token, endpoint đếm miễn phí)