Что такое токены?
Токен — это кусочек текста, которым оперирует языковая модель. Не буква и не слово, а что-то посередине. От количества токенов зависит, сколько вы платите за запрос и сколько текста модель вообще способна удержать в памяти за один раз.
Базовая идея
Модель не видит текст так, как мы. Перед обработкой он разбивается на токены — частые слова целиком, редкие по кускам, плюс отдельно пробелы и знаки препинания. Дальше модель работает уже с этими числами, а не с буквами.
Примеры разбиения
- • «дом» — 1 токен
- • «ChatGPT» — обычно 2 токена: «Chat» и «GPT»
- • «искусственный» — 2–3 токена, зависит от модели
- • пробелы и запятые тоже считаются
Почему по-русски токенов уходит больше
Английский текст экономный: примерно 4 символа на токен, или около 750 слов на 1000 токенов. С русским сложнее — кириллица режется мельче. В среднем одно русское слово занимает 2–3 токена, то есть на 1000 токенов приходится грубо 350–500 слов. Свежие модели (GPT-5, Gemini 3, Claude 4.8) делят русский аккуратнее старых, но он всё равно дороже английского в токенах.
| Модель | Контекст | Примерно слов |
|---|---|---|
| Grok 4.20 (xAI) | 2 000 000 токенов | ≈ 800 тыс. слов |
| GPT-5.5 (OpenAI) | 1 050 000 токенов | ≈ 420 тыс. слов |
| Gemini 2.5 Pro (Google) | 1 048 576 токенов | ≈ 420 тыс. слов |
| Claude Opus 4.8 (Anthropic) | 1 000 000 токенов | ≈ 400 тыс. слов |
| Kimi K2.6 (MoonshotAI) | 262 000 токенов | ≈ 105 тыс. слов |
| GLM 5.1 (Z.ai) | 202 000 токенов | ≈ 80 тыс. слов |
Миллион токенов — это примерно 4–5 романов целиком. Список доступных моделей и актуальные тарифы смотрите в разделе Цены.
«Напиши статью о Python»
≈ 8–10 токенов
«Напиши подробную статью о преимуществах языка программирования Python для начинающих разработчиков»
≈ 25–30 токенов
Готовая статья на 1000 слов
≈ 2000–2500 токенов с учётом разметки
Формулируйте задачу конкретно — модель не угадывает, чего вы хотели, по намёкам, а лишние уточняющие итерации стоят токенов.
Не вставляйте в промпт документ целиком, если для ответа нужен один абзац.
Простые задачи отдавайте лёгким и дешёвым моделям, флагманы берегите для сложного: разница в цене за те же токены бывает в десятки раз.
Постоянные настройки выносите в системный промпт, а не повторяйте в каждом сообщении.
Длинные тексты режьте на части — так проще и дешевле, чем гонять весь объём в каждом запросе.