Токены, контекстное окно и экономика API
4.1. Что такое токен
Токен — минимальная единица текста, которую обрабатывает нейросеть при чтении и генерации.
1 токен ≈ 3–4 символам на английском языке 1 токен ≈ 1–2 символам на русском языке
Весь код, ваши инструкции и ответы ИИ измеряются в токенах.
4.2. Контекстное окно и его переполнение
Контекстное окно — это максимальный объём информации (в токенах), который ИИ может удерживать в памяти в рамках одной сессии диалога.
Если диалог становится слишком длинным, происходят следующие сбои: 1. Галлюцинации: ИИ начинает придумывать несуществующие функции. 2. Забывание: Модель теряет начальные инструкции и правила из ТЗ. 3. Деструктивные правки: ИИ удаляет рабочий код, который создавал в начале сессии.
«Один чат — одна задача». Как только задача выполнена и проверена, диалог закрывается, а для новой задачи открывается чистый чат.
4.3. Расчёт затрат по API
При прямой работе с моделями через API стоимость рассчитывается за каждые 1 миллион (1M) токенов.
| Категория | Описание | Стоимость (относительно) |
|---|---|---|
| Входные токены (Input) | Весь текст, который вы отправляете ИИ | Самая дешёвая |
| Выходные токены (Output) | Текст и код, которые генерирует ИИ | 3–5× дороже входных |
| Токены размышления (Reasoning) | Токены, которые генерируют модели рассуждения | Тарифицируются как выходные |
Запрос:
• Файлы проекта: 20 000 входных токенов
• Размышление: 5 000 токенов
• Итоговый код: 2 000 токенов
Расчёт:
• Вход: 20 000 × $0.000003 = $0.06
• Размышление: 5 000 × $0.000015 = $0.075
• Выход: 2 000 × $0.000015 = $0.03
• Итого: $0.165 (около 15–16 рублей)
Чем больше файлов вы загружаете в контекст без необходимости и чем длиннее сессия, тем дороже стоит каждый следующий запрос.