Что такое токены и почему они заканчиваются

Шаг 3 из 5 · Время чтения: 6 мин

Токены — это “кусочки текста”, из которых AI понимает и генерирует речь.

Один токен — это не всегда одно слово.

Короткие слова = меньше токенов.

Длинные и сложные слова = больше токенов.

💡 Пример: Фраза “Привет” — 1 токен, а “электростанция” — несколько.
⚠️ Важно: AI думает и отвечает только в рамках доступных токенов.
Где используется
  • Ограничения ответов
  • Стоимость использования AI