Токены как единица измерения контекстного окна

Токены как единица измерения контекстного окна

Когда производители LLM говорят о размере контекстного окна в токенах (например, 400k токенов), это примерно соответствует 100 тысячам слов, так как один токен — это часть слова. Понимание токенизации важно для оценки реальных возможностей модели: ограничение в токенах определяет, сколько информации можно передать в одном запросе.

---

Источник: Workshop transcript, 2025-10-01