Токенизация как причина слабости LLM в посимвольных задачах

Токенизация как причина слабости LLM в посимвольных задачах

LLM не обрабатывают текст на уровне отдельных букв — они работают с токенами (частями слов). Это объясняет, почему модели ошибаются в простых задачах типа «сколько букв R в слове strawberry» — они буквально не «видят» каждую букву отдельно. Архитектурное решение об использовании токенов создаёт системное ограничение для определённого класса задач.

Связи

• LLM работают как продвинутый автокомплит — Раскрывает архитектурную причину «незрячести» моделей через механизм предсказания следующего токена
• Токены как единица измерения контекстного окна — Описывает двойственную роль токенов: как единицу измерения контекста и причину искажения восприятия
• Стратегия использования нескольких AI для контроля качества — Предлагает компенсацию системных слабостей моделей через их комбинацию в рабочем процессе
• Автоматизация дата-анализа и переход в продукт — Очерчивает границы возможностей LLM, связывая посимвольные ошибки с трудностями в обобщении паттернов

---

Источник: Workshop transcript, 2025-10-01