Контекстное окно как ограничение памяти LLM

Контекстное окно как ограничение памяти LLM

Языковые модели имеют фундаментальное ограничение — контекстное окно, которое определяет объём доступной им «памяти». Базовые LLM не помнят предыдущие запросы и не имеют концепции истории диалога. Это ограничение требует либо повторного объяснения контекста, либо использования внешних систем для сохранения информации между запросами.

Связи

• LLM работают как продвинутый автокомплит — Объясняет архитектурную причину ограничения через принцип работы с токенами
• LLM не способны к непрерывному самообучению — Проводит различие между временным контекстом и неспособностью к долгосрочному самообучению
• Инъекция памяти в ChatGPT как обход ограничения контекста — Описывает системный метод расширения памяти за счёт внешней базы данных
• Костыли для компенсации отсутствия памяти у LLM — Предлагает практические решения для компенсации неспособности модели накапливать опыт
• Человеческая невнимательность как системное ограничение — Параллель между техническим лимитом AI и биологическим ограничением человеческого внимания

---

Источник: Workshop transcript, 2025-10-01