Марковские цепи как прародитель LLM

Андрей Марков применил свою теорию цепей для предсказания следующей буквы (гласная или согласная) на основе последовательности из первых 20 тысяч букв «Евгения Онегина» в начале 20-го века. Это был ранний эксперимент с вероятностным предсказанием последовательностей на основе предыдущего контекста. По сути, этот подход является концептуальным прародителем современных больших языковых моделей, которые также предсказывают следующий токен на основе контекста.

Связи

• 20240201_2139 Моделирование будущего для распределения внимания — Оба описывают предсказательные модели: вероятностные последовательности vs финансовое прогнозирование
• 20240114_2069 Выявление предпосылок для проверки советов — Марковские цепи — пример базовых предпосылок, на которых построены сложные современные системы

---

Источник: Telegram, 2024-10-19