Марковские цепи как прародитель LLM

Марковские цепи как прародитель LLM

Андрей Марков применил свою теорию цепей для предсказания следующей буквы (гласная или согласная) на основе последовательности из первых 20 тысяч букв «Евгения Онегина» в начале 20-го века. Это был ранний эксперимент с вероятностным предсказанием последовательностей на основе предыдущего контекста. По сути, этот подход является концептуальным прародителем современных больших языковых моделей, которые также предсказывают следующий токен на основе контекста.

Связи

• Моделирование будущего для распределения внимания — Оба описывают предсказательные модели: вероятностные последовательности vs финансовое прогнозирование
• Выявление предпосылок для проверки советов — Марковские цепи — пример базовых предпосылок, на которых построены сложные современные системы

---

Источник: Telegram, 2024-10-19