Цикл оптимизации через накопление данных

Цикл оптимизации через накопление данных

Высокие переменные издержки reasoning моделей могут быть временным явлением. Накопив миллиарды примеров chain-of-thought рассуждений, провайдеры смогут использовать эти данные для нового раунда pre-training. Это позволит снова перевести накопленные знания в постоянные издержки, восстановив эффект масштаба на новом уровне качества.

Связи

• Post-training как новая граница улучшения моделей — Описывает фазу после pre-training, которая в source становится источником данных для следующего цикла
• AI делает неструктурированные данные активом — Chain-of-thought рассуждения — пример неструктурированных данных, превращающихся в ценный актив для обучения
• Программирование становится более доступным навыком — Оба описывают циклы демократизации технологий через накопление и переиспользование знаний

---

Источник: Telegram, 2025-01-11