Большая языковая модель как сжатый архив интернета

#ai#llm#technology#compression

Большая языковая модель как сжатый архив интернета

Процесс создания большой языковой модели можно представить как сжатие всего интернета в один файл. Специальные алгоритмы обучаются на всём доступном контенте интернета, после чего результат тренировки сохраняется в виде файла. Этот файл содержит всю информацию в крайне сжатом виде, как zip-архив.

Источник: Workshop transcript, 2025-10-01

Связанные заметки

LLM как система предсказания следующего слова

#ai#llm#technology

Эволюция AI от Machine Learning к LLM

#ai#machine-learning#history

Ограничения Llama 3 70B в function calling

#AI#llm#limitations

LLM устраняют необходимость в специализированных датасетах

#ai#llm#machine-learning

Токенизация как причина слабости LLM в посимвольных задачах

#ai#constraints#theory-of-constraints

Хотите глубже изучить ai и автоматизация?

AI Product Engineer

85% выпускников запустили AI-фичу в production

Узнать о курсе

Исследуйте больше связей

Эта заметка — часть сети из 2,400+ взаимосвязанных идей. Откройте для себя неожиданные связи в интерактивном графе знаний.

Открыть граф знаний