Большая языковая модель как сжатый архив интернета

#ai#llm#technology#compression

Большая языковая модель как сжатый архив интернета

Процесс создания большой языковой модели можно представить как сжатие всего интернета в один файл. Специальные алгоритмы обучаются на всём доступном контенте интернета, после чего результат тренировки сохраняется в виде файла. Этот файл содержит всю информацию в крайне сжатом виде, как zip-архив.

Источник: Workshop transcript, 2025-10-01

Связанные заметки

LLM как система предсказания следующего слова

#ai#llm#technology

Ограничения Llama 3 70B в function calling

#AI#llm#limitations

Токенизация как причина слабости LLM в посимвольных задачах

#ai#constraints#theory-of-constraints

Прогресс в скорости AI-аватаров за год

#ai#technology#progress

Низкий барьер экспериментирования с LLM

#ai#llm#experiments

Хотите глубже изучить ai и автоматизация?

AI Product Engineer

85% выпускников запустили AI-фичу в production

Узнать о курсе

Исследуйте больше связей

Эта заметка — часть сети из 2,400+ взаимосвязанных идей. Откройте для себя неожиданные связи в интерактивном графе знаний.

Открыть граф знаний