#evaluation

15 заметок • AI и автоматизация

Хотите глубже изучить эту тему?

AI Product Engineer

Постройте своего AI коллегу. 5 сессий

Узнать о курсе

Все заметки

Сравнение архитектур через реальный запуск на учебном кейсе

#ai#agents#multi-agent-systems#experimentation+1

Калибровка судьи по экспертным оценкам выявляет слепые зоны

#ai#evaluation#quality-control#llm-judges+1

Interaction-as-a-Judge: оценка через наблюдение за реальным взаимодействием

#ai#testing#evaluation#llm-judges+1

Четырёхэтапный аудит LLM-судьи

#ai#evaluation#quality-control#llm-judges+2

Build-eval — интерактивное создание тестовых наборов

#ai#testing#evaluation#quality-assurance+1

Публичные бенчмарки AI сломались из-за reward hacking

#ai#analytics#systems-thinking#evaluation

Eval-проверка ценности Team OS через агентов

#ai#evaluation#llm#quality-assurance+1

GDPval как открытый инструмент оценки AI в профессиях

#ai#benchmarking#open-source#tools+1

Удаление кода как индикатор необходимости обновления модели

#ai#engineering#simplicity#evaluation

Овертренировка на бенчмарках как аналог спортивного программирования

#AI#learning#evaluation#systems-thinking

Бенчмарки AI-моделей не всегда надёжны

#AI#evaluation#benchmarks#constraints+1

Модели приближаются к потолку стандартных бенчмарков

#AI#benchmarking#evaluation#alignment

Проблема оценки разнообразия через cosine similarity

#AI#evaluation#analytics#feedback+1

Континуум удачи и навыков в оценке результатов

#decision-making#analytics#evaluation#complexity

Критические вопросы для оценки AI-систем

#AI#critical-thinking#evaluation#skepticism

Откройте для себя связи между темами

Исследовать граф знаний