Harness Engineering — инфраструктура обратной связи

Harness Engineering — инфраструктура обратной связи

Для высоких уровней автономии AI-агентов недостаточно просто делегировать задачу. Нужно создавать инженерные системы, которые автоматически предоставляют агенту обратную связь о качестве его работы. Это новая дисциплина — harness engineering, проектирование процесса самообучения агента через встроенные механизмы проверки и коррекции.

Данные и источники

Принцип error-to-rule ratchet (Митчелл Хашимото, основатель HashiCorp): каждая ошибка, которую делает AI-агент, должна превращаться в правило — добавленное в CLAUDE.md, хук или линтер — чтобы эта ошибка больше не повторялась. Так harness становится «храповиком»: система монотонно накапливает знания и не откатывается назад.

Статистика: Shopify применили autoresearch-паттерн (агент автономно оптимизирует измеримую метрику за ночь) и ускорили рендеринг Liquid-шаблонов на 53% за 93 коммита — публичное сообщение Тоби Лютке, CEO Shopify, 2025. Качество агента здесь определяется не моделью, а замкнутым feedback-контуром вокруг неё.

Статистика #2: Принстонское исследование GEO (Aggarwal et al., KDD '24, 10 000 промптов) показало, что контент с явными цитатами, статистикой и ссылками на источники получает на 30–40% больше видимости в ответах LLM — прямое следствие того же принципа: наличие harness-а (в данном случае в виде структурных сигналов) меняет итог работы модели.

Первоисточники:

• Mitchell Hashimoto — compound engineering & error-to-rule ratchet
• Aggarwal et al., "GEO: Generative Engine Optimization" (arXiv, 2024)

---

Источник: Workshop transcript, 2026-03-03