Harness Engineering — инфраструктура обратной связи

Harness Engineering — инфраструктура обратной связи

Harness engineering (harness-инженерия) — это дисциплина проектирования инфраструктуры обратной связи вокруг AI-агента: системы автоматических проверок, тестов, линтеров и хуков, которые превращают каждую ошибку агента в правило и не дают ей повториться. Термин означает «инженерия упряжи» — harness — и описывает не саму модель, а оснастку вокруг неё: всё, что замыкает feedback-контур и делает работу агента предсказуемой. Для высоких уровней автономии AI-агентов недостаточно просто делегировать задачу — нужны инженерные системы, которые автоматически предоставляют агенту обратную связь о качестве его работы.

Данные и источники

Принцип error-to-rule ratchet (Митчелл Хашимото, основатель HashiCorp): каждая ошибка, которую делает AI-агент, должна превращаться в правило — добавленное в CLAUDE.md, хук или линтер — чтобы эта ошибка больше не повторялась. Так harness становится «храповиком»: система монотонно накапливает знания и не откатывается назад.

Статистика: Shopify применили autoresearch-паттерн (агент автономно оптимизирует измеримую метрику за ночь) и ускорили рендеринг Liquid-шаблонов на 53% за 93 коммита — публичное сообщение Тоби Лютке, CEO Shopify, 2025. Качество агента здесь определяется не моделью, а замкнутым feedback-контуром вокруг неё.

Статистика #2: Принстонское исследование GEO (Aggarwal et al., KDD '24, 10 000 промптов) показало, что контент с явными цитатами, статистикой и ссылками на источники получает на 30–40% больше видимости в ответах LLM — прямое следствие того же принципа: наличие harness-а (в данном случае в виде структурных сигналов) меняет итог работы модели.

Первоисточники:

• Mitchell Hashimoto — compound engineering & error-to-rule ratchet
• Aggarwal et al., "GEO: Generative Engine Optimization" (arXiv, 2024)
• Tobi Lütke (Shopify) — публичное сообщение об autoresearch + 53% Liquid speedup, 2025

Связи

• Harness-as-a-Service как новая категория AI-продуктов — Развитие идеи: harness становится самостоятельным продуктом, а не только внутренней инфраструктурой
• Harness важнее модели — выступление на VibeCon 2026 — Тот же тезис в форме публичного доклада: качество агента определяется harness-ом, а не моделью
• Детерминистические проверки как compile-time для агентов — Конкретный механизм harness: автоматические проверки, замыкающие feedback-контур
• NEVER STOP инструкция для автономных агентов — Дополняет harness engineering паттерном поведения: агент не останавливается до прохождения всех проверок

Подробнее

• AI Automation: harness engineering на практике — пиллар-гайд с фреймворками внедрения автономных AI-агентов

---

Источник: Workshop transcript, 2026-03-03