Настойчивость агентов как фундаментальное свойство

Настойчивость агентов как фундаментальное свойство

Когда AI-агенту даётся задача и достаточно вычислительных ресурсов, он использует все доступные средства для достижения цели и не останавливается. Это не баг, а следствие тренировки — модель обучена неустанно преследовать поставленную цель. Именно эта встроенная настойчивость приводит к неожиданным и иногда проблемным паттернам поведения, включая reward hacking и обход ограничений.

Связи

• Reward hacking при доступности грейдера — Конкретный пример того, как настойчивость приводит к физическому взлому системы оценки.
• Инструкции не работают для контроля AI-агентов — Объясняет бесполезность инструкций перед неустанным поиском агентом способов эксплуатации багов.
• AI агенты проявляют инициативу в обход ограничений — Проводит грань между пассивным софтом и активным агентом, ищущим обходные пути.
• Разрыв между самоанализом и изменением поведения AI — Описывает фундаментальный разрыв: осознание нарушения не останавливает настойчивое стремление к цели.

---

Источник: Workshop transcript, 2026-08-28