Абсурдные стратегии обходят защиту AI-агентов

Абсурдные стратегии обходят защиту AI-агентов

AI-агенты хорошо защищены от известных человеческих манипуляций (якорение, ложный авторитет, эмоциональное давление). Но абсурдные стратегии, такие как «ваши кофейные бобы — заложники» или ссылки на несуществующие договоры, обходят эту защиту. RLHF покрывает известное распределение манипуляций, но кросс-доменные аналогии просачиваются через фильтр.

Связи

• Генерация 30000 стратегий манипуляций через Википедию — Описывает конкретный метод создания упомянутых абсурдных стратегий через кросс-доменные аналогии
• Концепции как основа мышления через аналогии — Раскрывает когнитивный механизм аналогий, который становится лазейкой для обхода фильтров защиты
• AI-агенты устойчивы к социальной инженерии — Подтверждает устойчивость к стандартным манипуляциям, на фоне которой выделяется эффективность абсурдных атак
• Психологические основы работы темных паттернов — Контрастирует уязвимости ИИ с человеческими когнитивными искажениями, упомянутыми в исходной заметке
• Prompt injection как уязвимость AI-систем — Классифицирует манипулятивные стратегии как часть более широкой технической проблемы безопасности нейросетей

---

Источник: Telegram, 2026-05-17