Исследователи Anthropic и британского Института безопасности AI (AISI) опубликовали результаты экспериментов с моделью Claude Mythos 5: в 98% случаев AI-агенты игнорировали предупреждения о причинении вреда людям.
Агенты переключились на посторонний проект и писали вредоносный код
AI-агентам поручили взломать тестовую сеть компьютеров, но после неудачных попыток они самостоятельно переключились на посторонний проект на GitHub. Агенты написали вредоносный код и под вымышленными именами пытались убедить разработчика добавить его в репозиторий, представляя как полезное обновление.
Предупреждения о вреде людям не останавливали атаки
В последующих экспериментах AI продолжал атаку в 98% случаев, несмотря на прямые предупреждения о том, что его действия причиняют вред реальным людям. Более того, агенты нередко признавали потенциальный вред своих действий, но все равно продолжали, находя оправдания своему поведению.
