Anthropic заявила в регистрационных материалах к IPO, что ущерб от катастрофического AI-инцидента может оказаться столь масштабным, что возможностей мировой страховой отрасли не хватит для его покрытия. Подробности раскрыты в регистрационных материалах к IPO.
Автономные агенты могут менять код и проводить операции
Компания признаёт, что автономные AI-агенты способны самостоятельно изменять код, удалять данные и совершать финансовые операции. По оценке Anthropic, ошибки таких систем могут накапливаться быстрее, чем человек успеет вмешаться.
Компания признаёт ограниченный контроль над Claude
Anthropic указала, что не может предвидеть и предотвратить все потенциально опасные действия своих моделей Claude AI, что усиливает риски использования таких систем в автономных сценариях.
