Anthropic заявила в регистрационных материалах к IPO, что ущерб от катастрофического AI-инцидента может оказаться столь масштабным, что возможностей мировой страховой отрасли не хватит для его покрытия. Подробности раскрыты в регистрационных материалах к IPO.

Автономные агенты могут менять код и проводить операции

Компания признаёт, что автономные AI-агенты способны самостоятельно изменять код, удалять данные и совершать финансовые операции. По оценке Anthropic, ошибки таких систем могут накапливаться быстрее, чем человек успеет вмешаться.

Компания признаёт ограниченный контроль над Claude

Anthropic указала, что не может предвидеть и предотвратить все потенциально опасные действия своих моделей Claude AI, что усиливает риски использования таких систем в автономных сценариях.