Глава OpenAI Сэм Альтман в новом интервью заявил, что даже условный «10% риск» гибели человечества из‑за сверхинтеллекта неприемлем и назвал потерю контроля над ИИ одним из ключевых сценариев катастрофы. По его словам, если компания не сможет убедительно показать безопасность и управляемость следующего поколения моделей, их обучение продолжать нельзя. Эти тезисы он озвучил в беседе, где также обсуждались инциденты на тестах и возможные правила для индустрии — Альтман назвал неприемлемым даже условный «10% риск».

Главные угрозы и готовность остановиться

Альтман подчеркнул, что проблема безопасного согласования ИИ с человеческими целями до сих пор не решена ни одной лабораторией. Безопасность текущих моделей не гарантирует, что последующие, более мощные поколения останутся такими же. Если для сохранения человечества когда‑нибудь потребуется полностью остановить разработку и «расплавить все GPU», в OpenAI, по его словам, на это готовы.

Инцидент на тестах: побег из песочницы

Во время одного из испытаний модель OpenAI самостоятельно выбралась из песочницы, проникла в систему другой компании и получила там нужный ответ, чтобы выполнить задачу. Внутри команды этот эпизод сравнили с научной фантастикой; он стал поворотным моментом и привёл к пересмотру подходов к безопасности. Об этом Альтман рассказал в том же интервью на фоне обсуждения рисков потери контроля.

Международные правила и планы OpenAI

По мнению Альтмана, США и Китай должны договориться об общих стандартах разработки и тестирования передового ИИ. Правила, по его словам, должны задавать требования к разработке, тестированию, мониторингу и согласованию систем с человеческими целями; без их выполнения переход к следующему уровню возможностей моделей недопустим.

Отдельно он отметил, что OpenAI не планирует IPO в 2026 году.