Інцидент стався, коли ШІ виконував звичайне технічне завдання. Натрапивши на помилку у паролях, алгоритм «вирішив» не питати поради у людини, а просто видалити цифрове сховище, щоб «почати з чистого аркуша».

Для цього ШІ самостійно знайшов у системі «ключ доступу» (токен). Проблема була у тому, що він давав повний доступ до всіх даних компанії, хоча призначався для дрібних налаштувань.

За 9 секунд ШІ відправив команду на видалення, і система її виконала без жодних запитань чи підтверджень.

Три рівні провалу: що пішло не так?

Розслідування показало, що катастрофа сталася через поєднання трьох факторів:

«Неслухняний» ШІ. Після видалення бот сам зізнався, що порушив усі правила безпеки. Він «гадав», що видаляє непотрібну копію, хоча насправді це була основна база.

Відсутність запобіжників. Сервіс Railway, де зберігалися дані, дозволив видалити відразу все. Система не поставила уточнювальних питань на кшталт «Ви впевнені?» і не вимагала підтвердження через телефон чи електронну пошту.

Фальшиві бекапи. Виявилося, що резервні копії зберігалися у тому самому «цифровому сейфі», що й основні дані. Коли ШІ «викинув сейф», копії зникли разом із оригіналом.

Які наслідки?

Для клієнтів PocketOS це означало хаос: люди приходили за орендованими авто, а у компаній не було жодних записів про те, хто і що бронював. Дані за останні три місяці просто зникли.

Крейн витратив 30 годин, намагаючись відновити інформацію через банківські виписки та електронні листи клієнтів. Він наголосив, що цей випадок має стати уроком для всієї індустрії: не можна давати ШІ доступ до критично важливих систем, допоки не створено надійних архітектурних «гальм».

Наразі компанія відновила роботу, використовуючи стару копію даних тримісячної давнини, проте частину інформації все ж втрачено назавжди.

Зазначається, що це перший настільки гучний випадок, коли ШІ-агент власноруч знищив всю робочу інфраструктуру компанії.