Снимка: iStock

Само за една седмица две от най-големите компании в света на изкуствения интелект признаха нещо, което допреди година звучеше като научна фантастика. Първо OpenAI разкри, че неин автономен AI агент е успял да избяга от контролираната тестова среда и да компрометира инфраструктурата на Hugging Face. Само няколко дни по-късно Anthropic съобщи, че три различни модела Claude са проникнали в системите на три реални компании по време на тестове за киберсигурност. На пръв поглед и в двата случая става дума за инциденти в контролирана среда. В действителност обаче тези събития показват, че навлизаме в нова ера, в която най-голямото предизвикателство вече не е дали изкуственият интелект може да хаква, а как ще бъде контролиран, когато започне да го прави по-добре от хората.

Най-важното е, че нито OpenAI, нито Anthropic говорят за злонамерен AI. И в двата случая моделите просто са изпълнявали поставената им задача. Именно това прави ситуацията толкова интересна. При Anthropic моделите участвали в така наречените "capture-the-flag" упражнения – стандартен метод за оценка на способности по киберсигурност, при който системата трябва да намери скрита информация в симулирана компютърна мрежа. Поради организационна грешка обаче AI моделите получили достъп до реалния интернет, въпреки че са били инструктирани, че работят в изолирана среда. Един от моделите попаднал на истинска компания със същото име като фиктивната цел в теста и, убеден че това е част от симулацията, започнал успешно да използва слаби пароли и незащитени крайни точки, за да проникне в реалната инфраструктура. Това не беше атака с цел кражба или саботаж. Това беше AI, който последователно следваше своята задача, без да разбере, че вече е напуснал симулацията.

Тук се крие и голямата разлика спрямо традиционната киберсигурност. Досега основният риск беше злонамерен човек, който използва различни инструменти, за да открие слабости в системите. Сега започваме да говорим за модели, които могат самостоятелно да изпълнят хиляди последователни действия за броени минути, да изпробват различни подходи, да анализират резултатите и непрекъснато да адаптират стратегията си. Именно това видяхме и при случая с OpenAI, където AI агентът е извършил над 17 000 отделни действия, преминавайки през множество неуспешни опити, докато открие работеща комбинация от уязвимости. За човек подобен процес би отнел дни или седмици. За AI това може да се случи почти мигновено.

Това променя фундаментално баланса между нападателите и защитниците. В киберсигурността винаги е съществувала една проста асиметрия – нападателят трябва да открие само една слаба точка, докато защитникът трябва да защити абсолютно всичко. Изкуственият интелект прави тази асиметрия още по-голяма. Ако един модел може автоматично да проверява милиони възможни комбинации, да анализира логове, да търси грешни конфигурации и да преминава между различни техники със скорост, непостижима за човек, защитата става многократно по-трудна. Не защото AI измисля магически нови атаки, а защото изпълнява известните техники в невиждан досега мащаб и скорост.

Любопитното е, че самите компании демонстрират различна степен на зрялост. Anthropic открива проблема след преглед на над 141 000 тестови сесии, прекратява всички подобни тестове, уведомява засегнатите организации и публично описва грешката като "оперативен провал". Това е важен сигнал. Компанията не се опитва да представи случилото се като сензация или като доказателство за свръхинтелигентност. Напротив, признава, че основният проблем е бил човешка грешка при конфигурирането на тестовата среда. Именно този детайл е особено важен. Колкото по-мощни стават AI системите, толкова по-малки човешки пропуски ще бъдат достатъчни, за да се стигне до реални последствия.

Още по-интересно е поведението на един от експерименталните модели на Anthropic. След като достига до реална организация, моделът сам прекратява атаката, защото осъзнава, че вече не работи в симулация. Това е може би най-любопитната част от цялата история. Не защото доказва, че AI "има морал", а защото показва, че разработчиците вече започват да обучават моделите да разпознават ситуации, в които трябва да прекратят изпълнението на дадена задача. Това е различен тип безопасност – не чрез ограничения отвън, а чрез способност за вътрешна оценка на контекста. Дали подобен подход ще бъде достатъчен, е съвсем друг въпрос.

Всъщност според мен тези два случая не са предупреждение за "бунт на машините". Те са предупреждение за нещо далеч по-практично. AI вече достига ниво, при което може успешно да използва същите слабости, които използват и професионалните хакери. Разликата е, че той може да го прави непрекъснато, без умора и със скорост, която човек трудно може да достигне. Това означава, че класическите подходи към киберсигурността вероятно вече няма да бъдат достатъчни. Ако защитата остане на човешка скорост, а атаките започнат да се случват на AI скорост, разликата между двете страни ще става все по-голяма.

Именно затова започва да се променя и политическият разговор. Американската администрация вече работи по рамка за доброволно тестване на най-мощните AI модели, а ръководителите на OpenAI и Anthropic обсъждат тези въпроси както със сенатори, така и с Белия дом. Доскоро общественият дебат беше фокусиран върху авторските права, дезинформацията и автоматизацията на работни места. Днес към този списък се добавя още една тема – как да се гарантира, че модели, способни самостоятелно да откриват и използват уязвимости, няма да се окажат извън контролирана среда.

Най-важният извод според мен е, че изкуственият интелект постепенно престава да бъде просто генератор на текст или изображения. Той започва да се превръща в агент – система, която наблюдава средата, взема решения и изпълнява сложни последователности от действия. Това е качествено различна технологична ера. Въпросът вече не е дали AI може да хаква. Последните събития показват, че може. Истинският въпрос е дали ще успеем да изградим достатъчно надеждни механизми за контрол, преди тези способности да станат масово достъпни. Историята на технологиите показва, че когато една възможност стане реалност, тя почти винаги намира път извън лабораторията. При AI този момент изглежда вече не е далеч.

Материалът е с аналитичен и образователен характер.