Снимка: iStock

Нещо необичайно се случва в индустрията на изкуствения интелект. Компаниите, които инвестират десетки милиарди долари, за да създават все по-мощни модели, започват едновременно да предупреждават, че същите тези модели могат да станат опасни. Не става дума за критики от външни наблюдатели, регулатори или конкуренти. Предупрежденията идват от хора, които разработват технологията. Напусналият Anthropic изследовател Джейкъб Коксън обвинява водещите AI компании, че „залагат живота ни“, а ръководителят на екипа по съгласуване на моделите в Anthropic Евън Хъбингър публично заявява, че лично оценява вероятността AI да унищожи човечеството през следващото десетилетие на над 10%. Ако подобни думи бяха произнесени за фармацевтична, автомобилна или индустриална компания, вероятният резултат би бил регулаторна криза и рязко увеличение на рисковата премия. При AI обаче може да се случи нещо много по-странно: предупреждението за опасност да бъде интерпретирано като доказателство за технологично превъзходство.

Това е парадоксът, който започва да става важен и за инвеститорите. Когато компания като Anthropic казва, че нейните системи са толкова мощни, че могат да създадат трудно контролируеми последствия, пазарът получава две информации едновременно. Първата е очевидно негативна: съществува технологичен, регулаторен и потенциално юридически риск. Втората обаче може да бъде възприета като изключително положителна: компанията очевидно смята, че е достигнала технологична граница, която доскоро принадлежеше на научната фантастика. Колкото по-сериозно звучи предупреждението, толкова по-мощна изглежда технологията. Получава се необичайна ситуация, при която рискът и стойността могат временно да се движат в една и съща посока.

Точно тази възможност се обсъжда в материала на TechCrunch. Един от поставените въпроси е дали непрекъснатите разкази за модели, които проявяват непредвидено поведение, не функционират поне частично като своеобразна демонстрация на технологична мощ. Авторите не твърдят, че предупрежденията са измислена маркетингова стратегия. Напротив, те приемат, че много от изследователите и ръководителите вероятно действително са притеснени. Но бизнес стимулът съществува независимо от намерението. Да кажеш „нашата система е потенциално опасна“ в AI индустрията може едновременно да означава „нашата система е изключително способна“.

Това е особено важно в момента, защото Anthropic се приближава към потенциално първично публично предлагане. Именно документите около едно IPO ще принудят компанията да преведе философския дебат за екзистенциалния риск на езика на капиталовите пазари. В регистрационните документи няма място за абстрактни предупреждения. Там рискът трябва да бъде описан като фактор, който може да засегне бизнеса, приходите, регулацията, отговорността или способността на компанията да продължи да функционира. Материалът дори поставя ироничния, но напълно логичен въпрос как подобно убеждение би изглеждало в рисковата секция на бъдещия проспект на Anthropic.

Тук инвеститорите ще се сблъскат с почти безпрецедентен проблем при оценяването. Обичайният технологичен риск е сравнително лесен за концептуализиране: продуктът може да не работи, конкурентът може да създаде по-добър продукт, маржовете могат да паднат или търсенето да се окаже по-слабо. При водещите AI компании рискът започва да изглежда обърнат. Част от опасението е, че продуктът може да работи прекалено добре. Ако системите придобиват все по-голяма автономност, способност да използват инструменти, да пишат код и да взаимодействат помежду си, технологичният успех сам по себе си може да увеличава необходимостта от ограничения.

Това променя класическата връзка между технологичен прогрес и корпоративна стойност. Обикновено повече способности означават повече потенциални приходи. При AI след определена граница повече способности могат да означават едновременно повече приходи и по-висока вероятност от регулаторна намеса. Най-мощният модел може да бъде най-ценният продукт, но също и моделът, върху който правителствата първо ще наложат ограничения. Следователно кривата между способности и стойност вече не е задължително линейна.

И тук спорът за вероятността от унищожаване на човечеството може дори да отвлича вниманието от по-измеримите рискове. Самият материал поставя под съмнение числови оценки като „над 10%“, защото не е ясно върху каква емпирична база могат да бъдат изчислени. За капиталовия пазар по-полезният въпрос не е дали вероятността е 2%, 10% или 30%. Нито една от тези стойности не може да бъде моделирана със същата дисциплина, с която анализаторът прогнозира приходи или свободен паричен поток. По-важното е, че самите хора, които имат най-добър достъп до системите, публично признават нарастваща несигурност относно тяхното поведение.

Това вече е материална информация. В материала се описват случаи на вътрешни агенти, които получават достъп до различни интернет ресурси и оставят съобщения един за друг, като дискусията поставя под въпрос доколко компаниите действително контролират тези процеси. Тук се намира далеч по-конкретният риск. Не е необходимо AI да достигне някаква философски дефинирана „суперинтелигентност“, за да създаде икономически проблем. Достатъчно е автономни системи да получат достатъчно права за действие в корпоративна инфраструктура, финансови системи, софтуер или комуникационни мрежи, преди механизмите за контрол да са достигнали същото ниво на развитие.

Това е и причината дебатът постепенно да се измества от способности към управление. Ако следващото поколение AI модели може да изпълнява все по-дълги последователности от действия без човешка намеса, истинският конкурентен актив може да престане да бъде просто най-високият резултат на тестовете. Доверието, проследимостта, ограниченията на автономността, независимата оценка и способността за прекъсване на нежелано действие могат да се превърнат в част от самия продукт. Това би било съществена промяна в икономиката на сектора. Първата фаза на AI бума беше състезание за изчислителна мощност. Следващата може да бъде състезание за контрол.

Но има още един конфликт, който пазарът тепърва ще трябва да оцени. Ако компаниите действително смятат технологията за потенциално екзистенциално опасна, защо продължават да инвестират толкова агресивно в нейното развитие? Именно това противоречие е поставено директно в дискусията. Разликата при Коксън е, че той действително напуска индустрията, защото приема риска сериозно. За компаниите подобен избор е почти невъзможен. Едностранното забавяне може да означава технологично изоставане, загуба на клиенти, таланти и капитал. Получава се класически проблем на колективното действие: всеки участник може да предпочита по-бавно развитие на системата като цяло, но никой няма силен стимул да бъде първият, който натиска спирачката.

Затова сегашната вълна от предупреждения може да се окаже много по-важна от поредния спор между оптимисти и песимисти за AI. Тя показва, че индустрията започва да достига границата, при която технологичната способност расте по-бързо от институционалната инфраструктура около нея. Регулацията, юридическата отговорност, независимите тестове, стандартите за автономност и корпоративното управление изостават от скоростта, с която се появяват нови възможности.

И тук бъдещото IPO на Anthropic може да се превърне в нещо повече от огромно технологично листване. То може да бъде първият истински опит на публичния капиталов пазар да постави цена върху този нов вид риск. Не просто колко приходи може да генерира Claude, колко ще струва изчислителната инфраструктура или какъв ще бъде бъдещият марж, а каква рискова премия заслужава компания, чиито собствени специалисти предупреждават, че технологията може да стане трудно управляема.

Най-големият парадокс е, че пазарът може първоначално да направи точно обратното. В настоящия AI цикъл твърдението „нашият модел е толкова мощен, че се страхуваме от него“ може да бъде прочетено като доказателство за технологично лидерство и да подкрепи, вместо да намали, оценката. Самият материал допуска именно тази възможност.

Ако това се случи, ще получим една от най-странните капиталови динамики в съвременната технологична история: колкото по-опасна изглежда технологията, толкова по-ценна може да изглежда компанията, която я контролира. Това може да работи известно време. Но в дългосрочен план стойността няма да зависи само от това колко интелигентни стават моделите. Ще зависи от нещо много по-трудно за доказване: дали компаниите, които ги създават, действително могат да ги управляват.

Материалът е с аналитичен и образователен характер и не представлява препоръка за покупка или продажба на финансови инструменти.