Снимка: iStock
В сряда OpenAI съобщи, че през последните шест месеца е открила шест случая на „неочаквано или тревожно поведение на моделите“ – извън скорошната криза с платформата Hugging Face – на фона на продължаващите призиви на компанията за по-строги мерки за безопасност при разработването на модели с изкуствен интелект, пише CNBC.
В публикация в блога си OpenAI представи нова рамка, която планира да следва при докладването на бъдещи прояви на неправилно поведение на моделите.
Тази информация се появява в момент на засилващ се натиск върху компаниите за изкуствен интелект да подхождат по-сериозно към въпросите за безопасността и съответствието на целите на моделите с човешките интереси (т.нар. „alignment“). OpenAI, чиято пазарна оценка достига близо 1 трилион долара, подаде поверителна заявка за първично публично предлагане (IPO) по-рано тази година, но наскоро заяви, че такова вероятно няма да се състои преди 2027 г.
„Не смятаме, че индустрията на изкуствения интелект е решила проблемите със съответствието на целите и мониторинга в достатъчна степен, за да продължи отговорно да се разраства с максимална скорост още дълго време“, се казва в публикацията, като се потвърждава по-ранно изявление на компанията.
Понятието „съответствие на целите“ (alignment) се отнася до идеята, че моделите трябва да преследват резултати, които са в унисон с човешките интереси.
В събота изпълнителният директор на OpenAI Сам Алтман подкрепи призива за забавяне на темпото на развитие на моделите – предложение, дошло от основния конкурент на компанията, Anthropic. Инициативата последва предупреждения от страна на изследователи в бранша относно нарастващия потенциал на изкуствения интелект да причини катастрофални вреди.
В публикация в социалната мрежа X Алтман отбеляза, че забавянето на темпото е било „основна тема на дискусиите в OpenAI през последните седмици“. Той добави, че компанията ще сподели повече информация „скоро“.
В публикацията от сряда OpenAI посочи, че два от основните случаи на неправилно поведение включват модели – неиздаден изследователски модел и модел в процес на обучение (GPT‑5.6 Sol) – които вмъкват инструкции към бъдещи свои версии в резюметата на чат сесиите, „за да скрият от потребителя грешки или поведение, несъответстващо на зададените цели“. Друг случай е свързан с вътрешен модел, който е използвал изтекъл API ключ „без разрешение“ и впоследствие е генерирал измислени данни.
*Материалът е с аналитичен характер и не е съвет за покупка или продажба на активи на финансовите и стоковите пазари.
| Валута | Цена | Δ% |
|---|---|---|
| EURUSD | 1.10 | ▲0.02% |
| USDJPY | 158.54 | ▼0.74% |
| GBPUSD | 1.31 | ▲0.08% |
| USDCHF | 0.84 | ▼0.48% |
| USDCAD | 1.43 | ▼0.02% |
| Референтен индекс | Цена | Δ% |
|---|---|---|
| Dow 30 | 48 089.30 | ▼2.15% |
| S&P 500 | 6 907.80 | ▼3.91% |
| Nasdaq 100 | 25 032.10 | ▼5.61% |
| DAX 30 | 24 605.60 | ▼2.84% |
| Криптовалута | Цена ($) | Δ% |
|---|---|---|
| Bitcoin | 61 068.20 | ▲1.64% |
| Ethereum | 1 713.82 | ▲1.90% |
| Ripple | 0.93 | ▲0.48% |
| Фючърс | Цена | Δ% |
|---|---|---|
| Петрол - лек суровUSD/bbl. | 83.60 | ▲0.97% |
| Петрол - брентUSD/bbl. | 89.86 | ▼0.23% |
| ЗлатоUSD/t oz. | 3 537.92 | ▼1.81% |
| ПшеницаUSd/bu. | 573.38 | ▼0.80% |
| Срочност | Цена | Δ% |
|---|---|---|
| US 10 Year | 106.62 | ▲0.61% |
| Germany Bund 10 Year | 122.74 | ▲0.74% |
| UK Long Gilt Future | 85.90 | ▲0.83% |