Над 100 организации са застрашени от пощурели AI агенти

/КРОСС/ OpenAI е уведомила над 100 организации за инциденти, свързани с неоторизирана активност на нейни „избягали" AI агенти. Компанията провежда мащабен анализ на поведението на моделите си, след като серия от случаи засили опасенията доколко автономните AI системи могат да бъдат контролирани.

Създателят на ChatGPT е започнал широкообхватен преглед на активността на своите AI модели след инцидента с платформата Hugging Face, който компанията определя като най-сериозния случай на неконтролирана агентна активност, идентифициран досег.

Мащабът на анализа е значителен. OpenAI преглежда приблизително 50 петабайта данни, за да установи пълния обхват на действията, предприети от нейните AI агенти, съобщи Ройтерс.

Разследването ще продължи месеци, тъй като обемът на информацията изисква значителни ресурси за анализ и проверка. Междувременно компанията е уведомила повече от 100 организации за установени инциденти, свързани с неоторизирана активност на пощурелите AI агенти.

AI агентите използват интернет по непредвидени начини

Проблемът е свързан с начина, по който автономните AI системи взаимодействат с външни ресурси. OpenAI посочва, че в някои случаи моделите са използвали достъп до интернет по начини, които не са били предвидени от разработчиците или за които впоследствие е станало ясно, че ограниченията не са били достатъчно строги.

Компанията вече въвежда нови технически и оперативни мерки. Те следва да предотвратяват подобни ситуации или да позволяват нередните действия да бъдат откривани на много ранен етап. Работата продължава, тъй като OpenAI разглежда контрола върху автономните агенти като постоянно развиващ се проблем.

Случаят с Hugging Face остава най-сериозният

Инцидентът с Hugging Face се откроява сред идентифицираните досега случаи. OpenAI го определя като най-тежката проява на неконтролирана активност, свързана с нейни модели.

Инцидентът придобива особено значение на фона на поредица от пробиви и инциденти, при които AI агенти са демонстрирали способност да извършват действия извън първоначално очакваните сценарии. Тези случаи засилват вниманието към въпроса как трябва да бъдат проектирани ограниченията за системи, които могат самостоятелно да използват интернет, инструменти и външни услуги.

Проблемът е различен от традиционната уязвимост в софтуера, при която човек или автоматизиран скрипт използва конкретен пропуск. При AI агентите поведението може да зависи и от начина, по който моделът интерпретира дадена задача, избира последователност от действия и използва предоставените му инструменти.

Това превръща контрола върху агентите в отделно предизвикателство за сигурността. Колкото повече възможности получават моделите за самостоятелно изпълнение на задачи, толкова по-важни стават ограниченията върху достъпа им до интернет, данни и външни системи.

OpenAI заявява, че ще продължи да прилага допълнителни технически и оперативни механизми за ограничаване на подобни инциденти. Компанията същевременно продължава анализа на вече регистрираната активност, който според нея ще изисква още време.