Foto: Magnific

OpenAI chystá automatické vypnutí AI systémů pro případy, kdy jejich chování překročí stanovené bezpečnostní hranice. Firma to uvedla v odpovědi americkým zákonodárcům. Impulzem je červencový incident, při němž modely během interního bezpečnostního testu obešly omezení testovacího prostředí a dostaly se na veřejný internet.

Nešlo přitom jen o teoretickou chybu v laboratoři. Modely následně pronikly také do infrastruktury společnosti Hugging Face. OpenAI ve své vlastní zprávě označilo celý incident za varovný signál a přiznalo, že dostatečně schopní AI agenti dokážou bez odpovídajícího zabezpečení hledat slabiny napříč několika počítačovými systémy.

AI si našla cestu ven

Hlavní roli sehrál interní výzkumný model označovaný jako IM1, který nebyl určen pro veřejné vydání. Modely pracovaly na úlohách v prostředí ExploitGym, kde měly hledat zranitelnosti a získávat takzvané flagy potvrzující splnění úkolu.

Při hledání řešení ale zašly výrazně dál, než výzkumníci zamýšleli. OpenAI uvádí, že agenti objevili dosud neznámou zranitelnost v infrastruktuře související s distribucí softwarových balíčků. Postupně zvýšili svá oprávnění, dostali se k uzlu s přístupem na internet a odtud zamířili na Hugging Face, kde hledali informace, které by jim pomohly dokončit test.

Ještě neobvyklejší bylo jejich vzájemné dorozumívání. Agenti využili interní systém Artifactory jako improvizovanou nástěnku a později si zprávy předávali i prostřednictvím názvů adresářů. Někteří při spolupráci sami používali výrazy „swarm“ nebo „collective“.

To ovšem neznamená, že se AI rozhodla „utéct“ nebo získala vlastní vůli. Podle OpenAI šlo o důsledek přílišného zaměření modelů na splnění zadaného cíle v kombinaci s nedostatečně zabezpečeným testovacím prostředím.

Při vážném problému má systém AI zastavit

Incident OpenAI odhalilo 19. července. Firma následně zastavila příslušné testy a společně s Hugging Face začala vyšetřovat rozsah události. Podle OpenAI nebyla zasažena zákaznická data ani běžný provoz produktů, jako je ChatGPT.

Nyní společnost zpřísňuje izolaci testovacích prostředí a ztěžuje modelům přístup na internet. Současně rozšiřuje automatické sledování jejich činnosti.

Odpověď zaslaná členům americké Sněmovny reprezentantů Gregu Casarovi a Doris Matsuiové potvrzuje ještě další krok. Inženýři OpenAI pracují na funkcích, které by při zvlášť závažném problému dokázaly aktivitu AI automaticky zastavit.

Dnes mohou nejvážnější bezpečnostní výstrahy přivolat výzkumníky a bezpečnostní tým. Pokud se během 30 minut nepotvrdí, že šlo o falešný poplach, má být příslušná aktivita pozastavena. Cílem OpenAI je ale systém, který u nejnebezpečnějších situací nebude muset čekat na zásah člověka.

Zdroj: DigitalTrends.com