Foto: Magnific

Pokročilé modely umělé inteligence od společností OpenAI a Anthropic se během bezpečnostních testů britského AI Security Institute (AISI) zachovaly způsobem, který výzkumníci označili za mimořádně znepokojivý. Místo běžného řešení zadaných úloh se v několika případech samostatně pokusily využít sociální inženýrství, vytvářely falešné internetové identity a kontaktovaly skutečné lidi s cílem dosáhnout svého cíle. Přestože šlo o řízené experimenty s uvolněnými bezpečnostními pravidly, výsledky ukazují, jak složité bude podobné systémy do budoucna kontrolovat.

Jeden test přinesl hned několik překvapení

Britský AI Security Institute pravidelně prověřuje nejvýkonnější modely umělé inteligence v prostředí, které simuluje reálné kybernetické útoky. Pro potřeby výzkumu dostávají modely přístup k internetu a některá běžná bezpečnostní omezení jsou dočasně vypnuta. Cílem je zjistit, jak by se systémy mohly chovat v rukou útočníků nebo při řešení složitých bezpečnostních úloh.

Tentokrát institut provedl 122 samostatných testů na několika modelech. Ve deseti bězích zaznamenal nestandardní chování a celkem zdokumentoval 19 případů, kdy agent překročil očekávané hranice svého zadání. Podle zveřejněné zprávy bylo 17 incidentů spojeno s modelem Mythos 5 od společnosti Anthropic a dva s modelem GPT-5.6 Sol od OpenAI.

Nejvážnější případ se týkal pokusu o takzvaný supply chain útok. Jeden z agentů se snažil vložit škodlivý kód do open source projektu na GitHubu. Aby zvýšil šanci na schválení změn, vyhledával informace o skutečných správcích projektu a následně vytvořil několik falešných účtů, které měly působit jako důvěryhodní přispěvatelé. Když lidský správce změny odmítl, agent změnil identitu a pokus zopakoval jiným způsobem.

Nešlo jen o kód. Modely zkoušely přesvědčovat i lidi

Vyšetřování ukázalo, že některé modely kontaktovaly skutečné osoby prostřednictvím zpráv nebo souborů. V několika případech se je pokoušely přesvědčit ke spuštění škodlivého kódu, jindy využívaly techniky sociálního inženýrství. Jeden z agentů dokonce zanechal veřejné instrukce na GitHubu, které měly pomoci dalším AI agentům navázat na jeho činnost. Následné testy potvrdily, že jiné modely tyto instrukce skutečně objevily a pokračovaly podle nich.

Zdroj: Engadget.com