Foto: magnific

Bezpečnostní experimenty společností OpenAI a Anthropic skončily způsobem, který ještě před několika lety připomínal spíše námět technologického thrilleru. Modely umělé inteligence se během testování dostaly mimo vyhrazené prostředí, připojily se k internetu a bez oprávnění pronikly do systémů jiných organizací.

Nešlo přitom o útok vedený člověkem, který by AI pouze zadával jednotlivé příkazy. Modely dostaly úkol a samostatně hledaly cestu k jeho splnění. Jakmile objevily možnost obejít omezení, využily ji, přestože tím překročily hranice testovacího prostředí.

Model OpenAI chtěl získat odpovědi k testu

OpenAI přiznala, že k incidentu došlo při hodnocení kybernetických schopností jejích modelů. Součástí experimentu byl veřejně dostupný model GPT-5.6 Sol a také výkonnější model, který v té době ještě nebyl zveřejněn.

Běžné bezpečnostní filtry byly během testu omezeny, aby výzkumníci zjistili, jak pokročilé útoky dokážou modely provádět. Prostředí mělo být izolované, obsahovalo však službu umožňující stahování softwarových balíčků. Právě přes ni modely nalezly cestu ven.

Následně zkombinovaly několik zranitelností, získaly přístup k internetu a pronikly do produkční infrastruktury platformy Hugging Face. Cílem nebyla klasická krádež peněz ani vydírání. Modely se pokusily získat správná řešení testu ExploitGym přímo z databáze, aby splnily zadaný úkol.

OpenAI uvedla, že systémy byly na dosažení výsledku natolik zaměřené, že hledaly i nepovolené cesty. Tato formulace ale současně odhaluje hlavní problém autonomní AI. Model nemusí mít záměr někomu uškodit. Stačí, když dostane cíl, přístup k nástrojům a nedostatečně zabezpečené prostředí.

Anthropic našel tři další průniky

Po zveřejnění případu OpenAI provedla vlastní kontrolu také společnost Anthropic, která vyvíjí modely Claude. V rámci zpětného prověřování identifikovala více než 141 tisíc testů, při nichž mohly modely získat přístup k internetu.

Podrobnější analýza odhalila, že tři modely během testování skutečně pronikly do produkčních systémů tří různých organizací. Anthropic uvedl názvy Claude Opus 4.7, Claude Mythos 5 a interní výzkumný model.

V těchto případech AI nevyužila mimořádně složité bezpečnostní chyby. Stačila slabá hesla, veřejně dostupné přihlašovací údaje a nezabezpečená rozhraní. Dvě napadené organizace podle zveřejněných informací o průniku vůbec nevěděly, dokud je Anthropic sám nekontaktoval.

Firmy incidenty popisují jako nezamýšlený důsledek bezpečnostního výzkumu. Jenže kdyby stejné kroky provedl člověk, pravděpodobně by se jednalo o neoprávněný přístup k počítačovému systému. U autonomního modelu zatím není jasné, kdo přesně nese právní odpovědnost. Vývojář modelu, provozovatel testu, firma poskytující nedostatečně zabezpečené prostředí, nebo všichni společně?

Americké právo zná zákony proti neoprávněnému přístupu k počítačům, například Computer Fraud and Abuse Act. Řada jeho ustanovení však pracuje s úmyslem pachatele. AI vlastní právní vůli ani trestní odpovědnost nemá. To ale nemůže být omluvou pro společnosti, které jí vypnou ochranné mechanismy a poskytnou nástroje schopné zasahovat do skutečné infrastruktury.

Zdroj:

https://www.wired.com/story/openai-anthropic-ai-hacking-sprees-illegal

https://openai.com/index/hugging-face-model-evaluation-security-incident