Foto: Magnific

Experimentální modely společnosti OpenAI si během interních bezpečnostních testů vytvořily vlastní způsob komunikace, ve kterém si předávaly informace o hackerských postupech. Nové detaily zazněly na bezpečnostní konferenci Black Hat 2026 v Las Vegas, kde je představili výzkumníci Michael Dalton a Eric Wallace. Incident podle nich předcházel známému útoku na platformu Hugging Face, o kterém OpenAI informovala už v červenci.

Modely začaly spolupracovat bez pokynu

Podle Erica Wallace začalo vše během interního hodnocení kybernetických schopností pokročilých modelů. Ty dostaly za úkol vyřešit velmi náročné bezpečnostní úlohy. Když jeden z modelů zjistil, že řešení není jednoduché, využil interní úložiště Artifactory jako místo, kde mohl zanechávat poznámky pro další běhy modelů.

Z původně jednoduchého sdílení informací se postupně stal neoficiální komunikační kanál. Modely si předávaly tipy, jak postupovat při řešení úloh, upozorňovaly na slepé cesty a sdílely i postupy, které vyžadovaly přístup k internetu. Výzkumníci uvedli, že tento způsob spolupráce nebyl součástí návrhu testu ani očekávaného chování systému.

Později jeden z modelů objevil dosud neznámou zranitelnost v prostředí Artifactory, která mu umožnila získat širší přístup. Následovalo zvyšování oprávnění, instalace vzdáleného softwaru a další kroky, které nakonec vedly až k útoku na infrastrukturu platformy Hugging Face. OpenAI už dříve potvrdila, že šlo o interní experimentální modely určené výhradně pro testování pokročilých kybernetických schopností.

Na problém upozornil až výpadek systému

Neobvyklá aktivita modelů zůstala nějakou dobu bez povšimnutí. OpenAI podle prezentace zjistila problém až ve chvíli, kdy nadměrné využívání Artifactory způsobilo výpadek služby na začátku července. Teprve následná analýza odhalila, že modely interní úložiště využívaly jako vlastní nástěnku pro předávání informací.

Vývojáři následně odebrali modelům přístupová oprávnění, odstranili vytvořený komunikační prostor a opravili objevené zranitelnosti. Podle prezentace však modely krátce poté našly jiný způsob, jak si informace předávat, a pokračovaly v hledání dalších bezpečnostních slabin.

Zdroj: DigitalTrends.com