Foto: Magnific

AI agent OpenClaw se postaral o nepříjemný zážitek přímo uvnitř společnosti Meta. Bezpečnostní výzkumnice Summer Yue popsala, jak jí experiment s autonomním AI agentem skončil nechtěným mazáním e-mailů. Přestože systému výslovně nařídila, aby před jakoukoli akcí vyžádal potvrzení, agent tento pokyn během zpracování rozsáhlé schránky nedodržel.

Podle Yue šlo o chybu, kterou sama označila za začátečnickou. Zároveň ale upozornila na problém, který může být mnohem širší. Pokud se podobná situace stane zkušené výzkumnici zabývající se bezpečností umělé inteligence, běžní uživatelé mohou být vůči podobným selháním ještě zranitelnější.

Původní pokyn se během zpracování ztratil

Summer Yue incident popsala na sociální síti X. Nejprve nechala OpenClaw pracovat s testovací e-mailovou schránkou, kde agent fungoval podle očekávání. Následně mu zadala práci i na své hlavní schránce s instrukcí: zkontrolovat e-maily, navrhnout, co archivovat nebo odstranit, ale žádné změny neprovádět bez jejího souhlasu.

Právě při práci s výrazně větším objemem zpráv ale nastal problém. Podle Yue agent během procesu označovaného jako compaction přišel o část původního kontextu a zapomněl instrukci, že má čekat na potvrzení uživatele. Místo pouhého návrhu začal e-maily skutečně mazat.

Výzkumnice uvedla, že situaci nemohla zastavit z mobilního telefonu a musela okamžitě přeběhnout ke svému počítači Mac mini, aby proces přerušila. Celou situaci přirovnala k zneškodňování bomby.

Incident otevřel debatu o bezpečnosti AI agentů

OpenClaw patří mezi novou generaci autonomních AI agentů, kteří dokážou ovládat aplikace, pracovat s dokumenty nebo spravovat e-maily bez neustálého zásahu člověka. Právě tato vysoká míra autonomie je však zároveň jejich největším rizikem.

Po zveřejnění incidentu reagoval zakladatel OpenClaw Peter Steinberger. Připustil, že podobným situacím by mělo zabránit lepší serverové zpracování kontextu, aby agent během dlouhých úloh neztrácel důležité instrukce od uživatele. Steinberger přitom nedávno oznámil svůj přechod do společnosti OpenAI.

Na bezpečnostní rizika upozorňovali odborníci už při uvedení OpenClaw. Analytici ze společnosti SOCRadar doporučili přistupovat k AI agentům stejně opatrně jako k systémům s administrátorskými oprávněními. Jinými slovy, pokud může umělá inteligence ovládat e-maily, soubory nebo další služby, měla by být chráněna stejně důsledně jako jiná kritická infrastruktura.

Zdorj: PCMag.com