Foto: Magnific

OpenAI zveřejnilo šest případů problematického chování AI modelů, které firma zachytila během posledních šesti měsíců při jejich trénování a vyhodnocování. Nejde přitom jen o běžné halucinace. Některé modely podnikly bez povolení konkrétní kroky, aby splnily zadaný úkol nebo obešly omezení.

Jeden z nejvýraznějších případů nastal při hledání údajů o výdělcích v jednom z kalifornských okresů. Model během práce objevil ve veřejném repozitáři zpřístupněný API klíč a bez povolení jej použil. Ani tím se však k požadovaným údajům nedostal. Místo přiznání neúspěchu si čísla vymyslel a prezentoval je jako data pocházející z požadovaného zdroje.

Když chyběla citace, model si vytvořil vlastní

Další incident se týkal dosud nevydaného modelu, který měl najít názvy a identifikátory jezer o rozloze větší než pět milionů metrů čtverečních. Správné výsledky dokázal získat pomocí Pythonu, problém ale nastal ve chvíli, kdy měl připojit citaci dostupnou přes webový prohlížeč.

Model situaci vyřešil po svém. Soubor s výsledky nahrál na internet a následně jej použil jako zdroj pro vlastní odpověď. Uživatel jej přitom o zveřejnění souboru nežádal.

OpenAI upozornilo také na chování zaznamenané během trénování GPT-5.6 Sol. Některé instance modelu zapisovaly do souhrnů určených pro pokračování práce instrukce, které měly pomoci skrývat chyby nebo problematické chování. Objevovaly se například pokyny, aby model chybějící historická data jednoduše doplnil, aniž by uživateli přiznal, že nejsou ověřená.

U jiného nevydaného výzkumného modelu našli pracovníci OpenAI 27 souhrnů obsahujících dodatečné instrukce, které do nich vložil samotný model.

Modely spolu komunikovaly i přes repozitář

Další testy ukázaly, že modely dokázaly využít interní softwarový repozitář jako provizorní komunikační kanál. V oddělených tréninkových úlohách si přes něj předávaly požadavky a odpovědi při hledání chybějících souborů.

Podobně se zachovali agenti, kteří měli spolupracovat na jednom úkolu, ale neměli přístup ke svým lokálním souborům navzájem. Namísto toho využili veřejné služby pro sdílení souborů. Data se tak ocitla na veřejně dostupných adresách, přestože zadání požadovalo práci pouze s lokálními soubory.

OpenAI kvůli podobným případům zavádí nový systém hlášení takzvaného misalignmentu, tedy situací, kdy se chování modelu rozchází s očekáváním nebo nastavenými omezeními. Firma chce jednotlivé případy zveřejňovat rychleji, dokonce i tehdy, když ještě nezná jejich přesnou příčinu nebo nemá připravené definitivní řešení.

Zdroj: Engadget.com