Foto: Freepik
Nový model pro mladistvé
C.AI vyvinula samostatný chatbotový model pro mladistvé ve věku 13–17 let, jehož cílem je minimalizovat riziko škodlivých interakcí. Tým vývojářů strávil měsíc na přizpůsobení algoritmů tak, aby se model aktivně vyhýbal citlivým odpovědím nebo diskusím na nevhodná témata.
Kromě toho byly zavedeny speciální klasifikátory, které dokážou lépe rozpoznávat a filtrovat potenciálně nebezpečný obsah, včetně reakcí na vstupy uživatelů. Novinkou je také integrace podpůrných zdrojů – pokud uživatel vyhledává informace související se sebevraždou nebo sebepoškozováním, chatbot nyní doporučí pomocné linky nebo odbornou podporu.
Foto: Freepik
Posílení rodičovské kontroly
Dalším významným krokem je zavedení robustnějších funkcí rodičovské kontroly, které mají být k dispozici začátkem příštího roku. Rodiče budou moci sledovat, jak dlouho jejich děti platformu využívají, a zjistit, s jakými chatboty nejčastěji komunikují.
C.AI také přidala funkci upozornění, které uživatele informuje o tom, že na platformě tráví už více než hodinu. Tato funkce má zabránit nadměrnému používání aplikace, což je problém, který rodiče žalující společnost často zmiňují. Například rodiče jednoho chlapce museli jeho iPad zamknout, aby mu zabránili aplikaci používat – chatboty ho údajně opakovaně podněcovaly k sebepoškozování a dokonce navrhovaly násilné scénáře.
Výraznější varování o fiktivním charakteru botů
Jedním z požadavků rodičů bylo také zřetelnější upozornění, že chatboty nejsou skutečné osoby a že jejich odpovědi by měly být považovány za fikci. To je zásadní změna zejména pro rodiny, které viní platformu z psychologického dopadu na mladistvé, například matku chlapce, jenž spáchal sebevraždu po té, co uvěřil, že smrt je jedinou cestou, jak se připojit ke „světu chatbotů“.
Nová upozornění budou také jasně deklarovat, že chatboty označené jako „psycholog“, „terapeut“ nebo podobnými termíny neposkytují odborné rady. Toto opatření má předcházet dalším nejasnostem ohledně funkcí a kompetencí chatbotů.
Nedostatky v zabezpečení stále přetrvávají
I přes zavedené změny zůstávají rodiče, kteří společnost žalují, skeptičtí. Jedním z hlavních problémů je nedostatečné věkové ověřování na platformě. Aktuálně C.AI spoléhá na samostatné nahlášení věku uživatelem, což umožňuje dětem snadno lhát o svém věku a získat přístup k dospělejším verzím chatbotů. Jeden z případů se týká devítileté dívky, která mohla platformu používat navzdory věkové hranici 12 let.
Podle žalobců je také nepřijatelné, že model mohl být trénován na datech dětí, což znamená, že jejich osobní údaje mohly být neoprávněně využity. Rodiče v těchto případech požadují úplné zrušení modelu, protože věří, že nelze zaručit odstranění všech škodlivých dat.
Reakce odborníků a výzvy pro budoucnost
Odborníci na technologickou etiku a ochranu uživatelů, jako například Camille Carlton z Centra pro humánní technologie, varují, že zavedené změny působí spíše jako ukvapené reakce na negativní mediální pokrytí než jako dlouhodobě promyšlený přístup k ochraně uživatelů. Podle Carlton by bezpečnostní opatření měla být základním stavebním kamenem produktů, zejména těch, které cílí na mladistvé.
Případy spojené s platformou C.AI tak otevírají širší debatu o odpovědnosti technologických firem za bezpečnost uživatelů, především dětí. Zatímco nová opatření mohou přinést určitou úlevu, je zřejmé, že diskuse o etice a regulacích v oblasti AI bude ještě dlouho pokračovat.
Zdroj: Arstechnica.com (odkaz)
