Shadow AI

Shadow AI navazuje na širší jev označovaný jako shadow IT, tedy používání neschváleného softwaru, cloudových služeb nebo zařízení. V několika ohledech se ale liší. U běžné neschválené aplikace jde především o to, kde jsou data uložena a kdo k nim má přístup. U nástrojů AI je navíc podstatné, zda poskytovatel vložená data použije k dalšímu trénování modelu. Výstupy modelu mohou být také chybné, a přesto ovlivňují dokumenty, rozhodnutí nebo software organizace. Shadow AI přitom obvykle nevzniká se špatným úmyslem – zaměstnanci si nejčastěji chtějí usnadnit práci, a pokud jim AI nástroje nezajistí zaměstnavatel, poradí si po svém.

Podstata shadow AI

Tradiční správa IT počítá s tím, že software je třeba nainstalovat nebo zakoupit. Většina nástrojů generativní AI ale funguje jako webová služba, ke které stačí prohlížeč a e-mailová adresa. Mnohé jsou navíc v základní verzi k dispozici zdarma. Zaměstnanec si během několika minut založí soukromý účet a začne do služby vkládat například texty smluv, finanční výkazy, zdrojové kódy softwaru nebo třeba zápisy z porad. Data se tak dostávají k externímu poskytovateli, u kterého často není jasné, kde a jak je uchovává a jak s nimi dále pracuje.

Podmínky bezplatných, veřejně dostupných verzí AI služeb navíc poskytovatelům často umožňují využít obsah konverzací k dalšímu trénování modelů. Firemní verze AI nástrojů přitom trénování na datech zákazníka obvykle vylučují a nabízejí například funkce pro správu uživatelů a smluvní záruky. Shadow AI také nemusí znamenat jen použití neznámé služby. Stejným případem je situace, kdy zaměstnanec použije soukromý účet u služby, kterou má organizace jinak schválenou a licencovanou.

Rozsah shadow AI dokládá i řada průzkumů, podle kterých značná část zaměstnanců využívá v práci vlastní nástroje AI. Pro tento jev se používá také označení BYOAI (Bring Your Own AI), odvozené od známějšího BYOD (Bring Your Own Device).

Pojem shadow IT se začal běžně používat s nástupem cloudových služeb typu SaaS a politik BYOD. Na tuto zkušenost navázal termín shadow AI, který se rozšířil po zpřístupnění služby ChatGPT na konci listopadu 2022. Generativní AI se tehdy během několika měsíců dostala k milionům uživatelů dřív, než si organizace stihly ujasnit, za jakých podmínek s ní mohou zaměstnanci pracovat.

Některé firmy proto začaly používání veřejných chatbotů omezovat. Plošné zákazy se ale brzy ukázaly jako málo účinné, protože zaměstnanci mohli služby dál používat na soukromých zařízeních, kde organizace nemá žádný přehled. Poskytovatelé proto začali nabízet podnikové varianty svých modelů a organizace namísto plošných zákazů začaly řízeně zpřístupňovat schválené AI nástroje.

Formy shadow AI

Shadow AI nemá jedinou podobu. Různé formy se liší především tím, jak hluboko do firemních systémů neschválený nástroj zasahuje:

• Veřejní chatboti a generativní služby, používané přes webový prohlížeč nebo v mobilní aplikaci se soukromým účtem, představují nejběžnější formu.
• AI funkce v již schválených aplikacích vznikají, když dodavatel do kancelářských aplikací, nástrojů pro videokonference nebo dalšího podnikového softwaru doplní funkce generativní AI, často v rámci běžné aktualizace. Data pak mohou být zpracovávána jiným způsobem, než bylo při pořízení tohoto softwaru předpokládáno.
• Rozšíření prohlížečů a doplňky s AI mívají široký přístup k obsahu navštěvovaných internetových stránek. Asistenti, kteří se připojují k online schůzkám a pořizují z nich záznam, zase zpracovávají hovory všech účastníků, včetně externích.
• Propojení aplikací s firemními účty vzniká, když zaměstnanec udělí AI aplikaci třetí strany přístup ke svému pracovnímu e-mailu, kalendáři nebo cloudovému úložišti, typicky prostřednictvím autorizace OAuth.
• Vlastní integrace a modely zahrnují volání rozhraní API poskytovatelů AI ze skriptů a aplikací vyvinutých bez schválení nebo modely stažené z veřejných repozitářů a spouštěné na firemních počítačích či serverech. Takové modely mohou obsahovat i spustitelný škodlivý kód.

Nejnovější formu představují neschválení AI agenti. Zaměstnanci si sami vytvářejí agenty a automatizované procesy nebo k AI asistentům připojují externí nástroje a servery protokolu MCP (Model Context Protocol). Takový agent data nejen čte, ale může také jednat – odesílat zprávy, měnit soubory nebo volat další služby, to vše s oprávněními zaměstnance.

Rizika shadow AI

Hlavními riziky shadow AI jsou únik podnikových dat a porušení souladu s předpisy, ale existuje i mnoho dalších:

• Únik citlivých dat je nejčastěji uváděným rizikem. Do neschválených nástrojů se dostávají osobní údaje, obchodní tajemství, zdrojový kód nebo přihlašovací údaje. Data navíc mohou uniknout i nečekaným způsobem, například když vyhledávače zaindexují konverzace, které uživatelé sdíleli prostřednictvím veřejného odkazu.
• Porušení předpisů a smluv hrozí, pokud jsou osobní údaje předány externímu zpracovateli bez smlouvy a právního základu podle obecného nařízení o ochraně osobních údajů (GDPR), případně do třetí země. Podobně může dojít k porušení závazků mlčenlivosti vůči obchodním partnerům, profesního tajemství nebo odvětvových regulací.
• Chybné výstupy, ať už jde o takzvané halucinace, zkreslené informace nebo nekvalitní kód, se mohou dostat do dokumentů, rozhodnutí i produktů, aniž by kdokoli věděl, že vznikly s pomocí AI. Vygenerovaný kód může obsahovat zranitelnosti nebo odkazy na neexistující softwarové knihovny. Útočníci mohou knihovny s takovými názvy zaregistrovat a zneužít je podobně jako u typosquattingu. Tato technika se označuje jako slopsquatting.
• Rozšíření útočné plochy přináší každý neschválený nástroj, doplněk nebo propojení. Neprověřený AI agent nebo připojený nástroj může být cílem útoků typu prompt injection nebo tool poisoning. Protože jedná s oprávněními zaměstnance, může útočník jeho prostřednictvím získat přístup k firemním datům. Poskytovatelé AI služeb se navíc stávají součástí dodavatelského řetězce organizace, aniž by prošli jakýmkoli prověřením.
• Rizika spojená s jurisdikcí poskytovatele vznikají u služeb, k jejichž datům mohou mít přístup státní orgány cizí země.

Souvislosti s dalšími bezpečnostními koncepty

Shadow AI je přímým pokračováním shadow IT a sdílí s ním základní příčinu, kterou je rozdíl mezi nástroji, které zaměstnanci k práci potřebují, a tím, co jim organizace poskytuje. Souvisí i s modelem BYOD, protože mnoho případů se odehrává na soukromých zařízeních, mimo firemní kontrolu. Z pohledu triády CIA (důvěrnost, integrita, dostupnost) ohrožuje shadow AI především důvěrnost dat, chybnými výstupy ale také jejich integritu.

Od hrozeb pro systémy umělé inteligence, jako jsou prompt injection, tool poisoning nebo data poisoning, se shadow AI liší tím, že jde o stav prostředí, který útokům usnadňuje cestu. Organizace nemůže chránit, testovat ani sledovat nástroje, o jejichž existenci neví. A pokud dojde k incidentu, nedokáže ani určit jeho rozsah.

Na straně obrany souvisí shadow AI s principem minimálních oprávnění a s přístupem just in time, které omezují rozsah a dobu platnosti oprávnění, jimiž AI agenti disponují. Uplatňuje se zde také architektura nulové důvěry (zero trust), podle které nelze automaticky důvěřovat žádné aplikaci ani propojení, a to ani tehdy, když je zaměstnanec sám povolí.

Odhalování a řízení shadow AI

Účinný přístup k potlačení shadow AI kombinuje technická opatření s jasnými pravidly a nabídkou schválených alternativ:

• Zjištění skutečného stavu – organizace analyzují síťový provoz, záznamy DNS a proxy serverů, data z koncových zařízení, výdaje za předplatné i seznamy aplikací, kterým zaměstnanci udělili přístup k firemním účtům. Výsledkem je inventář používaných AI nástrojů, modelů a agentů.
• Pravidla pro používání AI – stanovují, které nástroje jsou schválené, k jakým účelům je lze použít a jaká data do nich smějí zaměstnanci vkládat. Vycházejí z klasifikace dat, protože pro veřejně dostupné informace platí jiná pravidla než pro osobní údaje nebo obchodní tajemství.
• Schválené alternativy – firemní licence nástrojů AI se smluvně vyloučeným trénováním na datech zákazníka, centrální správou uživatelů a záznamem činnosti odstraňují hlavní důvod vzniku shadow AI. Pomáhá také rychlý a srozumitelný postup, kterým mohou zaměstnanci požádat o posouzení nového nástroje.
• Technické kontroly – zahrnují nástroje pro zabezpečení přístupu ke cloudovým službám (Cloud Access Security Broker, CASB) a platformy typu SSE (Security Service Edge), které rozpoznají přístup k AI službám a mohou jej povolit, omezit nebo zablokovat. Systémy prevence ztráty dat (Data Loss Prevention, DLP) kontrolují obsah, který uživatelé vkládají do webových služeb.
• Řízení integrací a oprávnění – brání zaměstnancům udělovat bez schválení přístup k firemním datům aplikacím třetích stran. Součástí je pravidelná revize existujících propojení, rozšíření prohlížečů i nástrojů připojených k AI agentům.
• Vzdělávání zaměstnanců – vysvětluje, proč jsou některé nástroje rizikové, jak s AI pracovat bezpečně a proč je nutné výstupy ověřovat. Schválené nástroje budou spíše používat zaměstnanci seznámení s riziky veřejných AI služeb a nabídkou schválených podnikových nástrojů.

Protože nové služby i AI funkce v existujících aplikacích přibývají průběžně, je třeba soupis nástrojů i pravidla pravidelně aktualizovat.

Budoucí vývoj shadow AI

S tím, jak se AI stává součástí běžných kancelářských aplikací, operačních systémů a prohlížečů, se stírá hranice mezi schváleným a neschváleným použitím. Otázkou už není, zda zaměstnanci AI používají, ale jaká data do ní vkládají a s jakými oprávněními AI nástroje pracují.

Zásadní problémy mohou přinést AI agenti vytváření samotnými zaměstnanci, které je třeba spravovat obdobně jako ostatní identity, tedy je evidovat, omezovat jejich oprávnění a sledovat jejich činnost. Shadow AI zůstane součástí podnikového prostředí, dokud budou nové AI nástroje vznikat rychleji, než je budou organizace stíhat posoudit.