Shadow AI: Tichý pomocník, nebo bezpečnostní riziko?

Generativní AI si ve firmách našla místo rychleji, než se čekalo. Zároveň se ale vynořil problém tzv. stínové umělé inteligence. Podle dat Microsoftu dnes více než třetina lidí přiznává, že bez vědomí nadřízených zadala do AI nástroje citlivé pracovní informace. Jaká rizika tím firmám vznikají? A hlavně – co s tím mohou organizace dělat, aby ochránily svá data, aniž by přidusily inovace? 

Co je stínová umělá inteligence neboli shadow AI? Podle definice společnosti IBM jde o používání AI nástrojů ze strany zaměstnanců bez formálního schválení a dohledu ze strany IT oddělení. 

Rozmach otevřených datových sad a generativní umělé inteligence přístupné běžným uživatelům přispěl k tomu, že shadow AI může využívat téměř kdokoliv, a to i bez technických znalostí. Příkladem je ChatGPT, který během jediného roku od spuštění získal 100 milionů aktivních uživatelů týdně.  

ChatGPT nemusí vědět všechno. Která data rozhodně nesdílet s modely AI?

ChatGPT nemusí vědět všechno. Která data rozhodně nesdílet s modely AI?

Zobrazit článek

ChatGPT výrazně zvyšuje produktivitu práce, ale zároveň přináší bezpečnostní rizika. U základních účtů používá jeho tvůrce OpenAI interakce s uživateli pro trénink modelu (pokud to uživatelé výslovně nezakáží). To znamená, že i citlivá nebo interní data mohou zaměstnanci nevědomky poskytnout k dalšímu trénování modelu, a tím pádem je potenciálně ohrozit. 

Zpráva kalifornské společnosti Cyberhaven z jara 2024 nabízí zvlášť znepokojivá čísla: 74 % případů využívání ChatGPT a 94 % využívání Google Gemini ve firmách probíhá přes nefiremní účty. Drtivá většina zaměstnanců tak do nástrojů generativní AI zadává právní dokumenty, HR data, zdrojové kódy a další citlivé informace, aniž by o tom vedení firmy vědělo. 

Proč zaměstnanci sahají po shadow AI 

• Rychlost a pohodlí. AI nástroje jsou snadno dostupné, bez nutnosti zapojení IT. 
• Vyšší produktivita. Uživatelé s nimi rychle generují texty, zkracují rutinní práci a zrychlují procesy. 
• Inovace bez čekání. Týmy si mohou „osahat“ nové nástroje dřív, než projdou schvalováním. 
• Okamžité řešení problémů. Shadow AI často nabízí rychlejší cestu než oficiální firemní systémy. 

Co může způsobit používání AI bez souhlasu vedení  

Bez odpovídajících pravidel a bezpečnostních mechanismů přináší shadow AI tři hlavní typy rizik. 

1. Úniky dat a bezpečnostní zranitelnosti 

Jedním z největších rizik je ztráta kontroly nad citlivými daty. Když zaměstnanci používají neschválené AI nástroje, vkládají důvěrné informace do systémů, které firma nemá pod kontrolou. Podle nedávného průzkumu mezi bezpečnostními řediteli (CISO) zažilo 20 % britských firem únik dat právě vinou používání generativní AI zaměstnanci. 

2. Nedodržení regulací 

V oblastech jako finance, zdravotnictví nebo právo je dodržování předpisů nepřekročitelnou hranicí. Používání shadow AI může vést k porušení klíčových regulací, zejména v oblasti ochrany osobních údajů. GDPR jasně říká, jak mají firmy s daty nakládat. Při jeho závažném porušení – třeba zpracování dat pro nepovolené účely – může pokuta od dozorového orgánu (u nás je to Úřad pro ochranu osobních údajů) dosáhnout až 20 milionů eur nebo 4 % celosvětového ročního obratu společnosti (podle toho, která částka je vyšší). 

3. Poškození reputace 

Generativní AI může vytvářet zkreslený nebo nepravdivý obsah – tzv. „halucinace“. V krajních případech to vede k dezinformacím, které ovlivňují rozhodování a ohrožují důvěryhodnost organizace. Na vlastní kůži to pocítili dva právníci z New Yorku, kteří ve své žalobě citovali neexistující soudní rozhodnutí vytvořená pomocí ChatGPT. Výsledkem byla pokuta ve výši 5 000 dolarů a profesní ostuda. Rizikem je i zabudovaný bias – například nástroje pro generování obrázků opakovaně reprodukují genderové nebo rasové stereotypy. Takové výstupy mohou být v přímém rozporu s hodnotami firmy a poškodit její reputaci. 

Jak vybudovat AI-driven firmu a zvídavé Česko, radí Jindřich Fremuth, generální ředitel O2 

Jak vybudovat AI-driven firmu a zvídavé Česko, radí Jindřich Fremuth, generální ředitel O2 

Zobrazit článek

Jak se k shadow AI postavit?  

Organizace mají několik možností, jak k problému přistoupit – od rychlých provozních opatření až po dlouhodobé strategické kroky. 

Využívejte veřejné AI nástroje zodpovědně 

Některé firmy umožňují zaměstnancům používat veřejné nástroje typu ChatGPT, ale pouze pro nízkorizikové úkoly – například shrnutí článků, návrh neformálních textů nebo překlady běžných dokumentů. 

OpenAI i další poskytovatelé nabízejí podnikové verze se zvýšenou ochranou soukromí. Ani ty ale nejsou stoprocentně bezpečné. Například v tzv. error logu (záznamech o chybách) se v závislosti na nastavení systému mohou dočasně objevit citlivé informace jako obsah uživatelských požadavků, e-mailové adresy, přihlašovací údaje, nebo dokonce čísla platebních karet. Tento přístup je proto vhodný jen tam, kde se nepracuje s interními nebo důvěrnými daty. 

Nastavte a vymáhejte pravidla pro práci s AI 

Základem by měly být srozumitelné a vynucované interní politiky. Firmy jako JPMorgan Chase, Amazon nebo Deutsche Bank zvolily cestu zákazu generativní AI. Jiné nastavily pravidla pro omezené použití doplněné o monitoring. Klíčové je, aby zaměstnanci věděli, co mohou používat, co je zakázáno a proč. Bez těchto rámců hrozí chaos, nedorozumění a bezpečnostní průšvihy. 

Nabídněte vlastní firemní rozhraní

Firmy mohou zaměstnancům nabídnout přístup k veřejným AI modelům přes vlastní zabezpečené rozhraní. To umožňuje filtrovat citlivé vstupy, zobrazit varování nebo navrhnout alternativní dotazy. Tento přístup kombinuje flexibilitu s ochranou dat. 

Nasaďte enterprise AI modely 

Nejkomplexnější, ale zároveň nejbezpečnější variantou je vlastní firemní AI – provozovaná v privátním cloudu nebo přímo on-premise. Dnes je tato možnost výrazně dostupnější díky tzv. foundation modelům, které lze navíc odladit na konkrétních firemních datech. Platformy jako Hugging Face nabízejí širokou knihovnu těchto modelů. Výsledek? Firma získá výkonný nástroj, který neohrožuje data a je přizpůsobený jejím potřebám. 

5 praktických kroků, které můžete udělat hned

1. Proveďte audit současného stavu 

Zmapujte, jaké AI nástroje už zaměstnanci používají – včetně těch integrovaných ve známých aplikacích. 

2. Podpořte užívání schválených AI nástrojů 

Stanovte jasný seznam schválených nástrojů. Zaměstnancům pak vyjděte vstříc tím, že nastavíte jednoduchý proces pro žádosti o nové. 

3. Nastavte technické mantinely 

Využijte sandboxy, blokace přístupů nebo monitorovací nástroje, které odhalí neautorizované použití AI. 

4. Vzdělávejte zaměstnance 

Školení o rizicích shadow AI a etice a bezpečném používání umělé inteligence by mělo být součástí onboardingu i průběžného vzdělávání. 

5. Pravidelně aktualizujte pravidla 

AI se vyvíjí rychle. Udržujte interní politiky aktuální, sdílejte změny a vysvětlete jejich smysl. 

Co si z článku odnést?  

• Pojem shadow AI označuje používání nástrojů umělé inteligence zaměstnanci bez vědomí nebo schválení IT oddělení. Ve firmách se momentálně šíří rychleji, než většina organizací stíhá reagovat.  
• Zaměstnanci často obcházejí pravidla, protože jim shadow AI nabízí rychlejší, pohodlnější a flexibilnější řešení než oficiální nástroje – a to i bez technických znalostí.  
• Třetina zaměstnanců přiznává, že vkládá do veřejně dostupných AI nástrojů citlivé firemní informace, což zvyšuje rizika úniku dat, nedodržení regulací i reputačních škod.  
• Firmy se mohou bránit omezením a regulací veřejných nástrojů, zavedením vlastního firemního rozhraní nebo nasazením enterprise AI modelů s plnou kontrolou nad daty. 

Kateřina Benešová
Marketingový specialista pro B2B