ChatGPT nemusí vědět všechno. Která data rozhodně nesdílet s modely AI?

Rychlý vývoj umělé inteligence je trendem dnešní doby. Modely společnosti OpenAI už stihla řada společností začlenit do firemních procesů a mnoho z nás je používá denně. Co se ale může stát, když zaměstnanci prostřednictvím promptů zadávají do těchto modelů citlivé informace? A jaký typ dat byste nikdy neměli sdílet s ChatGPT a proč? 

V roce 2022 se dostala do povědomí veřejnosti zejména generativní umělá inteligence na bázi velkých jazykových modelů. Ty následující rok začala používat valná většina z nás. Dokládá to i průzkum společnosti Fishbowl z loňského února: 43 % profesionálů použilo nástroje jako ChatGPT, ale téměř 70 % z nich to dělalo bez vědomí svého nadřízeného.

Podle nedávného průzkumu společnosti IBM, kterého se zúčastnilo více než 1000 zaměstnanců, patří mezi hlavní faktory, jež vedly k rychlému přijetí AI ve firmách:

• pokrok ve vývoji nástrojů, které se zároveň staly dostupnější,
• potřeba snižovat náklady a automatizovat klíčové procesy ve firmách, 
• rostoucí množství AI zabudované do standardních hotových podnikových aplikací.

 AI přináší příležitosti, ale také rizika

Příležitosti, které AI nabízí, ale doprovázejí také rizika. „Pro úspěšnou a bezpečnou adopci generativní umělé inteligence do business prostředí je třeba, aby firma své zaměstnance podporovala ve znalosti nejen jejích možností, ale také limitů a případných rizik. Důležité je také dodržování doporučení z oblasti data privacy a jejich znalost u AI nástrojů, které firma postupně začleňuje do svého provozu,“ říká Petr Hirš, ředitel O2 kompetenčního centra pro umělou inteligenci Dataclair. „V O₂ plně podporujeme zavádění AI technologií, ale bezpečně. Zaměstnanci je využívají běžně, například prostřednictvím integrace zabezpečené instance ChatGPT přímo do firemního komunikátoru MS Teams nebo díky asistentovi Virtuálnímu Buddymu při obsluze zákazníků v rámci našich zákaznických center.“

Pro úspěšnou a bezpečnou adopci generativní umělé inteligence do business prostředí je třeba, aby firma své zaměstnance podporovala ve znalosti nejen jejích možností, ale také limitů a případných rizik.

Petr Hirš
ředitel O2 kompetenčního centra pro umělou inteligenci Dataclair

Existuje ale i řada firem, které svým zaměstnancům práci s chatboty zakazují.  

To je případ společnosti Samsung Electronics, u které došlo k úniku citlivých informací právě kvůli chatbotům. Vedení následně svým zaměstnancům zakázalo používat ChatGPT a další chatboty s umělou inteligencí z obavy z úniku dalších informací, jako jsou interní kódy, materiály chráněné autorskými právy, obchodní tajemství, osobní údaje zaměstnanců a další důvěrné obchodní informace.  

Samsung brzy následovala také společnost JPMorgan Chase, která svým zaměstnancům také výrazně omezila používání ChatGPT kvůli obavám, že by mohla čelit potenciálním regulačním rizikům spojeným se sdílením citlivých finančních informací. Přidaly se k ní i další velké americké banky – včetně Bank of America, Citigroup, Deutsche Bank, Wells Fargo nebo Goldman Sachs. 

Nejčastěji využívané modely AI v roce 2024 

OpenAI – Pod společnost OpenAI, do níž výrazně investuje Microsoft, spadají modely GPT (GPT-4, GPT-3.5 a nově GPT-4o) a dále modely specifické pro jednotlivé funkce. Mezi ně patří například DALL-E pro tvorbu obrázků, Whisper pro převod mluveného slova do textové podoby nebo Moderation, který slouží k rozpoznávání vulgarismů a nenávistných textových projevů.

Anthropic – Modely vyvinuté společností Anthropic se zaměřují na bezpečnost umělé inteligence. K tomu využívají metodu „constitutional AI“ (dodržují konkrétní seznam ústavních principů a pravidel). Jsou navržené tak, aby zvládly zpracovat rozsáhlé množství informací. Aktuálně dokáží pracovat s textem až do přibližně 20 000 slov. Proto jsou ideální pro zpracování rozsáhlých dokumentů, výzkumných zpráv, e-mailů, často kladených otázek, přepisů chatu, záznamů a dalších. Vlajkovou lodí společnosti jsou modely Claude 3, které umí porozumět přirozené konverzaci, zdůvodňovat odpovědi a interaktivně se učit a vést inteligentnější konverzace než jiní chatboti. Do tohoto modelu investuje také Amazon.

Gemini – Gemini je rodina velkých jazykových modelů vyvinutých společností Google DeepMind, která slouží jako nástupce modelů LaMDA a PaLM 2. Model Gemini 1.5 uvedl Google v prosinci 2023 jako konkurenci modelu GPT-4 společnosti OpenAI s tím, že dokáže v jednom dotazu zpracovat daleko větší množství informací najednou – až 1 hodinu videa, 11 hodin zvuku, databáze kódu s více než 30 000 řádků kódu nebo více než 700 000 slov. 

Všechny generativní modely AI mají své slabiny

Přestože zmíněné modely si už našly mnoho fanoušků, z hlediska kyberbezpečnosti je při práci s nimi potřeba uvědomovat si jejich potenciální hrozby. Mezi hlavní rizika generativní umělé inteligence v souvislosti se zadáváním osobních údajů nebo citlivých informací patří například následující:  

• Generativní modely se mohou učit na základě toho, co do nich uživatelé zadávají. Samozřejmě se to týká i citlivých informací. Riziko jejich úniku tu je i přesto, že většina modelů určených pro placené nasazení je upravena tak, aby se z dat klientů neučila.
• S rostoucí rychlostí generativních modelů roste i pravděpodobnost jejich zneužití k útokům na hesla nebo autentizační mechanismy způsobem, kdy s nimi hackeři můžou snáze testovat různé kombinace hesel nebo biometrických dat.
• Riziko jejich zneužití za cílem vytvořit přesvědčivé, ale přitom falešné informace. To může vést k šíření dezinformací a manipulacím s veřejným míněním (i třeba v konkurenčním boji). 
• Tvorba realistických deepfake obrázků a videí, které můžou ohrozit důvěryhodnost médií nebo vést k identifikaci jednotlivých osob.  

Co je to prompt hacking?

Generativní jazykové modely jsou navrženy s důrazem na etické zásady a bezpečnost. Ačkoli jsou tyto modely mimořádně schopné generovat informace a odpovědi na širokou škálu dotazů, mají přednastavená omezení, která brání diskusi nebo šíření obsahu týkajícího se citlivých témat.  

K těmto tématům patří návody na výrobu nelegálních látek, podpora terorismu, generování dětské pornografie a jiné nezákonné činnosti. Tyto restrikce jsou zásadní pro ochranu uživatelů a širší veřejnosti před škodlivým obsahem a zneužitím této technologie. V médiích se ale objevují zprávy o tom, jak umělou inteligenci přimět generovat něco, co je jinak zakázané.

Co je to prompt?

Prompt je jednoduše to, co napíšete umělé inteligenci, aby udělala. Tyto instrukce řídí, jaký druh odpovědi nebo výsledku dostanete. Prompt může být cokoli – věta, otázka, nebo dokonce obrázek. 

Prompt injection označuje nový způsob, jak velké jazykové modely, jako je ChatGPT, zneužít. Hacker při něm vytvoří manipulativní pokyn, který přiměje jazykový model k odhalení citlivých informací nebo vygenerování něčeho, pro co nebyl navržený – třeba psaní malwaru nebo návodu k výrobě bomby.   

Představit si to můžete jako přeformulování požadavku, kvůli kterému jazykový model nepozná, že se hacker ptá na citlivé informace – třeba tím, že otázku položí v rámci fiktivního scénáře. Nebo předstírá, že svou otázku pokládá z určité role, jako je novinář nebo spisovatel, díky čemuž se mu může podařit informaci z programu vylákat. Nebo se může pokusit ChatGPT donutit, aby prozradil interní data společnosti v rámci žádosti o pomoc s konkrétní zprávou nebo typem dokumentu.  

A právě proto je nutné, aby zaměstnanci byli při práci s AI chatboty ve vztahu k informacím velmi opatrní. Nepoučení zaměstnanci totiž můžou postrádat relevantní informace nebo správnou perspektivu v oblasti bezpečnosti, ochrany soukromí a dodržování předpisů. To může podniky vystavit velkému riziku. Zaměstnanec by například mohl nevědomky vložit obchodní tajemství do veřejně přístupného modelu umělé inteligence, který se neustále trénuje na základě uživatelských vstupů, nebo použít materiál chráněný autorskými právy k trénování vlastního firemního modelu pro generování obsahu a vystavit svou společnost právnímu postihu.  

Jde o širší problém, který nesouvisí jen s pokročilými konverzačními modely umělé inteligence, jako je zmiňovaný ChatGPT, ale může se týkat i různých aplikací, například jazykových překladačů založených na umělé inteligenci. 

5 typů dat, které byste nikdy neměli sdílet s AI chatboty 

1. Citlivé firemní informace: Jakékoliv informace týkající se vaší společnosti mohou být zneužité. Hrozí i únik informací, který může mít vážné následky.

2. Tvůrčí díla a duševní vlastnictví: Původní obsah, včetně textů, by neměl být sdílen s chatboty, aby nedošlo k nežádoucímu využití nebo porušení autorských práv.

3. Finanční informace: Citlivé finanční údaje, jako jsou bankovní účty či čísla kreditních karet, by neměly být sdíleny s AI chatboty kvůli riziku zneužití.

4. Osobní údaje: Vaše osobní informace, jako jméno, adresa a telefonní číslo, by měly zůstat soukromé, aby nedošlo ke zneužití identity nebo podvodům.

5. Uživatelská jména a hesla: Hesla a přihlašovací údaje by neměly být sdíleny s chatboty, aby nedošlo k ohrožení vaší online bezpečnosti.

Jak správně nastavit využívání AI ve firmě?

Kromě ostražitosti při sdílení dat je klíčové vytvořit jasná pravidla a směrnice pro práci s AI nástroji v organizaci a dodržování těchto interních pravidel vyžadovat.

Také je důležité ověřit, jak s daty pracuje poskytovatel nástroje. Zjistit, zda a jak poskytovatel ukládá a využívá vaše vstupní data. A pokud to nástroje umožňují, zakažte učení na vašich datech nebo využívejte izolované instance, které nikam neposílají vaše data. Zdaleka nejbezpečnější metodou pro použití generativní umělé inteligence je provozovat soukromé modely na vlastní infrastruktuře. 

A v neposlední řadě je nezbytnou součástí interní strategie i vzdělávání a školení zaměstnanců. Zajistěte pravidelná školení týkající se digitální gramotnosti, potenciálních rizik a etiky při používání AI.  

Co si z článku odnést?  

• Modely generativní umělé inteligence trpí řadou zranitelností, které lze zneužít prostřednictvím tzv. prompt hackingu.
• Prompt hacking tyto mezery využívá zejména u jazykových modelů, kdy se snaží prostřednictvím klamavých vstupních požadavků (promptů) z modelu získat citlivé informace, které do něho někdo neprozřetelně zadal.
• Únik citlivých dat prostřednictvím chatbotů není jen teoretický, v praxi zasáhl například společnost Samsung Electronics, která kvůli němu zakázala zaměstnancům ChatGPT používat.
• Zaměstnanci by proto měli být v rámci kyberbezpečnostních školení poučeni o tom, které informace by neměli sdílet s nástroji jako ChatGPT a dalšími podobnými platformami. 

Petra Javornická
Marketingový specialista pro B2B