Pozitiva a nástrahy AI ve firemním prostředí

Barbora Nováková
16. 10. 2023

Pozitiva a nástrahy AI ve firemním prostředí

Velké jazykové modely jako ChatGPT, Bard a Bing Chat mohou být na první pohled fascinující nástroje. Ale jaký dopad může mít jejich nekontrolované používání ve firmách? A jak pomáhají hackerům k ještě sofistikovanějším útokům? Přinášíme vám detailní pohled na svět velkých jazykových modelů.

Umělá inteligence ovlivňuje naše životy už dlouho. Využívá se v mnoha oborech a sférách života, a to díky své schopnosti zpracovávat a analyzovat obrovské množství dat, předvídat výsledky a vykonávat automatizované úkoly. Zabraňuje spamům, aby se dostaly do našich mailových schránek, doporučuje nám obsah na YouTube nebo Netflixu, ale i předvídá nemoci nebo pomáhá řídit autonomní vozidla. V posledním půlroce ovšem titulní strany novin plní informace o velkých jazykových modelech, jako je ChatGPT, Bard nebo Bing Chat. Ty podle mnohých transformují lidskou společnost velice zásadním způsobem.

Nejpoužívanější jazykové modely
ChatGPT vyvinula společnost OpenAI. Chatbot upoutal pozornost svojí schopností poskytovat přirozeně znějící odpovědi na nejrůznější dotazy formou konverzace. Používá velký jazykový model, který byl natrénovaný na datech z velké části internetu, obsahující knihy, články a webové stránky, k procházení obrovských datových sad a generování odpovědí. Má rychle rostoucí uživatelskou základnu a v poslední variantě umí pracovat s obrázky, také je možné ho ovládat pomocí řeči. Placená verze ChatGPT Plus má nově přístup k internetu.
Bing Chat patří společnosti Microsoft a funguje podobně jako ChatGPT. Chatbot poskytuje citace na zdroje, ze kterých odpověď vygeneroval. Bing také umožňuje uživatelům vybrat si mezi různými styly konverzace.
Bard vyvinula společnost Google. Chatbot je postavený na odlišné technologii zvané PaLM 2 a kvůli tomu při generování odpovědi funguje jiným způsobem. Chatbot uživateli vygeneruje víc variant odpovědi. Nejnovější verze umožňuje vlastní fact checking pomocí vyhledávače a nově se umí napojit na váš Gmail, Disk nebo Dokumenty.

Velké jazykové modely jsou pokročilé nástroje umělé inteligence, které se učí z obrovského množství textových dat a jsou schopné generovat texty, které vypadají, jako by je napsal člověk. A to i v češtině - data na trénink těchto modelů obsahují v podstatě majoritu obsahu internetu, tedy i české texty. Přestože tyto texty znějí plynule, jsou gramaticky i stylisticky správné a věty srozumitelné, je důležité zdůraznit, že umělá inteligence nerozumí textu v pravém slova smyslu – vytváří odpovědi na základě statistických vzorců, které se naučila, nikoli na základě skutečného porozumění obsahu. Po prvním osahání a úžasu z jazykových modelů si může člověk položit otázku, jak by se umělá inteligence dala využít i v profesním životě?

AI v praxi: Zefektivnění práce, nebo bezpečnostní hrozba?

Používání jazykových modelů může firmám přinášet mnohá pozitiva. Může zlepšit produktivitu, automatizovat repetitivní úkoly, a tím šetřit čas zaměstnanců na jiné, komplexnější úkoly. Dále můžou velké jazykové modely podpořit kreativitu. Například díky schopnosti generovat kreativní a přesvědčivý obsah může být ChatGPT použit k vytváření nápadů na marketingové kampaně, příspěvky na sociální sítě nebo blogové články.

Při nadšené prácí s AI je ale potřeba mít na paměti i potenciální nástrahy v použití ve firemním prostředí. Kromě toho, že se objevilo mnoho důkazů o tom, že výstupy generativní AI jsou plné nepřesností a zavádějících informací, by měly firmy pamatovat i na potenciální úniky dat. První velký zákaz používání umělé inteligence zavedla korejská firma Samsung. Ukázalo se, že jeden ze zaměstnanců při své komunikaci s umělou inteligencí využil interní data firmy a tím mohl způsobit jejich únik do rukou OpenAI. Využívání jazykových modelů postupně zakázaly firmy jako Amazon, Apple, Deutsche Bank a varoval před nimi dokonce i Google, který sám na jazykovém modelu pracuje.

Firma OpenAI na tyto obavy reagovala tím, že v ChatGPT vytvořila anonymní režim, ve kterém se uživatelem zadaná data nevyužívají k trénování jazykového modelu a po určité době se mažou. Podobně Microsoft spustil zpoplatněnou službu Bing Chat Enterprise, která zajišťuje, že žádná data, která si s modelem uživatel vymění, nebudou využita na doučování modelů samotných.

Umělá inteligence ve službách hackerů

Velké jazykové modely se kromě výše zmíněných účelů ale dají zneužít pro kyberkriminalitu. Phishingový e-mail vytvořený s pomocí AI může působit daleko důvěryhodněji než ty, co nám do spamu chodily před příchodem umělé inteligence. A to nejen kvůli tomu, že neobsahují tolik gramatických a stylistických chyb, které jsou průvodní známkou, že jde o podvrh.

Server Hackernews popsal fungování jazykového modelu FraudGPT, který lze najít v hlubinách darkwebu. Za měsíční poplatek 200 amerických dolarů bot slibuje možnost vytvořit spear phishingový e-mail, crackingové nástroje nebo pomoc s cardingem (obchodování s kreditními kartami a jejich neoprávněné používání). A s největší pravděpodobností nejde o podvrh, kterých je jinak darkweb plný. Služba FraudGPT má na stránkách přes 3000 recenzí.

Magazín Security World poukázal na fakt, že umělá inteligence útočníkům také může pomoci s hledáním důležitých informací v otevřených zdrojích. Pokud chce útočník vědět, jaké technologie nějaká společnost používá, může ručně hledat souvislosti v pracovních nabídkách nebo životopisech bývalých zaměstnanců. Závěry této rešerše pak může využít pro vytvoření přesvědčivého podvrženého e-mailu.

Zmíněný postup je běžný již dnes, ale s pomocí nástrojů umělé inteligence může být tento proces efektivnější a návnady ještě přesvědčivější. Nehledě na to, že se dá předpokládat, že možnost automatizace tvorby phishingových e-mailů povede k tomu, že se nebudou útočníci omezovat jen na vybrané, vysoce hodnotné cíle, ale budou působit ve větším měřítku. To, že se do této fáze dostáváme již dnes, dokazují i poslední data, která uvádí, že počet phishingových útoků se od začátku roku zněkolikanásobil. Takto vygenerovaný phishingový e-mail obdržel letos i zakladatel Seznamu Ivo Lukačovič. Útočník po něm chtěl výkupné 1,6 bitcoinu a následně Lukačovičovi vyhrožoval tím, že pokud nezaplatí, spáchá teroristický útok. Této kauze se věnoval i náš podcast Místo kyberčinu.

Hacktivisté ukradli obří databázi ze seznamky pro zadané a dva malwary, které řádí na telefonech s Androidem

Zobrazit podcast

Ochrana dat v éře generativní umělé inteligence

Velké jazykové modely, jako je ChatGPT, mění způsoby, jakými pracujeme, komunikujeme a tvoříme. Ačkoliv nabízejí obrovský potenciál pro zlepšení produktivity a kreativity, přináší také řadu výzev a potenciálních rizik – od nepřesností a chybných informací až po možné úniky dat a zneužití pro kyberkriminalitu.

O2 Security report za první pololetí 2023

Zobrazit článek

Ve firemním prostředí představuje generativní umělá inteligence jak průlomový nástroj, tak potenciální riziko. Aby podniky chránily svou reputaci a citlivá data, je klíčové začlenit do interních bezpečnostních politik mechanismy pro autentizaci a sledování generovaného obsahu.

5 tipů pro práci s generativní umělou inteligencí ve firemním prostředí
1. Buďte ostražití při sdílení dat
Neposkytujte interní, citlivá či zákonem chráněná data (např. podléhající GDPR).
Mějte na paměti, že data mohou být využita k vylepšení modelu a teoreticky se mohou objevit v odpovědích pro jiné uživatele.
2. Dodržujte interní pravidla
Dodržujte interní pravidla pro nakládání s klasifikovanými a citlivými informacemi.
Nikdy nesdílejte obchodní tajemství či neveřejné informace prostřednictvím veřejně dostupných nástrojů.
3. Ověřte, jak s daty pracuje poskytovatel nástroje
Zjistěte, zda a jak poskytovatel nástroje ukládá a využívá vaše vstupní data.
Pokud je možnost zakázat učení na vašich datech, využijte toho.
Pokud je to možné, využívejte izolovaných instancí, které nikam neposílají vaše data.
4. Ověřujte, co AI vygeneruje
Věnujte pozornost výstupům generativní umělé inteligence a ověřujte jejich pravdivost a relevanci. AI modely mohou generovat nepřesné či vymyšlené odpovědi.
5. Vzdělávání a školení zaměstnanců
Zajistěte pravidelná školení týkající se digitální gramotnosti a etiky při používání AI.
Vytvořte jasná pravidla a směrnice pro práci s AI nástroji v organizaci.

V O2 jsme k používání těchto nástrojů přistoupili otevřeně, ale zároveň konzervativně. Našim zaměstnancům umožňujeme práci se zmiňovanou izolovanou instancí jazykového modelu ChatGPT, který se neučí na datech, jež zadávají naši lidé. Zaměstnance také podporujeme v proškolování v této oblasti.

Razantnější cestu ukázala firma Samsung, která zakázala práci s ChatGPT a dalšími nástroji úplně. Pokud nechcete být takto striktní, mezi nejdůležitější doporučení patří pravidelná školení zaměstnanců v oblasti digitální gramotnosti a etiky ve vztahu k používání umělé inteligence. Vytvořením firemní kultury, která klade důraz na etické a zodpovědné používání technologie, může firma minimalizovat rizika a maximalizovat výhody, jež generativní umělá inteligence nabízí.

Co si z článku odnést:

Velké jazykové modely mohou zvýšit produktivitu a kreativitu ve firmách, ale je důležité si uvědomit, že nerozumějí textu, který generují, a v odpovědi mohou obsahovat nepřesné nebo zavádějící informace. Pro práci s těmito modely je potřeba kritické myšlení a ověřování faktů.
Firmy by měly být ostražité kvůli možným únikům citlivých dat při používání velkých jazykových modelů, jak ukázal příklad firmy Samsung.
Kvůli přesvědčivým výstupům generativní umělé inteligence jsme vstoupili do období, kdy nedokážeme jednoduše poznat, zda jsou e-maily nebo fotografie, které nám někdo zaslal, vytvořené člověkem, nebo uměle. To nahrává i hackerům a kyberútočníkům.
K minimalizaci rizik a maximalizaci výhod je klíčové začlenit do firemních bezpečnostních politik pravidla pro autentizaci a sledování generovaného obsahu a pravidelně školit zaměstnance v oblasti digitální gramotnosti a etiky.