AI Act a rizika umělé inteligence

Projdeme si řízení rizik při využití systémů umělé inteligence. Řízení rizik je také stěžejním aspektem nové regulace, AI Actu, který je už doslova za rohem!

Kdy se dočkáme AI Actu?

AI Act byl 13. března přijat Evropským parlamentem, Rada Evropské unie jej následně schválila dne 21. května. Každým dnem čekáme jeho zveřejnění v úředním věstníku EU, čímž nabude platnosti. Dobře informované zdroje hovoří o tom, že k publikaci AI Actu pravděpodobně dojde 12. července tohoto roku.

Přímá účinnost AI Actu nastane za dva roky od jeho platnosti. Některé části a povinnosti však budou účinné dříve, např. článek 5 týkající se zakázaných systémů bude účinný již za 6 měsíců od platnosti, tedy na samém začátku roku 2025!

AI Act a řízení rizik

AI Act definuje tyto úrovně rizika pro dotčené osoby.

Nepřijatelné riziko

Jedná se například o systémy pro vytváření databází rozpoznávání obličejů, sociální scoring, systémy pro biometrickou identifikace v reálném čase ve veřejném prostoru či systém rozpoznávání chování v práci (jsou zde výjimky, např. rozpoznání únavy řidiče).

Tyto systémy jsou v EU zcela zakázány.

Vysoce rizikové systémy

Jedná se o systémy, které mohou mít nepříznivý dopad na bezpečnost fyzických osob. Mohou se vyskytovat jako součást bezpečnostního komponentu výrobku či jako samostatný výrobek. Oblasti pro využití systémů, které AI Act hodnotí jako vysoce rizikové, jsou kompletně uvedeny v příloze III tohoto předpisu. Jedná se například o oblast:

  • kritické infrastruktury, systémy umělé inteligence určené k použití jako bezpečnostní prvky při řízení a provozu kritické digitální infrastruktury, silniční dopravy nebo při dodávkách vody, plynu, tepla nebo elektřiny

  • vzdělávání, tedy systémy umělé inteligence určené k náboru, k analýze a filtrování žádostí o zaměstnání a k hodnocení uchazečů

  • oblast migrace, azylu, přeshraničních kontrol, např. systémy využívané veřejnými orgány ke kontrole hranic státu, k vyhodnocení bezpečnostních rizik migrace, nelegální migrace atd. 

Naproti tomu systémy pro odhalování podvodů při nabízení finančních služeb a pro obezřetnostní účely výpočtu kapitálových požadavků úvěrových institucí a pojišťoven NEJSOU považovány za vysoce rizikové podle tohoto předpisu.

Rizikovost systému s umělou inteligencí je vždy je nutné posuzovat v kombinaci s přílohou III AI Actu. Klasifikace rizik vychází z účelu, ke kterému je systém určen, v souladu se stávajícími právními předpisy EU o bezpečnosti výrobků.

Články 8 až 15 AI Actu se následně věnují požadavkům na tyto vysoce rizikové systémy AI. Jedná se např. o nastavení systému řízení rizik, správy dat, či technická dokumentace prokazující, že má vysoce rizikový systém AI vlastnosti požadované nařízením, požadavky na transparentnost

Články 16 až 27 AI Actu upravují další povinnosti pro poskytovatele, provozovatele a další zapojené subjekty v případě vysoce rizikových systémů. Jedná se například o zavedení systému řízení kvality, prohlášení shody, tzv. Conformity Assessment ve vazbě na článek 47 AI Actu, vyhodnocení dopadů na základní lidská práva, nebo požadavky na uchování dokumentace podle čl. 18 AI Actu. 

Omezené riziko

Omezené neboli transparentní riziko se týká AI systémů, které vytvářejí zvukový, obrazový nebo video obsah, který se podobá realitě, ale realitou není. Typicky se jedná o riziko manipulace AI s osobou, např. prostřednictvím chatbotů.

Jaké povinnosti na využití takovýchto systému formuluje AI Act? 

  • Uživatelé si musí být vědomi, že komunikují se strojem.

  • Informace o použité AI a právech uživatelů, které jsou vymezeny v čl.  50 AI Actu, je nutné dotčeným fyzickým osobám poskytnout jasným a zřetelným způsobem nejpozději v okamžiku první interakce nebo expozice vůči AI. I z této povinnosti existují výjimky, např. v zákonem daných případech za účelem odhalování, prevence, vyšetřování nebo stíhání trestných činů. Rovněž u uměleckých děl postačí zajistit transparentnost v rozsahu, který nenaruší samotné dílo. 

Minimální riziko

Do této kategorie spadají všechny ostatní systémy umělé inteligence. Patří sem většina systémů a nástrojů, které jsou dnes v EU používány.

Tyto systémy lze uvádět na trh a používat v souladu se stávajícími právními předpisy bez dodatečných povinnostíOstatní právní předpisy však musí být plněny, např. povinnosti pro automatizované individuální rozhodování dle čl. 22 GDPR, pravidla pro ochranu spotřebitele atd.

Využití vysoce rizikových AI systémů prakticky

Když už známe základní dělení rizikovosti systémů AI, přesuneme se na vybrané povinnosti u vysoce rizikových systémů.

Před uvedením vysoce rizikového systému AI (nebo při jeho změně) musí poskytovatel systému AI, což je ten, který AI vyvíjí a hodlá pod svým jménem uvést na trhu EU, provést posouzení shody dle článku 47 AI Act, tzv. Conformity Assessment. Dokument o posouzení shody musí obsahovat: 

  • Název a typ systému AI a jakýkoli další jednoznačný odkaz umožňující identifikaci a sledovatelnost systému.

  • Název a adresu poskytovatele.

  • Deklaraci, že prohlášení je vydáno na výhradní odpovědnost poskytovatele.

  • Prohlášení, že systém AI je ve shodě s regulací, tzn. s AI Actem.

  • Pokud systém AI zahrnuje zpracování osobních údajů, prohlášení, že tento systém je v souladu s GDPR.

  • Odkazy na všechny použité normy, např. ISO standardy

  • Místo a datum vydání prohlášení, jméno a funkce osoby, která prohlášení podepsala. 

Další požadavky na vysoce rizikové systémy naleznete v plném znění článku na gdpr.cz spolu s hodnocením dopadu AI na lidská práva. 


Chcete získat dárek k narozeninám?