TFL Vsebine / TFLGlasnik

Evropska Komisija je 21. aprila 2021 predstavila predlog uredbe, ki postavlja harmonizirana pravila o umetni inteligenci (v nadaljevanju: predlog Uredbe UI),[1] ki je kljub temu, da ne gre za končno verzijo zakonodajnega besedila, ponudil prvi konkretnejši vpogled v prihodnost regulacije umetne inteligence v EU. Predlog Uredbe UI sledi ciljem, ki jih je leta 2020 začrtala Komisija v Beli knjigi o umetni inteligenci[2] in so utemeljeni na načelih, ki jih je izoblikovala Strokovna skupina na visoki ravni o umetni inteligenci, predvsem načelih človeškega nadzora, tehnične robustnosti in varnosti, spoštovanju načel varstva osebnih podatkov, transparentnosti, pravičnosti in nediskriminatornosti ter doslednem uveljavljanju odgovornosti.[3]

Predlog Uredbe UI je s 85 členi, razvrščenimi v 12 poglavij, ki jih spremlja 89 obsežnih uvodnih opomb in kar 9 dodatkov, zelo zahtevno in kompleksno pravno besedilo, ki v marsičem spominja na zakonodajo s področja varstva osebnih podatkov. Kombinira različne pristope k regulaciji sistemov umetne inteligence glede na stopnjo tveganja, ki jo predstavlja njihova uporaba: medtem ko nekatere najbolj sporne oblike uporabe v celoti prepoveduje, glede preostalih, še vedno visoko tveganih UI sistemov, zavzema pristop certificiranja, registracije in kontinuiranega nadzora, pri uporabi sistemov umetne inteligence z najnižjo stopnjo tveganja pa zahteva le uveljavitev minimalnih standardov glede preglednosti. Uporaba Uredbe UI tako kot uporaba Splošne uredbe ne bo omejena na teritorij EU, predvideni so mehanizmi za spremljanje skladnosti, obvezno bo prijavljaje dogodkov z negativnimi posledicami za temeljne pravice, predvidena je ustanovitev posebnega organa (Evropski odbor za umetno inteligenco), uvaja pa tudi kazni, ki smo jih vajeni s področja varstva osebnih podatkov. A če Splošna uredba posameznika postavlja v središče in mu priznava pomembno aktivno vlogo, je v predlogu Uredbe UI ravno nasprotno popolnoma prezrt in pravzaprav razen tega, da je v določenih primerih seznanjen z uporabo tovrstnih sistemov, nima nikakršne možnosti, da bi zahteval odpravo morebitnih kršitev pravic, ki so nastale kot posledica neskladnosti z Uredbo.

V nadaljevanju so predstavljeni nekateri pomembnejši vidiki predstavljenega predloga Uredbe UI, predvsem njeno področje uporabe, temeljni pojmi in kategorije sistemov umetne inteligence, ki jih uvaja, ter zakonodajne rešitve, ki se zanje uporabljajo. Predlog Uredbe UI bom mestoma primerjala z neuradnim besedilom Uredbe UI,[4] ki se je v javnosti pojavilo teden dni pred uradnim predlogom, saj so med njima pomembne razlike, ki razkrivajo razvoj zakonodajnega predloga in lahko pokažejo, glede katerih določb se še utegne spremeniti.

1. Definicija umetne inteligence

EU se je pri pripravi zakonodajnega predloga spopadala s številnimi preprekami na poti do oblikovanja učinkovite regulacije tehnologije, ki doživlja v zadnjih letih bliskovit razcvet. Med njimi je bila morda celo najtežje premostljiva ovira zamejitev pojma umetne inteligence, saj kljub številnim poskusom univerzalne definicije tega pojma še ne poznamo. Za potrebe Uredbe UI je sistem umetne inteligence (sistem UI) v definiran kot »programska oprema, ki je razvita z uporabo enega ali več pristopov in tehnik, naštetih v Prilogi I, in lahko generira rezultate za določen nabor ciljev, ki jih določi človek, kot so vsebina, napovedi, priporočila ali odločitve, ki vplivajo na okolja, s katerimi so v interakciji«[5].[6] Definicija poskuša ujeti občutljivo ravnotežje med pravno varnostjo na eni strani in fleksibilnostjo, ki jo zahteva hiter napredek tehnologije, zaradi katerega bi lahko regulatorni okvir postal okoren in zastarel, na drugi. Izrecno se sklicuje na nabor tehnik, na primer nadzorovano in nenadzorovano strojno učenje, vključno z globokim učenjem, ki so navedene ločeno v Prilogi I, in se bodo spreminjale skupaj s potrebami razvoja tehnologije. Poleg definicije sistema umetne inteligence Uredba uvaja še celo vrsto drugih pojmov, ki so definirani v 3. členu, nekateri med njimi pa tudi v drugi relevantni zakonodaji EU, zato je uredba že z vidika terminologije izredno zapletena. V prvih odzivih strokovne javnosti na predlog Uredbe UI je bila opredelitev sistemov umetne inteligence deležna ostrih kritik, ker ob ekstenzivni razlagi tehnik, opredeljenih v Prilogi I, ne zaobjame samo tehnologije, ki jo običajno razumemo pod pojmom umetna inteligenca, temveč prav vse računalniške sisteme. Podobnim očitkom se niso izognile niti preostale definicije, saj so mnoge med njimi pomensko odprte in zato prinašajo več vprašanj kot odgovorov.[7]

Podobno kot regulacija na področju varstva osebnih podatkov na podlagi Splošne uredbe, bo imela Uredba UI – če bo sprejeta v trenutno predlagani obliki – učinke, ki bodo močno presegali ozemlje EU, saj se bo uporabljala za vse sisteme UI, ki bodo dani v promet ali v uporabo v EU, ne glede na to, ali je ponudnik ustanovljen v državi članici EU ali tretji državi, pa tudi za vse sisteme UI, rezultati katerih se bodo uporabljali v EU.[8] Iz področja uporabe Uredbe UI pa so izvzeti sistemi umetne inteligence, ki so namenjeni izključno vojaški rabi.[9]

2. Prepoved uporabe določenih UI sistemov

Prepoved uporabe bo uveljavljena glede sistemov umetne inteligence, ki predstavljajo najgloblji poseg v temeljne pravice posameznikov,[10] tj. so to sistemi, ki:

a) na nezavedni ravni vplivajo na vedenje in odločanje posameznikov, zaradi katerih sprejmejo odločitev, ki lahko povzroči fizično ali psihološko škodo (prepoved t. i. temnih vzorcev, angl. dark patterns);

b) izkoriščajo ranljivosti posameznikov, na primer njihovo starost ali duševno motnjo, z namenom spremembe njihovega vedenja;

c) se uporabljajo za družbeno ocenjevanje prebivalstva na podlagi dejanskih ali predvidenih lastnosti posameznikov s strani javnih organov (t. i. (angl.) social scoring, ki ga uporabljajo na Kitajskem), če lahko takšna ocena vodi do neenakega obravnavanja;

d) omogočajo identifikacijo posameznikov, ki se nahajajo v javno dostopnih prostorih, v realnem času, s primerjavo biometričnih podatkov na daljavo in se uporabljajo za preprečevanje, odkrivanje in preiskovanje kaznivih dejanj.[11]

Člen, ki ureja prepovedane rabe sistemov UI, je doživel v primerjavi z neuradnim besedilom predloga temeljito preobrazbo. Na eni strani so bile opuščene široko dopustne izjeme, ki jih je omogočala prejšnja ureditev. Neuradni predlog je namreč njihovo uporabo pod določenimi pogoji dopuščal, zato je bilo pravzaprav težko govoriti o popolni prepovedi.[12] Na drugi strani pa je iz uradnega besedila izpadla prepoved neosredotočenega masovnega nadzora. Utemeljitveni memorandum, ki spremlja Predlog Uredbe UI, razliko pojasnjuje z argumentom, da so tovrstne prakse že naslovljene v zakonodaji s področja varstva osebnih podatkov in potrošniškem pravu, ki posameznikom zagotavljata ustrezne mehanizme za uveljavljanje njihovih pravic,[13] vendar pa je to le ena izmed možnih razlag, ki pojasni nenadno spremembo. Komisijo bi lahko v to prepričali tudi veliko bolj sebični razlogi, saj v luči gradnje interoperabilnosti informacijskih sistemov na območju svobode, varnosti in pravice gotovo nima interesa, da bi preširoko zastavila prepoved masovnega nadzora v EU, saj bi s tem tvegala propad enega izmed svojih projektov za uresničenje »evropske digitalne trdnjave« (angl. European Digital Fortress).[14]

Zadnja sprememba obravnavanega člena se nanaša na regulacijo biometričnih sistemov za identifikacijo posameznikov v realnem času na daljavo v javno dostopnih prostorih[15] (angl. ‘real-time’ remote biometric identification systems in publicly accessible spaces), ki ji je neuradni predlog namenil posebno poglavje, sedaj pa je umeščena med najbolj tvegane in s tem v osnovi prepovedane sisteme UI. Uporaba sistemov UI, ki omogočajo ugotavljanje identitete posameznika na podlagi njegovih fizičnih ali vedenjskih značilnosti, na primer podobe (dela) obraza, prstnega odtisa ali načina hoje, se je v preteklih letih razbohotila tako v javnem kot tudi v zasebnem sektorju, uporablja pa se tudi v povsem osebne namene, na primer za odklep telefonov ali v igričarski industriji (npr. dodatek za igralno konzolo Xbox – Kinect). Vendar pa je za razliko od teh strogo zasebnih primerov uporabe, pri katerih so občutljivi osebni podatki shranjeni zgolj lokalno na napravi, uporaba teh sistemov za namene identifikacije zaradi obveznega nastanka velikih podatkovnih baz biometričnih podatkov povezana s številnimi tveganji, ki jih je EU prepoznala in zato njihovo uporabo podvrgla posebej strogemu režimu uporabe. Njihova uporaba torej ni v celoti prepovedana; države se bodo te možnosti lahko poslužile z namenom preprečevanja, odkrivanja in preiskovanja kaznivih dejanj ob upoštevanju načel nujnosti in sorazmernosti, vendar le v primeru, da jo bodo podrobneje uredile v nacionalni zakonodaji, vsakokratno uporabo sistema pa bo odobrilo sodišče ali upravni organ in bo časovno, geografsko in osebno omejena.[16]

3. Visoko tvegani sistemi UI – dovoljeni, a le pod določenimi pogoji

Sistemi umetne inteligence, ki ustvarjajo visoko stopnjo tveganja za nastanek škode, na primer poškodbe ali smrti, uničenja premoženja, vpliva na demokratične procese ali negativnega vpliva na temeljne pravice, se bodo lahko uporabljali, če bodo izpolnjeni vsi predpisani pogoji. Med visoko tvegane uvršča predlog Uredbe UI širok nabor sistemov umetne inteligence, na primer sisteme, ki opravljajo napovedno policijsko delo, sisteme, ki se uporabljajo v pravosodju kot pripomočki sodnika, sisteme, ki ocenjujejo kreditno sposobnost posameznikov ali odločajo o upravičenosti do socialnih pomoči, sisteme, ki odločajo o sprejemu na izobraževalne ustanove in v zaposlitvenih postopkih.[17] Ponudniki visoko tveganih sistemov umetne inteligence bodo morali – preden bo tak sistem na voljo uporabnikom v EU – opraviti postopek ugotavljanja skladnosti (angl. conformity assessment), v katerem bodo morali izkazati, da sistem izpolnjuje vse predpisane zahteve glede podatkov, zgradbe sistema in nadzora nad sistemom. Vendar pa bodo velik delež presoj skladnosti opravili – kar se lahko pokaže kot velika pomanjkljivost – kar sami ponudniki sistemov UI, pri presoji skladnosti preostalih UI sistemov pa je predvideno sodelovanje priglašenih organov (angl. notified bodies).

Posebej zahteve glede kakovosti podatkovnih zbirk, na katerih se sistemi umetne inteligence učijo, preverjajo in preizkušajo, so postavljene izredno visoko, ker morajo biti te ustrezne, reprezentativne, brez napak in popolne.[18] Po mnenju ustanoviteljice Inštituta AI Now (NYU), Kate Crawford, večina podatkovnih zbirk, ki se danes uporabljajo za učenje sistemov UI, zahtev glede kakovosti podatkovnih zbirk ne izpolnjuje.[19] Kljub temu, da se uradno besedilo Uredbe UI ne sklicuje več neposredno na prepoved pristranosti, kot jo je določalo neuradno besedilo,[20] pa je prepoved vseeno implicitno vsebovana v predpisanem standardu kakovosti. Odstranjevanje kakršnihkoli pristranosti je izredno težavna naloga, saj so zakoreninjene v celem spektru na prvi pogled nevtralnih podatkov in jih s samo izključitvijo tistih podatkov, ki razkrivajo občutljive okoliščine, na primer podatkov o rasi, spolu, političnem prepričanju ali spolni usmerjenosti, ni mogoče v celoti odpraviti. Zagotavljanje skladnosti s trenutno postavljenimi zahtevami glede kakovosti podatkovnih zbirk bi za ponudnike gotovo predstavljalo veliko breme, zato bo zanimivo primerjati, kako se bo ta določba spreminjala v teku zakonodajnega postopka pod težo pritiskov lobistov, nevladnih organizacij in strokovne javnosti.

Nadaljnja vprašanja se odpirajo glede zahteve po človeškemu nadzoru sistemov UI, ki je povezana tudi z zahtevo po transparentnem delovanju sistemov UI. Visoko tvegani sistemi UI naj bi bili razviti in zgrajeni tako, da bo omogočen nadzor človeka, ustrezni ukrepi za zagotavljanje nadzora pa naj bi bili – če je to le tehnično izvedljivo – vgrajeni v sam sistem UI. Predlog Uredbe UI tako zahteva, da je človek sposoben »povsem razumeti zmogljivosti in omejitve visoko tveganega sistema umetne inteligence in [biti sposoben] ustrezno spremljati njegovo delovanje, tako da je mogoče čim prej zaznati in odpraviti znake nepravilnosti, motenj in nepredvidenega delovanja«[21](op. a.). Določeni sistemi umetne inteligence nadzora sploh ne omogočajo ali pa ga omogočajo le v izredno omejenem obsegu, zato se zastavlja vprašanje, ali bomo te oblike UI, na primer globoke nevronske mreže, ki dosegajo zavidljive rezultate in so se že dokazale kot izredno perspektivno področje razvoja UI, de facto prepovedali. In kakšna bo v tem primeru prihodnost tehnološkega razvoja v EU, ki že sedaj močno zaostaja v primerjavi z deli sveta z ohlapnejšo regulacijo, na primer Kitajsko in ZDA?[22] Na drugi strani pa je zahteva, ki jo predlog Uredbe UI postavlja glede pristranosti avtomatizacije, povsem nejasna, predvsem pa je postavljena nerazumljivo nizko, saj predpisuje zgolj to, da se posameznik, ki izvaja nadzor nad tveganim UI sistemom, zaveda nevarnosti prekomernega zanašanja na njegove rezultate.[23]

4. Zahteve glede transparentnosti vseh UI sistemov

Osrednjo vlogo v evropskem regulatornem sistemu umetne inteligence bo v skladu s predlogom uživala transparentnost delovanja sistemov UI,[24] ki se bo glede visoko tveganih sistemov zagotavljala tudi z obveznim vpisom v centralno podatkovno zbirko,[25] ki jo bo vodila Komisija in bo javno dostopna. Ne glede na to, ali bo šlo za sisteme UI, ki so povezani z visokimi, nizkimi ali prav nikakršnimi tveganji, pa postavlja predlog Uredbe UI naslednje zahteve glede preglednosti:

a) uporabniki sistemov UI morajo biti obveščeni, da so v interakciji s takšnim sistemom, na primer da na njihova vprašanja namesto človeka odgovarja sistem UI, razen kadar je to očitno iz okoliščin in konteksta uporabe;

b) uporabniki sistemov UI, ki imajo zmožnost razpoznave posameznikovih čustev (angl. emotion recognition system) ali sistemov za kategorizacijo posameznikov na podlagi biometričnih podatkov (angl. categorisation system), morajo biti obveščeni, da s podvrženi tovrstnemu ocenjevanju ali kategoriziranju;

c) globoki ponaredki (angl. deep fakes), tj. slikovno, avdio in video gradivo, ki posnema vidno in slušno podobo resnične osebe, in jih razumna oseba ne more ločiti od resničnega gradiva, morajo biti označeni kot umetno ustvarjeni.[26]

5. Sklepno

Čeprav je predlog Uredbe UI obetal, da bo podal sliko prihodnje regulacije umetne inteligence v EU, je le delno izpolnil pričakovanja, saj ga pestijo številni nedorečeni pojmi in ohlapne zakonodajne rešitve. A to je vendarle le prvi predlog na samem začetku zakonodajnega procesa, ki ga bo gotovo spremljalo intenzivno lobiranje tehnoloških gigantov in drugih zainteresiranih akterjev na eni strani ter aktivno prizadevanje Evropskega parlamenta za dosledno spoštovanje temeljnih pravic in vrednot EU na drugi, zato bi lahko Uredba UI na koncu ugledala luč sveta v razmeroma spremenjeni podobi. Do njene uveljavitve je zato pred EU še dolga pot, ki bo v najboljšem primeru zaključena do konca leta 2023,[27] še bolj realistično pa jo lahko pričakujemo leto dni pozneje. Ob tem ne gre pozabiti, da tehnološke rešitve, ki temeljijo na umetni inteligenci, že danes v evropskem pravnem prostoru ne delujejo v regulatornem vakuumu, temveč so dolžne spoštovati regulatorni okvir s področja pravic potrošnikov, produktne odgovornosti in varstva osebnih podatkov ter v celoti spoštovati vse temeljne pravice, ki jih določa Listina EU.

---

[1] Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certUIn union legislative acts. Bruselj, 21. 4. 2021, COM(2021) 206 final.

[2] Bela knjiga o umetni inteligenci – evropski pristop k odličnosti in zaupanju. Bruselj, 19. 2. 2020, COM(2020) 65 končno.

[3] Sporočilo Komisije Evropskemu Parlamentu, Svetu, Evropskemu Ekonomsko-socialnemu Odboru In Odboru Regij. Krepitev zaupanja v umetno inteligenco, osredotočeno na človeka. Bruselj, 8. 4. 2019, COM(2019) 168 končno.

[4] Neuradno besedilo Uredbe o evropskem pristopu k umetni inteligenci. Dostopno na https://drive.google.com/file/d/1ZaBPsfor_aHKNeeyXxk9uJfTru747EOn/view (15. 4. 2021).

[5] Vsi prevodi v tem besedilu so delo avtorice.

[6] 3(1)(1) člen Predloga Uredbe UI.

[7] Najbolj kritični so do (neuradnega besedila) nove uredbe predstavniki nevladnih organizacij, ki so jo opisali celo kot klofuto človekovim pravicam, portal Techmonitor pa je zapisal, da je Uredba UI ambiciozna, a razočarajoče nejasna. Za več glej na primer Laurie Clarke: The EU’s leaked UI regulation is ambitious but disappointingly vague, v: Techmonitor, 15. april 2021, in James Vincent: The EU is considering a ban on AI for mass surveillance and social credit scores, v: The Verge, 14. april 2021.

[8] 2(1) člen predloga Uredbe UI.

[9] 2(3) člen predloga Uredbe UI.

[10] V neuradnem besedilu Uredbe je bila prepoved teh sistemov utemeljena z tem, da nasprotujejo vrednotem Unije ali kršijo temeljne pravice, ki jih varuje pravo Unije, vendar je uradno besedilo ne vsebuje.

[11] 5(1) člen predloga Uredbe UI.

[12] Za kritiko prepovedi nekaterih sistemov UI v neuradnem besedilu predloga Uredbe UI glej na primer pismo nevladne organizacije EDRi, ki so ga naslovili na predsednico Evropske Komisije Ursulo von der Leyen.

[13] Predlog Uredbe UI, str. 13.

[14] Aleš Završnik. Evropska digitalna trdnjava in veliki biometrični EU IT sistemi: Kriminologija meje, tehnologija in človekove pravice, v: Dve domovini, 49 (2019), str. 51–67.

[15] Predlog Uredbe UI za razliko od neuradnega besedila ureja zgolj biometrične sisteme, ki se uporabljajo za identifikacijo v realnem času. Iz dometa Uredbe so tako izpadli sistemi za primerjavo obrazov (angl. facial recognition), če se ne uporabijo hkrati ali neposredno po zajemu slike, med njimi tudi zloglasen sistem za primerjavo obrazov ameriškega zagonskega podjetja Clearview AI.

[16] 5(2), (3) in (4) člen Predloga Uredbe UI.

[17] Za celoten seznam visoko tveganih sistemov umetne inteligence glej Dodatek II.

[18] 10(3) člen Predloga Uredbe UI.

[19] Kate Crawford, na Twitterju, 21. april 2021.

[20] Neuradno besedilo Uredbe UI je zahtevalo, da se iz podatkov izključijo vse namerne ali nenamerne pristranosti, ki bi lahko imele diskriminatorne učinke, in z ustreznim upravljanjem s podatki zagotovi, da UI sistemi ne povzročijo škodljivih ali celo zgolj nepredvidenih rezultatov.

[21] 14(4)(a) Predloga Uredbe UI.

[22] Glede prihodnosti razvoja umetne inteligence zaradi uveljavitve pravil na področju varstva osebnih podatkov glej na primer Pika Šarf: Veliko podatkovje, podatkovna analitika in umetna inteligenca, v: Pravna praksa, (2018) 18, priloga, str. I–V.

[23] 14(4)(b) Predloga Uredbe UI.

[24] 13. člen Predloga Uredbe UI.

[25] 51. člen v zvezi s 60. členom Predloga Uredbe UI.

[26] 52. člen Predloga Uredbe UI.

[27] V skladu s končnimi določbami se bo Uredba začela uporabljati dve leti po začetku veljavnosti.