TFL Vsebine / TFLGlasnik

1. Uvod

Ob pojmu umetna inteligenca dandanes ne pomislimo več samo na znanstveno fantastiko in sisteme, kot je bil superračunalnik HAL 9000 v filmu 2001: Vesoljska odiseja. Največkrat si verjetno zamislimo avtonomna vozila, o katerih pravna literatura tudi upravičeno največ razglablja, saj ta vozila niso več utopična prihodnost, ampak precej resnična sedanjost. Avtonomna vozila, ki povečujejo varnost in pretok v prometu, so le eden od sistemov umetne inteligence, ki povečujejo učinkovitost in samozadostnost mnogih obstoječih aktivnosti. Masovna prirejenost proizvodov, narejenih po meri potrošnika, alarmni sistemi, ki omogočajo starejšim, da še naprej uživajo samostojno življenje, pametna tehnološka pomoč nebogljenim, droni in iskalni roboti, ki opravljajo misije v nevarnih okoliščinah, so le nekateri takšni primeri.¹ S pravilno uporabo novih tehnologij in specifično UI lahko svet postane varnejši, bolj pošten, produktivnejši in primernejši za spopadanje z boleznijo, revščino, kriminalom, diskriminacijo in drugimi oblikami nepravičnosti.² Hiter razvoj, strojno učenje in možnost neodvisnega sprejemanja odločitev takšnih sistemov zagotovo prinašajo nova tveganja in povečujejo že obstoječa. Tako se nam logično ob omembi takšnih sistemov hitro zastavi vprašanje, kakšne posledice bi nastale, če bi ti zatajili in povzročili škodo.

Prispevek obravnava nepogodbeno odškodninsko odgovornost za škodo, ki jo povzročijo sistemi umetne inteligence. V drugem poglavju je najprej ponazorjeno, katere značilnosti takšnih sistemov pomenijo izziv učinkoviti regulaciji področja odškodninske odgovornosti. V tretjem poglavju so predstavljeni sedanji režimi odškodninske odgovornosti, ki bi jih lahko uporabili v primeru, ko bi škodo povzročil sistem umetne inteligence, ter tudi njihove pomanjkljivosti in mogoče rešitve za prihodnje prilagoditve, ki se pojavljajo v stroki. Zadnje poglavje obrav- nava nadomestne možnosti odškodninske odgovornosti za primer škode, ki jo povzroči sistem umetne inteligence, pri čemer ne izhajajo nujno iz sedanjih režimov.

2. Značilnosti sistemov umetne inteligence

Umetna inteligenca je širok pojem, katerega natančna definicija krepko presega okvire tega prispevka. Za potrebe tega prispevka bodo sistemi umetne inteligence opredeljeni kot sistemi, ki so ustvarjeni umetno, a hkrati vsebujejo značilnosti, ki so lastne človeku. Sposobni so učenja na podlagi izkušenj, razumevanja, logičnega sklepanja in reševanja zapletenih problemov. Kot taki poskušajo posnemati človeško življenje. Takšne inteligentne entitete so sposobne komuniciranja, zavedanja okolice in ustvarjanja. Sposobne so si zastaviti cilj, izdelati načrt in slediti temu načrtu.³

Integracija sistemov umetne inteligence (UI) v družbo povečuje učinkovitost in samozadostnost mnogih obstoječih aktivnosti. Poseben izziv za pravno regulacijo, unikaten sistemom UI, pomenijo med drugim njihova kompleksnost, nepreglednost, možnost avtonomnega ravnanja, neodvisnega od človeka, in navsezadnje ranljivost za napade.⁴ Nekateri sistemi UI so tako kompleksni in večdimenzionalni, da je močno omejena njihova transparentnost.⁵ Človeški um preprosto ne more zaznavati vzorcev, ki jih za učenje in povezovanje podatkov uporabljajo takšni sofisticirani sistemi UI.⁶

Raznovrstnost sistemov UI in široko polje njihove uporabe pomenita izzive na več pravnih področjih. Če bi v pravnem redu Evropske unije škodo povzročilo avtonomno vozilo, bi glede na konkreten primer odškodninsko odgovornost za to škodo urejale različne direktive. Okvara strojne opreme na primer spada na področje Direktive 85/374 o odgovornosti za proizvode z napako (Direktiva 85/374),⁷ ki je bila v slovenski pravni red prenesena z Zakonom o varstvu potrošnikov (ZVPot),⁸ medtem ko so tveganja v zvezi z delovanjem voznika delno urejena z Direktivo 2009/103 o avtomobilskem zavarovanju (Direktiva 2009/103).⁹

Dovršeni sistemi UI se učijo iz podatkov, ki jih sami zaznajo in obdelajo, brez posredovanja človeka. Na podlagi teh podatkov se lahko samostojno modificirajo.¹⁰ Zato je pri sistemih UI tveganje, da se bo zgodila napaka, veliko. Če so že podatki, ki jih sistem prejme, napačni, potem rezultat zagotovo ne more biti dober. Vendar se morajo sistemi UI tudi v primeru, ko so prvotni podatki pravilni in je njihov program natančen, še vedno tudi pravilno učiti iz teh podatkov.¹¹

Velik izziv je tudi hiter razvoj sistemov UI, Moorov zakon namreč narekuje, da se moč računalnikov vsako leto podvoji.¹² Zato bi se morala regulacija, predvsem tehnična, stalno spreminjati, sistemi UI pa opremiti z algoritmi, ki bi omogočali zaznavanje takšnih sprememb. Zakonodajalec bi moral ob tem upoštevati tudi pravne in etične posledice ter učinke uporabe sistemov UI.¹³ Mogoče bi morali takšnemu pristopu dati prednost pred vzpostavitvijo enotne in celovite regulacije.¹⁴

Bistveno je, da se pravni okviri odškodninske odgovornosti na področju sistemov UI ustrezno prilagodijo, saj bo le tako mogoče čim bolj izkoristiti in zagotoviti prednosti, ki jih sistemi UI prinašajo.¹⁵

3. Uporaba sedanje regulacije in mogoče spremembe

Zaradi raznolikosti področij, na katerih se uporabljajo sistemi UI, odgovornost za škodo, ki jo povzročijo, ne spada le pod eno pravno področje. Zato se različni sistemi UI v veljavnih pravnih sistemih različno regulirajo. V primeru škode, ki jo povzroči androidni robot,¹⁶ bi lahko šlo za odgovornost, podobno odgovornosti za mladoletnika. Ko bi škodo povzročil električni hišni ljubljenček, ki bi imitiral psa, bi šlo morda za odgovornost za škodo, ki jo povzroči nevarna stvar.¹⁷ Različna regulacija seveda prinaša različen pravni položaj, v katerem se oškodovanec znajde. Tako je škoda, ki nastane zaradi sistemov UI, oškodovancem le delno povrnjena ali pa sploh ne prejmejo odškodnine.¹⁸ Pri avtomatiziranih vozilih se avtorji strinjajo, da mora biti odškodninska odgovornost oblikovana tako, da bo olajšano ugotavljanje, kdo odgovarja v primeru nesreče.19 Vseeno je to le eno od številnih področij, na katerih lahko škoda nastane.

Pri veljavnih pravilih nepogodbene odškodninske odgovornosti se tako postavljata temeljni vprašanji:

• kdo naj odgovarja za škodo, ki jo povzroči sistem UI, in
• kaj je podlaga za odškodninsko odgovornost v konkretnem primeru.

Pravo za zdaj ureja le primere, ko se vzrok za ravnanje sistema UI lahko poveže z določenim človeškim agentom²⁰ oziroma ko obstajajo akterji, ki lahko povzročijo neko kršitev.²¹ V literaturi so ti akterji opredeljeni kot proizvajalec, upravljavec, imetnik ali uporabnik.²² Vsi ti akterji bi lahko odgovarjali po načelu krivdne odgovornosti, nekaterim pa pravni sistemi po svetu predpisujejo tudi objektivno odgovornost.²³ Pojavljajo se tudi mnenja, da bi morali za škodo odgovarjati roboti sami, ki bi tako morali pridobiti pravno subjektiviteto in s tem tudi določene pravice ter obveznosti.²⁴

V nadaljevanju bo predstavljeno, kako se ob izzivih umetne inteligence izkažejo sedanji režimi nepogodbene odškodninske odgovornosti. Poglavje je osredotočeno na odgovornost proizvajalca in uporabnika ter na odgovornost za drugega. Nekateri avtorji nasprotujejo spreminjanju sedanjih režimov, razen ko gre za posodobitve potrebnih standardov skrbnega ravnanja.²⁵ V prispevek so vseeno vključeni tudi drugi predlogi za izboljšavo, ki se pojavljajo v literaturi. Priznanje pravne subjektivitete sistemom UI in drugi alternativni predlogi zunaj okvirov veljavne zakonodaje so predstavljeni v zadnjem poglavju tega prispevka.

3.1. Odgovornost proizvajalca

Glede na značilnosti veljavne ureditve nepogodbene odškodninske odgovornosti se morda zdi logično, da pri odgovornosti za škodo, ki jo povzročijo sistemi UI, najprej pomislimo na proizvajalca proizvoda, ki vsebuje takšen sistem. Pravni red Evropske unije nam z Direktivo 85/374 namreč primerno zagotavlja stabilen pravni režim za takšen tip odškodninske odgovornosti. Direktiva vzpostavlja sistem, ki prenaša tveganje na proizvajalca, zato pa uvaja objektivno odgovornost proizvajalca za škodo, ki jo povzroči izdelek z napako.²⁶ A položaj le ni tako preprost, kot se zdi na prvi pogled. Specifičnost sistemov UI namreč pomeni izziv številnim vidikom odgovornosti proizvajalca, kot jo trenutno poznamo.

a) Izzivi

V 2. členu Direktive 85/374 je proizvod definiran kot premičnina, tudi če je vstavljen v druge premičnine ali nepremičnine. Takšna definicija morda ne zadosti primerom, pri katerih je zaradi medsebojne interakcije med različnimi sistemi UI ostro ločevanje med njimi oteženo.

Po 6. členu Direktive se napaka ocenjuje na podlagi razumnih pričakovanj potrošnika ob upoštevanju vseh relevantnih okoliščin. Zaradi medsebojne povezanosti sistemov bi bilo morda napako težko identificirati. Pri pametnih sistemih UI se postavlja tudi vprašanje, ali lahko nepredvidljive odklone, ki nastanejo kot posledica učenja, sploh opredelimo kot napako proizvoda.²⁷

Napaka na proizvodu lahko nastane v različnih fazah proizvodnje. Zaradi vse pametnejših sistemov UI se napake večkrat pojavljajo pri konstrukciji proizvoda. Na drugi strani je za njihovo uporabo potrebno vse boljše predznanje, posledica česar je dolžnost proizvajalca, da uporabnika proizvoda ustrezno informira, saj tudi pomanjkljive informacije lahko povzročijo odgovornost proizvajalca.²⁸

Po 6. členu Direktive 85/374 je za določitev odgovornosti bistven trenutek, ko je proizvod dan v promet. Sofisticirani sistemi UI²⁹ so sprogramirani tako, da se po tem, ko pridejo na trg in se odzivajo na nove podatke iz okolja, samostojno modificirajo. Sistem UI namreč vključi obstoječe podatke v obstoječ analitični vzorec in revidira obstoječe kode ali razvije nove. Takšno delovanje ustvari potencial za nenamerno in nepredvidljivo povzročitev škode, pri čemer ob nakupu to še ni bila funkcija sistema UI, ne glede na to, kakšne kvalitete je takrat imel.³⁰ Ker se sistemi UI lahko ves čas učijo, je torej vprašljiv tudi trenutek, v katerem mora imeti proizvod napako, saj bi lahko trdili, da sistem v času, ko je bil postavljen na trg, še ni bil zaključen proizvod.³¹

Pomembno bo tudi, kdo v verigi izdelave nekega sistema UI bo štet za proizvajalca. Bo to dosledno proizvajalec sistema UI ali kdo drug, na primer programer?³² Vsekakor bo zaradi stalnega pridobivanja podatkov s strani sistema UI tradicionalna vloga proizvajalca spremenjena.³³

b) Mogoče dopolnitve sistema odgovornosti proizvajalca za napake

Problemi sedanjega sistema odškodninske odgovornosti proizvajalca za napako so torej številni. V nadaljevanju so predstavljene nekatere rešitve, s katerimi bi se ta konvencionalni sistem lahko modificiral in se morda uspešno prilagodil izzivom, ki jih sistemi UI pomenijo odškodninski odgovornosti. Prve se nanašajo na spremembe znotraj obstoječe objektivne odgovornosti proizvajalca, druge pa na uvedbo dodatne krivdne odgovornosti proizvajalca.

Kot omenjeno, trenutek, v katerem se presoja obstoj napake pri odgovornosti proizvajalca, ni vedno ustrezen. Proizvajalec bi bil lahko odgovoren tudi za napako, ki se pojavi po tem, ko gre proizvod že v promet, vsaj dokler ima še vedno nadzor nad posodabljanjem, nadgraditvijo ali tehnologijo sistema UI.³⁴ Kadar bi bila otežena identifikacija proizvajalca, bi se lahko vzpostavil sistem,³⁵ v katerem bi tožnik lahko tožil več proizvajalcev, tudi če ob tožbi še ne ve, kdo v proizvodni verigi je dejansko povzročil napako proizvoda.³⁶

Dodatna možnost bi bila uvedba dodatne krivdne odgovornosti proizvajalca, ki bi delovala takrat, ko zaradi specifičnih značilnosti sedanjega sistema objektivne odgovornosti za napake žrtve škodnega ravnanja ne bi prejele odškodnine. ³⁷ Druga možnost bi bila popolna nadomestitev objektivne odgovornosti s krivdno, kar bi razbremenilo proizvajalce sistemov UI, ki morda niso mogli predvideti ravnanja sistema UI zaradi njegove zmožnosti spreminjanja lastnih algoritmov.³⁸ Tip odgovornosti proizvajalca bi bil lahko na primer različen glede na vrsto napake. Proizvajalec bi bil lahko objektivno odgovoren za napake pri izdelavi, medtem ko bi v primeru napake pri konstrukciji proizvoda ali opustitvi ustrezne informacijske skrbnosti zanj veljala krivdna odgovornost.³⁹ V prihodnosti bodo nekateri sistemi UI verjetno presegali zmožnosti človeka. Ko bodo sistemi UI dokazano začeli dosegati višjo stopnjo varnosti, kot jo lahko zagotovi ravnanje človeka, bi lahko krivdno odgovornost (in s tem omilitev odgovornosti proizvajalca) predpisali za vse sisteme UI, ki bi naloge opravljali varneje, kot jih je zmožen opravljati človek.⁴⁰

Zunaj sistema objektivne odgovornosti za napake proizvoda bi lahko proizvajalec prav tako odgovarjal, če ne bi bil dovolj skrben (oziroma bi bil malomaren) pri oglaševanju ali spremljanju (angl. monitoring) proizvoda.⁴¹ Pri sofisticiranih sistemih UI, ki se sami učijo in spreminjajo svoje algoritme ter pri katerih je dejansko nemogoče dokazati, da je šlo za napako v proizvodu, bi lahko krivdo prevalili na proizvajalca že zato, ker s postavitvijo proizvoda na trg ni ravnal dovolj skrbno.⁴²

Skrajnejši predlog spremembe je vzpostavitev objektivne odgovornosti proizvajalca ves čas, ko bi se sistem UI uporabljal. V takem primeru bi se proizvajalci ustrezno zavarovali in stroški zavarovanja bi bili vidni pri ceni proizvoda.⁴³

3.2. Odgovornost uporabnika

Odgovornost za škodo, ki jo povzroči sistem UI, bi lahko prevzel tudi uporabnik. Za potrebe tega članka se za uporabnika štejeta tudi imetnik in upravljavec sistema UI, saj se pojmi v praksi prepletajo. Zgodovinsko gledano v Evropi na področju odškodninske odgovornosti prevladujejo režimi krivdne odgovornosti, medtem ko se objektivna odgovornost pojavi redkeje in kot izjema.⁴⁴

a) Krivdna odgovornost uporabnika

Krivdna odgovornost uporabnika temelji na krivdi posameznika v obliki naklepa ali malomarnosti. Malomarnost pomeni opustitev skrbnosti. Kadar je škoda s strani sistema UI povzročena naklepno, je vprašanje razmeroma preprosto. Kadar bi uporabnik namerno zlorabil sofisticiran sistem UI s tem, ko bi denimo namenoma podal napačne podatke in bi sistem tem podatkom sledil, zaradi česar bi sistem UI zato povzročil škodo, bi uporabnik nedvomno krivdno odgovarjal na podlagi naklepa.⁴⁵ Drugačna situacija pa bi bila, ko sistem UI ne bi deloval v skladu z namenom uporabnika. Uporabnik bi v takem primeru lahko odgovarjal zaradi malomarnosti, če ne bi zadostil določenemu standardu skrbnosti.⁴⁶

Prednost krivdne odgovornosti uporabnika sistema UI, v kateri bi verjetno prevladovala odgovornost na podlagi malomarnosti, bi bila, da bi se interpretacija potrebnih standardov skrbnosti lahko razvijala skupaj z razvojem sistemov UI.⁴⁷ Ti standardi bi se lahko navezovali predvsem na ustrezno upravljanje in nadziranje sistema. Ker pa so sistemi UI posebni ravno zaradi svoje avtonomije, bi bila obveznost skrbnega nadzora smiselna samo, kadar bi uporabnik zaznal, da sistem ne more delovati avtonomno.⁴⁸ Po drugi strani bi ravno raznolikost sistemov UI močno otežila delo sodnikov, ki bi morali vsakič znova vzpostavljati specifično dolžnost ravnanja. To bi vodilo v negotovost in pomanjkanje pravne varnosti.⁴⁹

Poseben izziv pomeni tudi dokazovanje krivde. Tehnologija sistemov UI je razmeroma nova, splošen model funkcioniranja teh tehnologij še ne obstaja, obenem pa se sofisticiran sistem UI lahko uči novih stvari brez neposrednega nadzora človeka.⁵⁰ Bolj kompleksen ko je sistem, težje je predložiti dokaze za krivdo v dolgi verigi programskih kod in algoritmov, ki so povzročili ravnanje sistema.⁵¹ Oteženo bi bilo tudi dokazovanje vzročne zveze, saj velikokrat nastanka škode ni mogoče predvideti in zato malomarnost ni podana.⁵²

Da bi sistem krivdne odgovornosti uporabnika deloval, so torej potrebne spremembe sedanjega pravnega reda. Predvsem so potrebni novi standardi skrbnosti, ki bi jih morali upoštevati uporabniki sistemov UI. Upoštevati bi bilo treba pravilno izbiro (glede na naloge in veščine sistema UI), nadzorovanje in vzdrževanje sistema.⁵³ Vsekakor bi bilo težavno vzpostaviti standard skrbnosti pri nadziranju oziroma spremljanju sistema UI, saj človeške kognitivne sposobnosti niso enake sposobnostim UI. Strojno učenje namreč temelji na prepoznavanju vzorcev, ki jih človeški um ne zazna. Večina uporabnikov nima zadostnega znanja, da bi uspešno nadzorovali delovanje sistema UI. Koherenten sistem zahtevanih standardov skrbnosti, ki bi jim moral uporabnik sistema UI zadostiti, bi se lahko vzpostavil šele s podrobno analizo veliko škodnih dogodkov.⁵⁴

Uporabnik bi lahko odgovarjal za malomarnost tudi, če bi sistem UI, ki se od njega uči, »nahranil« z napačnimi vzori. Uporabniki bi morali v takšnem primeru upoštevati obveznost skrbnega ravnanja v zvezi s predložitvijo podatkov, ki bi le izražala uporabnikovo lastno malomarno ravnanje, sistemom UI.⁵⁵

Dodaten vidik krivdne odgovornosti uporabnika sistema UI je odgovornost za »neuporabo« sistema UI. Ko bi se sistemi UI razvili do take stopnje, da bi bilo njihovo ravnanje varnejše od ravnanja človeka, bi bil uporabnik odgovoren tudi, če bi sistem lahko oziroma moral uporabiti, pa ga ni. Namesto da bi ugotavljali, kaj bi v določeni situaciji storila razumna oseba, bi lahko odgovornost uporabnika v takem primeru temeljila na vprašanju, ali bi se sistemu UI lahko zgodila ista nesreča. Če je odgovor negativen, potem bi bil uporabnik odškodninsko odgovoren na podlagi malomarnosti ravno zato, ker pri opravljanju svoje dejavnosti ni uporabil sistema UI.⁵⁶

b) Objektivna odgovornost uporabnika

Objektivna odškodninska odgovornost je odgovornost, ki ne temelji na krivdi uporabnika, temveč na vzročni zvezi med sistemom UI in škodo.⁵⁷ Objektivna odgovornost uporabnika je za oškodovanca ugodnejša, saj mora dokazati le, da se je tveganje, ki ga sistem predstavlja, uresničilo.⁵⁸

Objektivna odgovornost uporabnika bi lahko bila prava rešitev v primerih, ko sistem UI tipično lahko povzroči škodo in se uporablja v okoljih, ki niso zasebna. Odgovorna bi bila oseba, ki prevzame tveganje, povezano z upravljanjem sistema UI, in ki ima od uporabe korist oziroma dobiček. Če bi korist oziroma dobiček imelo več oseb, na primer t. i. back-end upravljavec⁵⁹ in uporabnik, naj bo za škodo odgovoren tisti, ki ima več nadzora nad tveganjem.⁶⁰ Ko pa sistemi UI niso izpostavljeni javnemu življenju (ker so na primer vgrajeni v stroje v tovarnah), objektivna odgovornost uporabnika ne bi bila primerna. Sploh če sistem pomeni grožnjo »samo« manjšemu krogu ljudi, ki so zavarovani drugače, kot na primer delavci z instituti delovnega prava.⁶¹ Tudi Evropska komisija meni, da bi se morala uporaba sistemov UI šteti za nevarno dejavnost, kadar:

• se uporablja v sektorju, v katerem je glede na značilnosti aktivnosti povečano tveganje (na primer v zdravstvu, transportu ali na področju energije), in
• je uporabljen tako, da obstaja povečano tveganje (kadar bi bil sistem UI recimo uporabljen le pri postavljanju urnika v zdravstvu, se ne bi štel za dejavnost s povečanim tveganjem).

V nekaterih posebej določenih primerih bi morala biti po mnenju Komisije uporaba sistemov UI vedno opredeljena kot dejavnost s povečanim tveganjem in posledično objektivno odgovornostjo uporabnika.⁶²

Sistemi objektivne odgovornosti posameznika v evropskih pravnih redih temeljijo na imetništvu nevarne stvari in koristi, ki jo ima stvar za posameznika. Nasprotniki objektivne odgovornosti uporabnika tako poudarjajo inherentno »nenevarnost« določenih sistemov UI.63 Problem je tudi dejstvo, da nekateri pravni redi režima objektivne odgovornosti ne poznajo. Tako bi utegnilo priti do težavnega razlikovanja med sistemi UI, pri katerih bi se sprožila objektivna odgovornost, in tistimi, pri katerih se ne bi. Ena takšnih lastnosti, ki bi lahko spro- žila objektivno odgovornost, je stopnja avtonomnosti sistema UI.⁶⁴

Sistemi UI so včasih samo del glavne stvari. Ali bi se v takem primeru objektivna odgovornost uporabnika še vedno nanašala na celotno stvar? Rešitev bi lahko bila v tem, da bi uporabnik prevzel samo tisto tveganje, ki ga pomeni sistem UI kot del celotne stvari. V takšni situaciji bi se lahko vzpostavila izpodbojna domneva, da je škoda, ki jo je povzročila celotna stvar, nastala zaradi nepravilnega delovanja sistema UI.⁶⁵ Tako bi moral uporabnik dokazati nasprotno.

Celoten članek je dostopen za naročnike!

Opombe:

1 Ethical Aspects of Cyber-physical Systems, 2016, Scientific Foresight study, European Parliamentary Research Service, str. 7.

2 Liability for Artificial Intelligence and other emerging digital technologies, Report from the Expert Group on Liability and New Technologies - New Technologies Formation, European Commision [v nadaljevanju Poročilo NTF (2019)], 2019, str. 11.

3 Jakšić, str. 2; Gioffredi, str. 441.

4 Poročilo NTF (2019), str. 32; Jakšić, str. 2; Swanson, str. 1209.

5 Nekateri strokovnjaki uporabljajo izraz »črna škatla« (angl. black box). Glej na primer Bathaee, str. 901.

6 Bathaee, str. 901.

7 UL L 210, 7. 8. 1985

8 Uradni list RS, št. 98/04 – uradno prečiščeno besedilo, in nasl. 114/06 – ZUE, 126/07, 86/09, 78/11, 38/14, 19/15, 55/17 – ZKolT in 31/18.

9 Weingerl, 4; UL L 263, 7. 10. 2009.

10 Gioffredi, str. 441.

11 Jakhel, str. 2; Gioffredi, str. 441.

12 Callier, Callier, str. 53.

13 Navas, str. 164; Civil Law Rules on Robotics European Parliament resolution of 16 February 2017 with recom- mendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), str. 2.

14 Giuffrida, str. 453.

15 Abbott, str. 44.

16 Androidi so roboti, ki so po videzu in obnašanju podobni ljudem.

17 Navas, str. 165.

18 Poročilo NTF (2019), str. 19.

19 Weingerl, str. 2, 3.

20 Jakšič, str. 3.

21 Janal, str. 176; Giuffrida, str. 445.

22 Jakšić, str. 3; Janal, str. 176; Giuffrida, str. 443

23 Janal, str. 176.

24 Navas, str. 166.

25 Swanson, str. 1209.

26 Weingerl, str. 4.

27 Poročilo NTF (2019), str. 28.

28 Navas, str. 168.

29 Swanson poudari »Reinforcement Learning AI«, to so programi, ki se po vklopu učijo sami in za delovanje katerih ni potrebno nadaljnje vnašanje podatkov.

30 Swanson, str. 1203.

31 Poročilo NTF (2019), str. 28.

32 Navas, str. 170.

33 Poročilo NTF (2019), str. 28.

34 Poročilo NTF (2019), str. 42.

35 Navas govori o t. i. Market Share Liability.

36 Navas, str. 169.

37 Poročilo NTF (2019), str. 53.

38 Abbott, str. 35.

39 Navas, str. 169.

40 Abbott, str. 41, 44.

41 Poročilo NTF (2019), str. 53.

42 Prav tam, str. 24.

43 Poročilo NTF (2019), str. 41.

44 Janal, str. 177.

45 Prav tam, str. 193.

46 Abbott, str. 12.

47 Janal, str. 193.

48 Prav tam, str. 193.

49 Prav tam, str. 199.

50 Poročilo NTF (2019), str. 23.

51 Prav tam, str. 24.

52 Jakšić, str. 3.

53 Poročilo NTF (2019), str. 44.

54 Prav tam, str. 23.

55 Janal, str. 193; Gioffredi, str. 442.

56 Abbott, str. 36, 37.

57 Prav tam, str. 13.

58 Poročilo NTF (2019), str. 21.

59 Janal, str. 176. Več o odgovornosti »back-end« upravljavca v zadnjem poglavju.

60 Poročilo NTF (2019), str. 39.