TFL Vsebine / TFLGlasnik

1. Uvod

S hitrim napredkom umetne inteligence (UI) in zlasti njeno vse večjo avtonomijo se pojavlja tudi naraščajoča potreba po normiranju tega področja. Teorija se z vprašanjem primerne ureditve ukvarja že več let ter ponuja raznolike poglede in predloge. Strokovnjaki si niso enotni glede vprašanja, kateri je pravi trenutek za pravno obravnavo nastajajočih problemov. Nekateri trdijo, da je zaradi hitrosti razvoja skrajni čas za pripravo pravnega terena, zato da se izognemo nezaželenim posledicam, spet drugi pa, da so ideje o ustvarjanju novih konceptov preuranjene in nepotrebne. Posledično je prisotnih vedno več pozivov zagovornikov, naslovljenih na nacionalne in nadnacionalne pravotvorce, za ureditev temeljnih vprašanj, med drugim tudi odškodninske odgovornosti za sisteme UI. V letu 2017 se je na pozive s sporočilom prvič odzvala Evropska unija, ki je do danes izdala več usmeritev in priporočil tudi na civilnopravnem področju, ter s tem nakazala nujnost prepoznave potencialnih težav in mogoče rešitve.

V teoriji se – poleg dilem glede pravnega normiranja navedenega področja – mnenja krešejo tudi glede primernosti podelitve subjektivitete sistemom UI, kar bi lahko imelo nekatere prednosti zlasti v odškodninskem pravu. Ta bi v mnogih pogledih lahko rešila dileme, po- vezane s trenutno ureditvijo, a ji mnogi nasprotujejo, sklicujoč se na zadovoljivost uporabe uveljavljenih konceptov civilnega prava.

2. Umetna inteligenca in pravo

UI je v pravu za zdaj še tujek brez jasnega mesta v celotnem sistemu. Vzrok je dejstvo, da se doba UI šele začenja. Pravna pravila so odziv na probleme realnosti in glede na izkušnje se ta oblikujejo za tem, ko se pokaže splošna potreba po regulaciji, najpogosteje zaradi zlorab ali nesreč. To, kar se dogaja zdaj, je zametek neizogibne tehnološke revolucije. V tem duhu nekateri vodilni akterji s področja UI apelirajo na nacionalne in nadnacionalne normodajalce, da to področje zaradi preventivnih razlogov uredijo še pred njegovo dokončno in polnovredno uveljavitvijo.¹ Zadnji so glede tovrstnih pritiskov sorazmerno zadržani ravno zaradi tega, ker ni jasno, kaj točno lahko pričakujemo. Argument teorije je tudi, da ne moremo regulirati nečesa, kar trenutno še ni del našega vsakdana.²

2.1. Definicija

Uradne in splošno sprejete definicije »umetne inteligence« do danes še ni. Obstaja več poskusov opredelitve, katerih osrednja točka so sposobnosti takšnih sistemov. Enotna predstava je, da sisteme UI odlikujejo kognitivne sposobnosti, ki posnemajo tiste, lastne človeku, s poudarkom na učenju in reševanju problemov. Ena od prvih preglednejših opredelitev je iz leta 1995.³ Avtorja v njej ilustrativno povzameta najpogostejše pristope k definiranju in jih razdelita v štiri skupine: (1) sistemi, ki razmišljajo kot ljudje, (2) sistemi, ki ravnajo kot ljudje, (3) sistemi, ki razmišljajo racionalno, in (4) sistemi, ki ravnajo racionalno. Ena od mogočih delitev oblik UI je delitev na šibko (ang. weak AI) in krepko (tudi pravo, ang. strong AI) UI. Šibka UI je oblika, ki se običajno pojavlja v našem vsakdanu. Njeni predstavniki so razni pametni asistenti, kot sta Applova Siri in Amazonova Alexa, ter preprostejši računalniški programi. Tem programom je skupno, da z okolico komunicirajo na podlagi algoritmov, ki predvidijo ukaz in nanj predhodno pripravijo odziv. Na dražljaje iz okolja se odzivajo po s strani programerja predvideni shemi, ne pa po lastni presoji. Krepka UI je nasprotno sposobna generirati nepredvidljive odzive na podlagi lastne presoje po vzoru ljudi. Ta je trenutno še na konceptualni ravni in v svoji popolnosti ne obstaja, vendar strokovnjaki ocenjujejo, da bi v prihajajočih desetletjih lahko postala del realnosti.

Pristop Slovenije do definiranja UI je pojasnjen v Nacionalnem programu spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025 (Nacionalni program). V njem je zavzeto stališče, da je potrebna čim širša in splošnejša definicija, ki bo mednarodno poenotena in ki jo bo pozneje po potrebi mogoče prilagoditi. V skladu s tem stališčem sledi definiciji, ki jo je pripravila OECD, saj naj bi bila ta edina dovolj široka in tehnično dosledna ter tudi vse bolj mednarodno sprejeta.⁴ Definicija je naslednja: »Sistem UI je sistem, ki te- melji na strojih (ang. machine based), ki lahko za dani niz ciljev, opredeljenih s strani človeka, pripravi napovedi, priporočila ali odločitve, ki vplivajo na realno ali virtualno okolje. To stori z uporabo vložkov (vhodnih podatkov) naprav in/ali človeka za: i) zaznavanje in/ali analizo realnega in/ali virtualnega okolja; ii) ročno ali samodejno abstrahiranje teh zaznav/analize v modele; in iii) uporabo modelov za oblikovanje variant rezultatov. Sistemi UI so zasnovani tako, da delujejo z različnimi stopnjami avtonomije.«⁵ (Nacionalni program 2020: 13). Kot splošna definicija je ta primerna, vendar se za potrebe civilnega prava zdi ustreznejša bolj področno specifična in preprostejša opredelitev. Le tako se lahko ustrezno upoštevajo potrebe konkretne panoge in njena vsebina približa naslovljencem pravnih norm. Za potrebe tega prispevka kot sistem UI štejem tistega, ki mu UI omogoča sprejemanje podatkov iz okolja, njihovo obravnavo ter bolj ali manj avtonomen odziv nanje.

2.2. Prednosti in slabosti

UI je pomembno sredstvo tehnološkega razvoja, ki prinaša velik ekonomski in socialni napredek ter izrazito pozitivno vpliva na družbo kot celoto.⁶ Pričakovane prednosti so predvsem: učinkovitejše reševanje problemov, manj napak in nesreč (pod predpostavko ustreznega programiranja), transparentnost ukazov, predvidljivost, prevzem dejanskega tveganja, ki ga sicer prevzamejo ljudje, in prihranek časa. Ob tem se pojavljajo tudi določene slabosti, kot so na primer: nepredvidljivost in manjša možnost nadzora ob višji stopnji avtonomije, možnost manipulacije, netransparentnost (učinek črne škatle⁷), visoki stroški vzpostavitve, izpodrivanje ljudi pri zaposlovanju ter pomanjkanje kreativnosti in morale. Očitno je, da se nekatere lastnosti pojavljajo hkrati kot slabosti in prednosti, prav tako pa je mogoče številne od naštetih slabosti, kot so možnost manipulacije, nepredvidljivost, netransparentnost in ne nazadnje tudi pomanjkanje morale, pripisati tudi ljudem.

2.3. Aktualna pravna podlaga

Strokovne skupine in organi EU so do zdaj izdali več nezavezujočih priporočil, mnenj, smernic in poročil, kot denimo Pravila civilnega prava o robotiki,⁸ Belo knjigo o umetni inteligenci⁹ ter študijo Umetna inteligenca in civilna odgovornost.¹⁰ Na ravni EU obstaja tudi Deklaracija o sodelovanju na področju UI,¹¹ katere podpisnica je poleg 25 drugih držav tudi Slovenija. Na nacionalnih ravneh posamezne države izdajajo splošne strategije in načrte na tem področju. Slovenija se je priprave nacionalne strategije lotila v letu 2020.¹²

Konkretna vprašanja odškodninske odgovornosti države članice trenutno rešujejo z že ustaljenimi pravnimi mehanizmi, a z nastajajočimi tehnologijami in tveganji, ki jih te prinašajo, nastajajo pravne praznine. Težave je mogoče zaznati pri ugotavljanju pripisljivosti posledic ravnanja, pri katerem je udeležen sistem UI, kar povečuje stroške postopka in s tem oškodovancem dejansko otežuje dostop do sodnega varstva. Strokovna skupina Evropske komisije poudarja, da ni dopustno, da je oškodovanec na slabšem samo zato, ker škoda izhaja iz ravnanja sistema UI, in ne človeka.¹³

2.4. Potreba po regulaciji

Ob upoštevanju prednosti in slabosti UI se postavlja vprašanje smiselnosti njene vključitve v naš vsakdan in posledične prilagoditve oziroma reforme pravnih okvirov. Mnenje, da lahko UI na številnih področjih prinese znaten napredek in jo moramo zato pozdraviti z odprtimi rokami, je večinsko sprejeto. Eden osrednjih ciljev EU za prihodnje desetletje je digitalizacija in uporaba UI je njeno temeljno gibalo. Tudi Slovenija UI prepoznava kot tehnologijo, ki je med ključnimi dejavniki gospodarske rasti in razvoja.¹⁴ Pravo mora poiskati ravnovesje med spodbujanjem inovacij in zagotovitvijo ustrezne zaščite ter tudi nadzorom nad UI in uživanjem njenih ekonomskih prednosti. Izčrpna regulacija tega področja je zato nujna zaradi več razlogov. Primarno zaradi potrebe po zaščiti uporabnikov v sklopu odškodninske odgovornosti (glej poglavje 3.3). Jasna pravila o odškodninski odgovornosti pa ne sledijo le interesu oškodovancev, temveč tudi potencialnih odgovornih za nastalo škodo, saj ustvarjajo temu primerno večjo ali manjšo motivacijo za defenzivno ravnanje. Regulacija ustvarja spodbude za inovatorje in investitorje, za nove poslovne modele in vnaša predvidljivost ter preglednost. S pravno ureditvijo se zagotavlja tudi grajenje zaupanja uporabnikov, ki ga je nujno treba doseči za učinkovito implementacijo UI v naša življenja. Eden pomembnih razlogov za intervencijo je tudi konkuriranje preostalim akterjem na tem področju, kot sta Kitajska in Združene države Amerike.

Nedvomno je za ureditev te materije najprimernejša evropska raven, saj nacionalna ne po- nuja ustreznih rešitev glede čezmejnega (oziroma praktično brezmejnega) elementa te tehnologije. Pomembno je, da države članice ustvarijo pogoje za poenotenje s sprejemanjem splošnih okvirov in načrtov. Najvišjo stopnjo harmonizacije bi zagotovile uredbe EU, ki bi omogočile maksimalno varstvo potrošnikov in preprečevale zlorabe trga.¹⁵ Nujna je tehnološko specifična ureditev, ki upošteva vse posebnosti posameznega sistema UI, in ne univerzalna ureditev. Kot alternativa podrobni zakonski regulaciji se v teoriji predlaga tudi ureditev s tehnološkimi standardi, ki bi učinkoviteje in podrobneje obravnavali specifike posamezne UI.¹⁶ Odlikujeta jih večja prožnost in udeležba strokovnjakov v postopku njihovega sprejemanja. Menim, da bi se lahko tehnološki standardi uporabili kot dopolnitev pravnega sistema v delih, v katerih se ta kaže kot preveč tog. Na tem področju so namreč pogosto potrebne hitre prilagoditve in spremembe, ki dohajajo nenaden tehnološki napredek, pri čemer so se tehnološki standardi praviloma sposobni prilagajati občutno hitreje kot pravne norme.

Kot je bilo omenjeno, se v teoriji pojavljajo številni pomisleki glede prenagljenosti podrobne ureditve z argumentom, da za naslednjih 10 do 15 let zadošča prilagoditev že veljavnih pravil¹⁷ in da ni razloga za njeno pravno urejanje, dokler UI ne začenja prihajati na trg v večjem obsegu.¹⁸ To glede na trenutno stopnjo razvoja UI drži, vendar hkrati ni popolnoma nesmiselno razmišljati v smeri priprave za čas, ko bo vseprisotna tudi krepka UI. Postopek oblikovanja pravnih pravil je dolgotrajen, zato se – upoštevajoč predvidene časovne okvire napredka – zdi že zdaj ustrezen trenutek za prvi korak v tej smeri. Položaj pravotvorcev je nedvomno nezavidljiv, saj je ta hip težko predvideti, kolikšen obseg regulacije bo omogočal pravo mero razvoja in hkrati zaupanja uporabnikov.

3. Vloga umetne inteligence v civilnopravnih razmerjih

Sistemi UI v omejenem obsegu že danes vstopajo v pogodbena razmerja v imenu pravnih subjektov¹⁹ in nastopajo kot povzročitelji škode.²⁰ Ravno iz teh za zdaj še redkih, a vedno pogostejših primerov izhaja potreba po odpravi negotovosti pravnega položaja udeležencev. Odgovore na določena vprašanja lahko najdemo že v sedanjih normativnih okvirih, a na nekaterih mestih ti ne dohajajo vedno novih dilem, ki jih odpira uporaba UI.

3.1. Umetnointeligentni sistem kot udeleženec v pogodbenih razmerjih

Prednost UI glede na pogodbeno pravo je, da omogoča njenemu uporabniku sklenitev pogodbe pod optimalnimi pogoji (na primer ob točno določenem času, ko je cena najnižja). V literaturi se v pogodbenih razmerjih sistemi UI pogosto označujejo z izrazom »software agent«. Ta izraz je nekoliko zavajajoč, saj bi lahko bil tolmačen kot agent v smislu agencijske pogodbe (807. člen Obligacijskega zakonika (OZ)).²¹ Da bi to držalo, bi moral imeti sistem UI položaj pravnega subjekta, ki je lahko nosilec pravic in obveznosti. Za uspešno agencijo oziroma zastopanje se predpostavlja sposobnost veljavne izjave volje. Zastopanje v kakršnikoli obliki povezujemo s svobodno voljo, samozavedanjem in razumom, ki jih sistem UI, ki nekritično sledi navodilom svojega uporabnika, nima. Videti je, da se za veljavnost zastopanja ni mogoče izogniti podelitvi subjektivitete, in še to ne katerekoli, temveč takšne, ki bi se približala naravni. Z drugačnim pristopom do dojemanja agencije oziroma zastopanja bi bilo mogoče obiti potrebo po priznanju naravne subjektivitete. Če bi se fokus z izjave volje preusmeril na sposobnost nadzora nad lastnim ravnanjem, bi lahko kot agent oziroma zastopnik nastopal tudi dovolj napreden sistem UI.²² Ta sicer res dobiva navodila od njegovega uporabnika, a točen postopek doseganja cilja ni določen, zato bi lahko rekli, da ravna namensko in na podlagi lastne presoje. Tako bi bila avtonomna ravnanja obravnavana kot prestop mej pooblastila in pogodba ne bi vezala zastopanega, prav tako bi bilo mogoče sanirati zmote.²³

Trenutno se v pogodbenih razmerjih sistem UI obravnava le kot orodje v rokah človeka, kot komunikacijski kanal in ne kot agent oziroma zastopnik v pravem smislu besede. Tako se ravnanje sistema vedno pripiše njegovemu uporabniku.²⁴ To bo v prihodnosti z naraščajočo stopnjo avtonomije vse težje utemeljiti, zato bi bila podelitev subjektivitete (glej poglavje 4) in s tem morebitna obravnava sistema UI kot agenta ali zastopnika v smislu OZ lahko ustrezna rešitev.

Podrobnejša analiza vprašanja položaja UI v pogodbenih razmerjih bi presegla okvire tega prispevka. Menim pa, da odločilne potrebe po ureditvi tega konkretnega področja še ni, saj je odločitev za vstop v pogodbeno razmerje v sferi posameznika. Od področja odškodninskega prava se razlikuje v tem, da tam nastajajo škodne posledice, ki jih posamezniki niso želeli in predvideli, zato je regulacija na odškodninskem področju nujnejša.

3.2. Avtonomija

Dejstvo, da je UI delno avtonomna, je najpogosteje podlaga za pomisleke o pravnem statusu sistemov s to lastnostjo. Avtonomnost lahko opredelimo kot sposobnost pridobivanja informacij iz bolj ali manj kontroliranega okolja in njihovo uporabo kot podlago za nadaljnje odločitve glede ravnanja.²⁵ Za ohranjanje »inteligence« je treba sistem redno nadgrajevati in omogočati njegovo nenehno učenje. Več ko se lahko nauči, manj kontrole ima njegov proizvajalec, kar pomembno vpliva tudi na odškodninsko odgovornost. Popolnoma avtonomen sistem lahko svoje delovanje prilagodi brez posega človeka, kar lahko povzroči nejasnosti glede odgovornosti, ko na podlagi teh odločitev nastane škoda, saj na težavo naletimo pri vzpostavitvi vzročne zveze. Stopnja avtonomnosti sistemov, ki jih poznamo danes, je različna in tudi vpliv, ki ga ima avtonomna odločitev na končno posledico, je odvisna od konkretne situacije. Kot je že bilo omenjeno, krepka UI trenutno še ne obstaja, zato na delovanje sistema vedno delno vpliva človek. Ali si naj sploh prizadevamo za ustvarjenje sistema, inteligentnejšega od ljudi, ki bi lahko sledil lastnim ciljem, je vprašljivo.

3.3. Umetna inteligenca kot povzročitelj škode

Čeprav je ena glavnih prednosti UI ravno preprečevanje oziroma zmanjševanje morebitnega nastanka škode, se predvsem v njeni razvojni fazi, ki smo ji trenutno priča, pogosto zgodi, da nastanejo napake pri delovanju ali uporabi sistema, ki povzročijo škodo. Za vzpostavitev odškodninske odgovornosti je treba identificirati vzrok škode. Napako je po izkušnjah največkrat mogoče pripisati proizvajalcu in na tej podlagi vzpostaviti objektivno odgovornost proizvajalca (oziroma uvoznika). Škoda je lahko tudi posledica neprimerne uporabe, kar je lahko podlaga za krivdno odgovornost uporabnika. Prav tako lahko škoda nastane kot posledica objektivno nepredvidljivega avtonomnega ravnanja sistema samega in v tem primeru ni pravično, da odgovornost prenesemo na proizvajalca ali uporabnika oziroma na oškodovanca. Odgovor, na koga naj se oškodovanci obrnejo z zahtevkom za povrnitev škode, je treba iskati ob upoštevanju vsega povedanega. Nekatere situacije se lahko rešijo z že znanimi mehanizmi, kot sta že omenjena odgovornost proizvajalca in odgovornost za produkt z napako, prav tako bi po analogiji z nevarnimi predmeti lahko utemeljili tudi uporabo pravil o objektivni odgovornosti uporabnika. Kaj pa odgovornost sistema UI samega?

Pripis odškodninske odgovornosti smiselno predpostavlja obstoj subjekta. Ta tematika je podrobneje obravnavana v nadaljevanju (glej poglavje 4). Za potrebe razprave predpostavljam, da je sistemom UI priznana neke vrste subjektiviteta, ki omogoča njihovo neposredno odškodninsko odgovornost.

V tem prispevku je pri argumentaciji odgovornosti sistema UI smiselno izhajati iz nepogodbenega temelja odgovornosti, v sklopu tega pa obravnavati krivdno in objektivno odgovornost. Subjektu lahko pripišemo odgovornost na podlagi krivde, če so izpolnjene vse štiri predpostavke: protipravnost ravnanja, vzročna zveza, škoda in krivda. Predpostavki protipravnosti in škode se ne razlikujeta od situacij, ko je povzročitelj človek. Obstoj vzročne zveze bi bilo v primeru odgovornosti sistema UI predvidoma še lažje dokazati zaradi večje transparentnosti delovanja. V Sloveniji glede krivde velja obrnjeno dokazno breme. Kot problematična se kaže predvsem določitev ustreznega standarda skrbnosti. UI namreč ne moremo postavljati istih meril kot ljudem. Ne nazadnje malomaren sistem UI ne obstaja, temveč je to le sistem z napako.²⁶ Objektivna odgovornost se tako zdi ugodnejša, saj je njena odlika to, da ni treba oblikovati standardov ravnanja. Izpolniti je treba pogoje nevarne dejavnosti oziroma stvari, vzročne zveze in škode. Nekatere dejavnosti, ki jih opravlja UI, lahko opredelimo kot nevarne. Pri tem je bistveno, da dejavnosti ne označimo za nevarno le na podlagi subjekta, ki jo opravlja, temveč mora biti na splošno bolj tvegana. Iz dejavnosti same mora izhajati povečana nevarnost, mora se pričakovati velika škoda in da škode ni mogoče s skrbnim ravnanjem preprečiti. Po teh kriterijih lahko ugotovimo, da je dejavnost sistema UI nevarna, kadar govorimo na primer o avtonomnih vozilih, dronih ali robotih v zdravstvu. Ugotovitev, da je objektivna odgovornost v tem primeru vezana na nevarno stvar, ni mogoča, saj ni ustrezno trditi, da sistem UI uporablja sam sebe. Škoda tudi tu ni sporna, vzročnost pa še manj, saj 149. člen OZ vsebuje domnevo vzročnosti.

Uvedba odškodninske odgovornosti sistema UI samega bi bila smiselna predvsem zaradi primerov, ko zaradi njegove avtonomije proizvajalcu ali uporabniku ni mogoče pripisati škodne posledice. Pri avtonomnem sistemu so določena nepredvidljiva ravnanja per se neizogibna. Ob vsem napisanem je ureditev odškodninske odgovornosti v zvezi z UI vprašanje kompleksne analize, pri čemer je treba upoštevati učinkovitost in usmerjenost v iskanje spodbud za vse udeležene akterje, ki hkrati omogoča tudi tehnološki napredek in ustrezno pot do restitucije oziroma kompenzacije za žrtve.²⁷

Namesto vzpostavitve sistema odškodninske odgovornosti se kompenzacija lahko doseže tudi z obveznim zavarovanjem ali vzpostavitvijo povrnitvenega sklada.

3.4. Obvezno zavarovanje

Zavarovanje v odškodninskem pravu ustvarja enake učinke kot objektivna odgovornost. Z njim je obravnavano tveganje plačilne nesposobnosti odgovornega za škodo in prevalitve stroškov na oškodovanca. Obvezno zavarovanje v našem pravnem sistemu srečamo pri motornih vozilih in tudi pri nekaterih dejavnostih, pri katerih obstaja večja verjetnost nastanka obsežnejše škode, kot na primer v notarskem poklicu, odvetništvu in revizijski dejavnosti.

Obvezno zavarovanje se zdi sorazmerno preprosta rešitev tudi za UI. Ideja izhaja iz same narave sistema UI, ki pomeni večje tveganje za nastanek obsežnejše škode, zato se preventivno v ta namen zagotovijo sredstva za poplačilo. Prednosti sta, da so sredstva torej že vnaprej zbrana in da lahko oškodovanec svoj zahtevek naslovi neposredno na zavarovalnico ter mu ni treba iskati konkretno odgovornega ter se ukvarjati z dokazovanjem vseh predpostavk. Breme je tako preloženo na zavarovalnico, ki ima kot strokovnjak boljše izhodišče.

Izhodiščno vprašanje v zvezi s tem je, kdo naj bo zavezanec za plačilo zavarovanja. Po načelu največje koristi bi zavarovanje morali plačati uporabniki sistema, po načelu obvladovanja tveganja pa njegovi proizvajalci. Po analogiji z motornimi vozili se zdi obveznost za uporabnika ustreznejša. Drug pomemben vidik tega sistema je višina premije. Zaradi pomanjkanja izkušenj bi bilo (vsaj na začetku) sorazmerno težko ugotoviti primeren znesek, kar bi bilo mogoče sanirati podobno kot pri motornih vozilih. Zakon o obveznih zavarovanjih v prometu (ZO- ZP) v 20. členu predvideva omejitev jamstva zavarovalnice do višine zavarovalne vsote.²⁸ S tem se sledi interesom zavarovancev, zavarovalnice in tudi žrtev, kar je najoptimalnejša rešitev.

Nujno je poudariti, da je obvezno zavarovanje smiselno le, kadar obstaja dovolj velika verjetnost plačilne nesposobnosti odgovornega in tega, da bodo stroški povrnitve nastale škode nadpovprečno visoki.²⁹ Če kot odgovornega obravnavamo uporabnika ali proizvajalca, na prvi pogled kriterij predvidene plačilne nesposobnosti ni izpolnjen, saj so ti pretežno profesionalni gospodarski subjekti. A z naraščajočo dostopnostjo UI je pričakovati, da bodo – vsaj v vlogo uporabnikov – stopili tudi posamezniki, ki morda ne bodo plačilno sposobni, in v tem primeru bi se obvezno zavarovanje izkazalo kot koristno. Mnogi avtorji obvezno zavarovanje vidijo kot trenutno najboljšo izbiro za odgovornost, povezano z UI.³⁰ EU se temu stališču pridružuje, vendar z omejitvijo na specifične sektorje, kot so prevozna sredstva, dejavnosti z visokim tveganjem poškodb oseb ali škodovanja okolju, nevarne dejavnosti in določeni stro- kovni sektorji.³¹

Če bi bil odškodninsko odgovoren sistem UI sam, bi obvezno zavarovanje pomenilo učinkovito rešitev za zagotovitev sredstev za plačilo odškodnine (več o tem v točki 4.4).

3.5. Povrnitveni sklad

Za potrebe povrnitve škode, ki jo povzroči UI, bi lahko ustvarili poseben sklad. V njem bi bila sredstva, vezana na sistem UI, ki bi se v primeru nastanka škode porabila za poplačilo oškodovanca. Za tem je ideja, da subjekti proporcionalno z ekonomsko udeležbo prevzamejo tudi tveganje. Zasnovan bi bil kot subsidiarna možnost, ko so oškodovanci sicer upravičeni do povrnitve po pravilih odškodninske odgovornosti, a iz kakršnihkoli razlogov ostanejo brez poplačila.³² Evropski parlament v svoji resoluciji predlaga celo omejitev odgovornosti za osebe, ki prispevajo v ta sklad.

Podobne posledice bi povzročila vzpostavitev odgovornosti države po drugih povrnitvenih shemah.³³ Tak tip odgovornosti temelji na posebnem predpisu in ne predpostavlja protipravnega ravnanja, le nastanek škodne posledice. Tako je na primer urejena odškodnina žrtvam nasilnih kaznivih dejanj. Vendar velja opomniti, da je tak način socializacije tveganja dopusten le v izrazito upravičenih primerih, ko je nepravično, da bi škodo nosil oškodovanec sam.

Prednosti sistema povrnitvenega sklada so večja fleksibilnost in izčrpnost v primerjavi z nepogodbeno odškodninsko odgovornostjo, možnost prispevanja več subjektov, ki jim je to v interesu (na primer uporabnik, proizvajalec, država, lastnik …), in to, da ni treba dokazovati obstoja predpostavk odškodninske odgovornosti (zaobidemo težave v zvezi z dokazovanjem vzročne zveze, standardom skrbnosti). Sredstva, ki se v sistemu odškodninske odgovornosti porabijo za namene sodnih postopkov, bi se v tem primeru učinkoviteje porabila za dejansko povrnitev škode.³⁴

Pomislek glede uvedbe sklada na zasebni ali državni ravni je povezan s prenosom stroškov na skupnost. Vprašanje je, ali je družba pripravljena sprejeti to tveganje ter, pomembneje, ali se vseh tveganj sploh zaveda. Prav tako je pričakovati visoke administrativne stroške zbiranja sredstev od več zavezancev, ki ne nazadnje morda niti ne bi bili nižji od stroškov ugotavljanja odškodninske odgovornosti. Argument v korist tega sistema je predvsem težnja EU po tehnološkem napredku, ki bo koristil celotni družbi. Glede na to ni pravično, da bi stroške prehoda na nov sistem nosili na primer le proizvajalci UI, temveč naj jih nosi družba, ki ima od tega korist.

4. Umetnointeligentni sistem kot objekt ali subjekt prava

Pravni red je človeška stvaritev, namenjena ljudem, in njegova odlika je, da lahko pravice in njihovo vsebino prilagaja lastnim potrebam. Zato ni sporno, ali je sposoben podeliti status subjekta nekemu novemu udeležencu, temveč le to, katere so prednosti podelitve in kakšna naj bo njena vsebina.

»Oseba v pravnem smislu predstavlja to, kar pravo določa, da predstavlja.«³⁵ Subjektiviteta je po slovenskem civilnem pravu sestavljena iz pravne in poslovne sposobnosti. Za pripis subjektivitete zadošča že priznanje pravne sposobnosti. Z drugimi besedami, kdor je sposoben biti nosilec pravic in obveznosti, je v očeh prava subjekt.³⁶ Poslovna sposobnost pomeni, da lahko posameznik samostojno nastopa v pravnih razmerjih, torej veljavno izjavlja voljo. Prav- na sposobnost se pridobi z rojstvom, polna poslovna sposobnost pa s polnoletnostjo. Subjekti po slovenskem pravu so fizične in pravne osebe. Iz tega je torej očitno, da pravo subjektiviteto podeli na podlagi posebnih lastnosti subjekta ali na podlagi potreb prakse, kadar je to splošno koristno. Nasproti subjekta stoji objekt. Objekt civilnopravnega razmerja je tisti element pravnega razmerja, zaradi katerega pravni subjekti vstopajo vanj.³⁷ Objekti po slovenskem civilnem pravu so stvari, premoženje, izpolnitvena ravnanja in osebne nepremoženjske dobrine. Objekt torej nasprotno od subjekta nima svoje volje in namenov.

Obravnava sistema UI kot subjekta se zdi na prvi pogled utopična in nepremišljena. Hkrati pa se ga ne zdi ustrezno označiti le za objekt prava oziroma natančneje stvar, saj ga od stvari razlikuje sposobnost ravnanja in ustvarjanja pravnih posledic, delno neodvisno od človeka. Zato se je v teoriji razvila ideja o priznanju pravne subjektivitete UI. Že tu je nujno poudariti, da tega vprašanja ni mogoče obravnavati na splošno, saj so si sistemi UI in področja, na katerih se pojavljajo, med seboj preveč različni. Ta prispevek tematiko obravnava izhodiščno in splošno, zato bo pristop izjemoma poenostavljen.³⁸

4.1. Prednosti in slabosti podelitve subjektivitete

Podelitev neke vrste pravne subjektivitete sistemom UI bi bilo smiselno iz dveh razlogov: (1) za zapolnjevanje pravnih praznin v primeru nemožnosti vzpostavitve odgovornosti po klasičnih konceptih, (2) da bi oškodovancem olajšali položaj, ko ne bi vedeli, na koga se obrniti z odškodninsko tožbo. Poenostavitev sistema odgovornosti je nujna za zaščito in ustrezno varstvo oškodovancev.³⁹ To bi bilo lahko doseženo s podelitvijo subjektivitete, kar bi v odškodninskem pravu povzročilo olajšanje položaja žrtve, saj bi lahko povrnitev zahtevala od točno določenega subjekta, ne da bi bilo treba ugotavljati, na kateri ravni (proizvodni ali uporabni ravni, ravni aparata ali programa) je nastal vzrok za škodo in po kakšnem temelju odgovornosti naj zahteva povrnitev. To bi pomenilo velik korak v smeri predvidljivosti in znižanja stroškov za oškodovanca. Tako bi se izognili težavam, povezanim z avtonomnim ravnanjem sistemov UI (glej poglavje 3.3).

Po drugi strani se pojavljajo nekateri pomisleki, ki nasprotujejo ideji podelitve subjektivitete:

(1) sistemi UI nimajo lastnih sredstev za plačilo odškodnine, (2) ščitijo se osebe, ki delujejo za njimi (najpogosteje proizvajalci in uporabniki). V literaturi je največkrat tarča kritike prav lastnost, da sistemi UI ne morejo pridobivati sredstev brez sodelovanja ljudi. Če temu pogoju ni zadoščeno, se subjektiviteta izkaže le za formalnost, saj se oškodovanci kljub morebitnemu zahtevku proti sistemu nimajo od kod poplačati. Da bi mu priznali sposobnost biti lastnik sredstev, bi to zahtevalo reformo številnih temeljnih konceptov trenutne pravne ureditve.⁴⁰ Se pa to pomanjkljivost lahko odpravi na primer z že poznanim institutom obveznega zavarovanja (glej poglavje 3.4).

Po mnenju kritikov preusmeritev fokusa odgovornosti s proizvajalcev in uporabnikov sistemov UI na njih same vodi v eksternalizacijo tveganj, kar povzroči ščitenje oseb za sistemom in pomanjkanje spodbud za njihovo skrbno ravnanje. Ta pomislek ima za seboj odvrnitveno funkcijo odškodninske odgovornosti. Sama menim, da ta očitek ni utemeljen. Vsa pravila delno omogočajo zlorabo in izigravanje, kar je ex ante obravnavano z načeli dobre vere in poštenja, dobrih poslovnih običajev ter razumnosti, ex post pa prek presoje sodišč. Prav tako preusmeritev odgovornosti na nov subjekt ne pomeni, da so osebe za njim popolnoma razbremenjene kakršnekoli odgovornosti.⁴¹ Človek bo namreč v vsakem primeru odgovoren za stvaritev in/ali programiranje sistema z določenimi značilnostmi oziroma sposobnostmi, za neprimerno uporabo sistema in za manipuliranje z njim. S podelitvijo subjektivitete se obravnavajo le situacije, ko škodljive posledice ne bi bilo pravično pripisati nobenemu drugemu subjektu.

4.2. Izenačenje z naravnimi osebami

Če se lotimo primerjave in iskanja vzporednic med ljudmi in sistemi UI, lahko ugotovimo, da smo si pravzaprav v marsičem podobni. Tudi sistemom UI lahko pripišemo sposobnosti, kot so logično razmišljanje, učenje, racionalnost itd. To je lahko zanimivo z dogmatičnega vidika, vendar z vidika utemeljevanja zahteve po podelitvi subjektivitete ni relevantno. Polemiziranje esence človeških bitij ni naloga prava niti namen tega prispevka, saj je nesporno, da pravo ljudi obravnava kot subjekte že na podlagi dejstva, da pripadamo vrsti Homo sapiens, ne glede na naše lastnosti. Navsezadnje obstajajo tudi primeri, ko ljudje sicer nimajo vseh lastnosti, ki bi jim jih običajno pripisali, a so v očeh prava še vseeno subjekti, le njihova poslovna sposobnost je omejena.⁴² Z obratnim sklepanjem bi lahko ugotovili, da bi tudi sisteme UI kljub pomanjkanju določenih lastnosti lahko obravnavali kot subjekte, a je glede na pravkar povedano to brezpredmetno. Čeprav bi z različnimi argumenti morda ugotovili, da sistemu UI lahko pripišemo pravno in poslovno sposobnost, s tem ne postane samodejno subjekt, ampak bi mu moralo tak status izrecno podeliti pravo. Vendar je podobnost lahko podlaga za razmislek tvorcev prava v smeri izenačenja statusa UI s statusom človeka. Pri tem opominjam, da podelitev subjektivitete ni dolžnost, ampak pravica prava.

Primer, ko je pravo naredilo korak od obravnave kot objekta k obravnavi kot subjekta, je ureditev statusa živali. Pravni položaj živali pri nas ureja Stvarnopravni zakonik (SPZ) v 15.a členu, ki določa, da te niso stvari, vendar se za njih v pretežnem obsegu uporabljajo pravila, ki veljajo za stvari.⁴³ Čeprav si živali in ljudje delimo določene lastnosti, pravo prvim polnega statusa subjekta ne priznava. Kljub temu pa to kaže, da imajo živali neke vrste vmesen status, med objektom in subjektom, kar bi morda lahko upoštevali tudi za primer UI.

Prepričljivih argumentov za priznanje subjektivitete, podobne naravni osebnosti, sistemom UI zaradi njihovih posebnih lastnosti ni. Kritiki zagovarjajo pristop do njih kot orodij v rokah človeka in se ob tem sklicujejo predvsem na pomanjkanje volje, subjektivno pogojenega ravnanja in na dejstvo, da ne nazadnje za njimi v vsakem primeru stoji človek, če ne drugega, da jih ustvari. Podelitev pravic in nalaganje dolžnosti se kažeta kot neprimerna tudi zaradi nedovzetnosti za grožnjo s sankcijami.⁴⁴ UI nima samoohranitvenega nagona in strahu pred kaznijo. Nazadnje bi kaznovanje ali uničenje sistema kot sankcija prizadelo osebe za njim, kar je v nasprotju s smislom priznanja subjektivitete. Glede na to, da krepka UI, ki bi sistemu dajala sposobnost ravnati v skladu z naloženimi dolžnostmi, še ne obstaja, je pripis odgovornosti za zdaj še toliko neprimernejši. Hkrati je dejstvo, da je ta status med živimi bitji podeljen samo ljudem, tako elementarno zasidrano v pravni sistem, da bi se moral zgoditi velik miselni premik, da bi v kategorijo človeških subjektov enakovredno sprejeli tudi programske sisteme.

4.3. Izenačenje s pravnimi osebami

Pravne osebe, kot so korporacije, verska združenja, državne entitete itd., so skladno s pravom subjekti. Njihov položaj ni popolnoma izenačen s položajem ljudi, kar je smiselno utemeljeno z razlikami v njihovi dejanski sposobnosti izvajanja pravic. Pravne osebe pridobijo pravno sposobnost z vpisom v register, poslovno sposobnost pa zanje izvajajo zastopniki. Pravni red subjektivitete pravnim osebam kot enotnim skupnostim ljudi torej ne priznava zaradi njihovih človeških lastnosti, temveč zaradi praktičnosti. Glavni namen je spodbujanje investicij in podjetništva z možnostjo omejitve in porazdelitve tveganja.

Po tem zgledu bi sistemom UI podelili subjektiviteto kvečjemu zaradi potreb prakse. S tem bi jim bila priznana sposobnost biti toženi in biti lastniki premoženja (4. člen Zakona o gospodarskih družbah (ZGD)).⁴⁵ Po analogiji z gospodarskimi družbami bi voljo za njih izjavljali zastopniki, imeli bi lastno premoženje, ki bi ga prispevali kvazidružbeniki in bi bilo ločeno od njihovega zasebnega premoženja ter namenjeno plačilu odškodnine, v primeru zlorabe pa bi se uporabil institut »piercing the electronic veil«. Vendar obstaja temeljna razlika, ki sisteme UI ločuje od gospodarskih družb. Gospodarska družba, per se, ne more ravnati in ustvarjati pravnih posledic brez pomoči fizičnih oseb, UI pa ima to sposobnost. Pravne osebe kot tip subjektov niso bile ustvarjene z mislijo na UI in njene sposobnosti niso namenjene razširitvi nanjo, kar potrjuje tudi načelo tipske prisile (numerus clausus), ki onemogoča ustanavljanje pravnih oseb zunaj predvidenih oblik. Prav tako takšna oblika osebnosti ne bi rešila težave pripisa odškodninske odgovornosti UI sami, saj so pravne osebe deliktno sposobne le v mejah ravnanja svojih organov – fizičnih oseb (148. člen OZ).

4.4. E-osebnost

Ideja o e-osebnosti je v javnosti dvignila veliko prahu leta 2017, ko je Evropski parlament sprejel Pravila civilnega prava o robotiki. V tem dokumentu je med drugim kot možnost obravnavanja problema odškodninske odgovornosti robotov omenjena »[…] uporaba elektronske osebnosti v primerih, ko bi roboti sprejemali samostojne odločitve ali drugače neodvisno vzajemno delovali s tretjimi osebami«. (Pravila civilnega prava o robotiki 2017: 12) Buren odziv javnosti je povzročil, da je Evropski parlament leta 2020 to podrobneje pojasnil. Glede na to, da se pojem e-osebnosti tudi v teoriji uporablja nedosledno in s tem nastaja terminološka zmeda, je ta ponudil dve možnosti interpretacije.⁴⁶ V skladu s stališčem EU je termin »e-osebnost« (ang. electronic personhood) torej mogoče tolmačiti na dva načina – kot novo vrsto pravne osebe sui generis ali kot tretjo obliko pravnih subjektov (poleg naravnih in pravnih oseb). Razlika je v tem, da se v skladu s prvim po načelu funkcionalnosti sistem UI obravnava kot fiktivna entiteta z drugačnimi lastnostmi, kot jih imajo prave pravne osebe (na primer gospodarske družbe), in se mu ne priznava posebnih pravic in obveznosti, saj so te še vedno vezane na ljudi za njim (kvazi družbenike), v skladu z drugim pa bi e-osebam priznali pravice in obveznosti ter sčasoma tudi naložili odgovornost za škodo.

Kot pravna oseba sui generis e-oseba ne bi bila subjekt, ne bi imela nobenih pravic in obveznosti ter hkrati tudi ne bi odgovarjala za škodo. Njena prednost bi bila, da bi omogočala obravnavo več potencialno odgovornih oseb (na primer programerjev, uporabnikov, proizvajalcev) hkrati, kar bi olajšalo položaj oškodovanca in hkrati omogočilo prerazporeditev tveganj ter koristi med udeleženci. Iz sredstev, ki bi jih v sorazmerju s prevzetimi tveganji zagotovile odgovorne osebe in bi bila lahko organizirana tudi kot obvezno zavarovanje, bi se plačevala odškodnina, kar bi omogočilo zaščito upnikov po zgledu pravil o stečaju. Ker bi se odškodnina plačala neposredno iz ločenega premoženja, bi to zagotovilo učinkovitejšo razporeditev bremena odškodninske odgovornosti med odgovornimi osebami (s prerazporeditvijo »deležev« ali sorazmerno manjšo udeležbo pri dobičku). Tu je pomembna koordinacijska vloga e-osebnosti, saj združuje vse, ki so na neki način pripomogli h končni posledici nastanka škode. Tako se za primere, ko je težko ugotoviti, na katerem področju in v čigavi sferi je nastala napaka, tveganje prerazporedi na vse, obratno pa se tudi v primeru pravic intelektualne lastnine sistemov UI koristi razporedijo med kvazidružbenike. Ločenost premoženja hkrati omogoča omejitev višine odškodnine, kar v civilnem pravu ni nepoznan (ali nedovoljen) koncept. V primeru UI bi bilo to celo nujno kot kompromis med socialno koristjo na eni in tveganjem za obsežnejšo škodo na drugi strani.⁴⁷ Ta različica e-osebnosti se od prave pravne osebe razlikuje po tem, da pomeni fiktivno entiteto, katere status ni izenačen z zadnjo, temveč prilagojen potrebi olajšanja položaja oškodovanca ter ustreznejši razporeditvi tveganj udeležencev. E-oseba ni subjekt s pravicami in dolžnostmi, zato ne more biti neposredno odškodninsko odgovorna, le omogoča, da so potencialno odgovorne osebe obravnavane enotno.

Druga različica e-osebnosti, v skladu s katero ta predstavlja subjekt prava – nosilca pravic in obveznosti, ob naravnih in pravnih osebah bi imela to prednost, da bi se vsebina njenih pravic in obveznosti lahko popolnoma prilagodila potrebam. Njihov obseg bi bil omejen na takšnega, ki bi ustrezal človeškemu nadzoru in zagotavljanju varnosti. Ni izključeno, da bi bila celo izključno nosilka obveznosti, brez podelitve pravic. Teoretično bi lahko e-osebi torej naložili samo odškodninsko odgovornost, tj. priznali deliktno sposobnost. Poudarja se, da bi bilo za potrebe odškodninske odgovornosti smiselno oblikovati register sistemov UI, ki bi zagotavljal transparentnost, in v povezavi z njim sistem obveznega zavarovanja. Tako bi na UI vezali sredstva, ki bi bila namenjena plačilu odškodnine, ne da bi jo hkrati obravnavali kot lastnico premoženja. Plačilo zavarovalne premije bi po načelu koristi bremenilo na primer uporabnike in proizvajalce UI. Zavarovanje bi tudi v tem primeru delovalo kot omejitev višine odškodnine.

Težava v zvezi s to teorijo se pojavi že pri utemeljitvi ustreznosti priznanja deliktne sposobnosti. Za to se zahteva sposobnost za razsojanje, ki pa jo UI na tej točki le stežka pripišemo. Zahtevno je tudi iskanje temelja odgovornosti e-osebe – krivdna ali objektivna odgovornost? Teh vprašanj trenutno teorija niti ne obravnava, saj že vnaprej kategorično zavrača možnost priznanja e-osebnosti kot tretjega tipa subjekta. UI namreč ne glede na stopnjo avtonomije ne more ravnati v skladu z dolžnostmi, ki jih ji nalaga pravni red, saj je ta prepreden z elementi morale, ki so vezani na ljudi. To vprašanje je hkrati povezano s splošnim ciljem, ki mu sledi sistem odškodninske odgovornosti, ki je poleg reparacije tudi preventivna funkcija, UI pa se, kot že omenjeno, ne more odzvati na grožnjo s sankcijo.

Nemška teorija v zvezi z vprašanjem pravnega statusa sistemov UI predlaga zanimiv pristop. Kot možnost dopušča uporabo koncepta delne pravne sposobnosti (nem. Teilrechtsfähigkeit) pri sistemih UI.⁴⁸ Ta izhaja iz leta 1930 in predvideva pravno sposobnost omejeno le na določene izjemne primere brez priznanja celotnega spektra pravic in obveznosti, ki jih imajo sicer pravni subjekti. To je neke vrste vmesen status med objektom in subjektom, kot na primer status zarodka (Nasciturus), in že delujoče, a še neregistrirane gospodarske družbe (nem. Vorgesellschaft), ki ima pravni status sui generis. Tako bi sistemu UI priznali pravno sposobnost le v omejenem obsegu, za potrebe funkcionalnosti, ne bi pa ga obravnavali kot subjekt. Poglaviten namen je priročnost prenosa pravic, in ne zaščita akterjev.

5. Sklep

Že dejstvo, da se v zvezi z ureditvijo odškodninske odgovornosti sistemov UI odpira toliko vprašanj in različnih predlogov odgovorov na njih, je zadosten razlog za ukrepanje tvorcev prava in razjasnitev položajev udeležencev teh razmerij. Države članice so svojo nalogo s sprejetjem nacionalnih strategij opravile, zdaj je na vrsti EU, da z uredbami, ki bodo upoštevale specifike različnih sistemov UI in potreb različnih pravnih panog, začne konkretno izvajati zastavljene cilje.

Priznanje subjektivitete sistemom UI, podobne naravni ali pravni osebnosti oziroma v sklopu e-osebnosti, po mnenju, ki ga tudi sama delim s teorijo, ni niti primerno niti potrebno. UI iz varnostnih razlogov ne gre podeliti pravic, prav tako ji ni ustrezno naložiti obveznosti, v skladu s katerimi ni zmožna ravnati. Obravnavo e-oseb v smislu pravnih oseb sui generis brez priznanja pravic in s tem subjektivitete z omejitvijo le na UI, ki nastopa v bolj tveganih panogah, načeloma podpiram. Jasno je, da je vse še na konceptualni ravni, ki zahteva veliko nadgradnje in konkretizacije. Smiselna se zdi uvedba registra in obveznega zavarovanja ter tudi subsidiarne možnosti povrnitvenega sklada za primere, ko žrtve ne bi dosegle pravične kompenzacije. E-osebnost je dober korak v smeri k jasnejši regulaciji UI, vendar menim, da je poskus umestitve v že obstoječ sistem napačen pristop, ki v družbi ne bo zlahka sprejet. Vprašljivo pa je, ali je na voljo dovolj časa za ustvarjanje novih razsežnosti sistema, ločenih od subjektivitete ter pravnih in naravnih oseb, ali je prilagoditev obstoječega vse, kar zakonodajalcem preostane.

Prevladujoče stališče teorije je, da je uvedba nove vrste subjektivitete oziroma njene izpeljave prezapletena in da je mogoče vprašanja odškodninske odgovornosti za sisteme UI učinkoviteje obravnavati z že znanimi koncepti. Tudi pri ravnanju bolj ali manj avtonomnih sistemov je po mnenju avtorjev v večini primerov škodo mogoče pripisati kateri izmed oseb, ki so povezane z njimi, za individualne primere, ko to ne bi bilo mogoče, pa zadostuje individualizirano iskanje rešitev, in ne ustvarjanje novega tipa subjektivitete.⁴⁹

Očitno je, da danes še ne poznamo enoznačnega odgovora na dileme, ki jih prinaša fenomen UI v povezavi z odškodninsko odgovornostjo. Pomemben prispevek teorije je to, da odpira debato v splošni in strokovni javnosti in s tem UI postopoma odpira vrata v naš vsakdan ter normodajalce sili k soočenju s tveganji, ki jih to prinaša. Zagotovo je bolje, da prvi korak k jasni ureditvi naredimo prej kot pozneje, saj bitko s časom bijemo na eni strani ljudje in na drugi UI, ki je po izkušnjah nesporen favorit. Pravo je naš adut, ki ga moramo premišljeno uporabiti, da si priigramo prednost, ki jo bomo v prihodnosti še kako potrebovali. Družbene vrednote se iz dneva v dan spreminjajo in že čez petdeset ali sto let se lahko znajdemo v situaciji, ko se ne bomo spraševali o primerni podlagi za podelitev subjektivitete UI, temveč o upravičenosti njene omejitve.

Literatura

1. Artificial Intelligence and Civil Liability [online]. 2020 [ogled: 19.1.2021]. Bruselj: Evropski parla- ment. Dostopno na: .
2. Bela knjiga o umetni inteligenci- evropski pristop k odličnosti in zaupanju [online]. 2020 [ogled 26.2.2021]. Evropska komisija. Dostopno na: .
3. BORGES, Georg. New Liability Concepts: the Potential of Insurance and Compensations Fun- ds. V: Liabilty for Arificial Intelligence and the Internet of Things. 1st edition, 2019, str. 145–163.
4. BORGHETTI, Jean-Sébastien. How can Artificial Intelligence be Defective? V: Liabilty for Ari- ficial Intelligence and the Internet of Things. 1st edition, 2019, str. 63–76.
5. BROWN, R.D. Property ownership and the legal personhood of artificial intelligence. V: Infor- mation & Communications Technology Law [online]. 2020, vol. 30, str. 208–234 [ogled 1.2.2021]. Dostopno na: .
6. CHESTERMAN, S. Artificial Intelligence and the Limits of Legal Personality. V: International and Comparative Law Quarterly [online]. 2020, vol. 69, str. 819–844 [ogled 28.1.2021]. Dostopno na: .
7. COMANDÉ, Giovanni. Multilayered (Accountable) Liability for Artificial Intelligence. V: Li- abilty for Arificial Intelligence and the Internet of Things. 1st edition, 2019, str. 165–183.
8. DEWEY, J. The historic background of corporate legal personality. V: Yale L.J. [online]. 1926, vol.35, št.6, str. 655-673 [ogled: 9.3.2021]. Dostopno na: .
9. DE FRANCESCHI, A. in SCHULZE, R. Digital Revolution- New Challenges for Law: Intro- duction. V: Digital Revolution- New Challenges for Law, 2019, str. 1–15.
10. DOMONOSKE, C. Elon Musk Warns Governors: Artificial Intelligence Poses ‚Existential Risk‘. V: NPR [online]. 2017 [ogled 13.3.2021]. Dostopno na naslovu: .
11. EU Declaration on Cooperation on Artificial Intelligence [online]. 2018 [ogled 6.2.2021]. Evrop- ska komisija. Dostopno na: .
12. GRAZIADEI, M. Personal autonomy and the digital revolution. V: Digital Revolution- New Challenges for Law, 2019, str. 16–17.
13. GRINZINGER, J. Der Einsatz Künstlicher Intelligenz in Vertragsverhältnissen. V: Privatrecht 2050- Blick in die digitale Zukunft, 2019, 1. Auflage, str. 151–179.
14. JAYNES, T.L. Legal personhood for artificial intelligence: citizenship as the exception to the rule. V: AI & Society [online]. 2019. [ogled 2.2.2021]. Dostopno na: .
15. JUHART, M. et al. Uvod v civilno pravo. 1. natis. Ljubljana: Uradni list Republike Slovenije, 2011. KERNS, J. What‘s the Difference Between Weak and Strong AI? V: Machine Design [online]. 2017 [ogled 12.3.2021]. Dostopno na: .
16. Liability for Aritificial Intelligence [online]. 2019 [ogled: 19.1.2021]. Evropska komisija. Do- stopno na: .
17. LOHMANN, M.F. Ein europäisches Roboterrecht – überfällig oder überflüssig? V: Zeitschrift für Rechtspolitik: ZRP [online]. 2017, vol. 6, str. 168–171 [ogled: 2.2.2021]. Dostopno na:.
18. LOHSEE, Sebastian in.dr. Liability for Artificial Intelligence. V: Liabilty for Arificial Intelligence and the Internet of Things. 1st edition, 2019, str. 11–23.
19. MATTHIAS A. Automaten als Träger von Rechten: Plädoyer für eine Gesetzesänderung. 2. Auflage.Berlin: Logos-Verlag, 2010.
20. MAZZINI, G. A system of governance for Artificial Intelligence through the lens of emerging intersections between between AI and EU law. V: Digital Revolution- New Challenges for Law, 2019, str. 245–297.
21. Nacionalni program spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025 [online]. 2020 [ogled 26.2.2021]. Dostopno na: .
22. Poročilo komisije evropskemu parlamentu, svetu in evropskemu ekonomsko-socialnemu odboru: Poročilo o vprašanjih varnosti in odgovornosti, ki jih sprožajo umetna inteligenca, internet stvari in robotika [online]. 2020 [ogled: 18.1.2021]. Bruselj: Evropska komisija. Dostopno na: .
23. Pravila civilnega prava o robotiki: Resolucija Evropskega parlamenta z dne 16. februarja 2017 s pri- poročili Komisiji o pravilih civilnega prava o robotiki (2015/2103(INL)) [online]. 2017 [ogled 19.1.2021]. Evropski parlament. Dostopno na: .
24. Recommendation of the Council on Artificial Intelligence OECD/LEGAL/0449 [online]. 2019 [ogled 5.2.2021]. OECD Council. Dostopno na: <legalinstruments.oecd.org/en/in- struments/OECD-LEGAL-0449>.
25. RUSSEL, S. J. in NORVIG P. Artificial Intelligence: A Modern Approach [online]. New Jersey: Prentice-Hall Inc., 1995 [ogled 7.1.2021]. Dostopno na: .
26. SCHIRMER, JE. Artificial Intelligence and Legal Personality: Introducing Teilrechtsfähi- gkeit: A Partial Legal Status Made in Germany. V: Regulating Artificial Intelligen- ce. Springer, Cham. [online]. 2019, str.123-142 [ogled 1.2.2021]. Dostopno na: .
27. Uber‘s self-driving operator charged over fatal crash. V: BBC [online]. 2020 [ogled 11.2.2021]. Do- stopno na: .
28. VINCENT, J. Giving Robots ‘personhood’ is actually about making corporations accounta- ble. V: The Verge [online]. 2017 [ogled 4.2.2021]. Dostopno na: .
29. WAGNER, Gerhard. Robot Liability. V: Liabilty for Arificial Intelligence and the Internet of Things. 1st edition, 2019, str. 27–62.
30. Zakaj je ureditev področja umetne inteligence v Evropi pomembna? V: Evropski parlament [on- line]. 2020 [ogled 12.3.2021]. Dostopno na: >.ZECH, Herbert. Liabilty for Autonomous Systems: Tackling Specific Risks of Modern IT. V: Liabilty for Arificial Intelligence and the Internet of Things. 1st edition, 2019, str. 187–200.

Opombe:

¹ Na primer Musk v Domonoske.
² Wagner, str. 62, tudi Domonoske.
³ Russell, Norvig, str. 4.
⁴ OECD, str. 7.
⁵ To je poenostavljena definicija. Shema celotne definicije je dostopna na: (5. 2. 2021).
⁶ Evropski parlament, Pravila civilnega prava o robotiki, 2017, str. 2, in Evropska komisija, Liability for Artificial Intelligence, str. 32.
⁷ T. i. učinek črne škatle povzroči, da je včasih delovanje naprave težko oziroma nemogoče razumeti, kar oteži položaj oškodovanca, ker dokazovanje predpostavk odgovornosti zahteva veliko tehničnega znanja in sodelovanje nasprotne stranke (povzročitelja škode). Glej Evropska komisija, Poročilo o vprašanjih varnosti in odgovornosti, ki jih sprožajo umetna inteligenca, internet stvari in robotika, 2020, str. 9.
⁸ Resolucija Evropskega parlamenta z dne 16. februarja 2017 s priporočili Komisiji o pravilih civilnega prava o robotiki (2015/2103(INL)).
⁹ Evropska komisija, Bela knjiga o umetni inteligenci – evropski pristop k odličnosti in zaupanju, 2020.
¹⁰ Evropski parlament, Artificial Intelligence and Civil Liability, 2020.
¹¹ Declaration on cooperation on Artificial Intelligence, 2018.
¹² Nacionalni program spodbujanja razvoja in uporabe umetne inteligence v Republiki Sloveniji do leta 2025 (NpUI) je osnutek, ki ga je pripravilo Ministrstvo za javno upravo in je bil po navedbah portala GOV.SI (na dan 27. 2. 2021) v drugi polovici januarja 2021 poslan v potrditev Vladi RS.
¹³ Na primer: oseba pri operaciji, ki jo je izvedel kirurški robot, utrpi škodo. Če bi isto škodo povzročil kirurg, bi zanjo odgovarjala bolnišnica oziroma on sam. Ker pa kirurškega robota ne moremo obravnavati po enakih temeljih odškodninske odgovornosti, je nejasno, proti komu lahko oškodovanec naperi odškodninski zahtevek, kar bistveno okrni njegove možnosti za sodno varstvo. Glej Evropska komisija, Liability for Artificial Intelligence, str. 35.
¹⁴ Glej Nacionalni program, str. 18.
¹⁵ Evropski parlament, Artificial intelligence and Civil Liability, 2020, str. 67.
¹⁶ Zech, str. 195.
¹⁷ Lohmann, str. 171.
¹⁸ Wagner, str. 62.
¹⁹ Primer: Myibidder – programska oprema za eBay, ki namesto ljudi sodeluje na dražbah in s tem poveča možnosti uspešnega nakupa. Več na: (16. 2. 2021).
²⁰ Primer: Nesreča, ki se je zgodila leta 2018 v Arizoni, ki velja za prvo prometno nesrečo z uporabo »avtopilota« s smrtnim izidom. Vozilo taksi službe Uber je avtonomno peljalo po cesti, pri čemer je bil prisoten tudi rezervni voznik, ki avtomobila ni upravljal. V trenutku njegove nepozornosti je vozilo do smrti povozilo peško. Leta 2020 je bil za kazensko odgovornega na podlagi malomarnosti spoznan rezervni voznik. Glej: Uber‘s self-driving operator charged over fatal crash, 2020.
²¹ Uradni list RS, št. 97/07 – uradno prečiščeno besedilo, 64/16 – odl. US in 20/18 – OROZ631.
²² Matthias, str. 45.
²³ Schirmer, str. 7.
²⁴ S tem je mišljen tisti, ki upravlja sistem UI, torej na primer voznik pametnega avtomobila, upravljavec drona. Za potrebe tega prispevka bo uporabljen izraz »uporabnik«, saj pojem »upravljavec« smiselno predpostavlja odsotnost popolne avtonomije.
²⁵ Comandé, str. 168.
²⁶ Borghetti, str. 65.
²⁷ Evropski parlament, AI and Civil Liability, 2020, str. 37.
²⁸ Uradni list RS, št. 93/07 – uradno prečiščeno besedilo, 40/12 – ZUJF, 33/16 – PZ-F in 41/17 – PZ-G.
²⁹ Evropska komisija, Liability for Artificial Intelligence, 2019, str. 62.
³⁰ Wagner, str. 58.
³¹ Evropska komisija, Liability for Artificial Intelligence, 2019, str. 61.
³² Evropski parlament, Pravila civilnega prava o robotiki, 2017, str. 12.
³³ Več: Možina, D. Odškodninska odgovornost države. V: Pravni letopis, 2013, str. 158–164.
³⁴ Borges, str. 160.
³⁵ Dewey, str. 65. Izvirnik: »[…] ‚person‘ signifies what law makes it signify.« Prevod: Eva Stojan.
³⁶ Juhart in dr., str. 71.
³⁷ Prav tam, str. 127.
³⁸ Teorija poudarja, da je v zvezi s tem vprašanjem treba upoštevati različne značilnosti posamezne oblike čim bolj individualizirano glede na tržne strukture, usmeritve in prerazporeditev tveganj. Glej na primer Evropski parlament, Artificial Intelligence and Civil Liability, 2020, str. 38.
³⁹ Evropski parlament, Artificial Intelligence and Civil Liability, 2020, str. 44.
⁴⁰ Evropska komisija, Liability for Artificial Intelligence, 2019, str. 38.
⁴¹ Evropski parlament, Artificial Intelligence and Civil Liability, 2020, str. 37.
⁴² Na primer zarodki in duševno bolni ljudje.
⁴³ Uradni list RS, št. 87/02, 91/13 in 23/20.
⁴⁴ Evropski parlament, Artificial Intelligence and Civil Liability, 2020, str. 37.
⁴⁵ Uradni list RS, št. 65/09 – uradno prečiščeno besedilo, 33/11, 91/11, 32/12, 57/12, 44/13 – odl. US, 82/13, 55/ 15, 15/17, 22/19 – ZPosS, 158/20 – ZIntPK-C in 18/21.
⁴⁶ Glej Evropski parlament, 2020, str. 35–38.
⁴⁷ Glej Evropski parlament, Artificial Intelligence and Civil Liability, 2020, str. 41.
⁴⁸ Schirmer, str. 11.
⁴⁹ Glej Evropska komisija, Liability for Artificial Intelligence, 2019, str. 38.