TFL Vsebine / TFLGlasnik

Panel je bil ustanovljen z resolucijo Generalne skupščine OZN[3] kot del širših zavez iz Globalnega digitalnega dogovora (Global Digital Compact) in Pakta za prihodnost (Pact for the Future).[4] Sestavlja ga 40 neodvisnih strokovnjakov iz vseh petih regionalnih skupin držav članic OZN, ki se ukvarjajo s tehničnimi, varnostnimi, infrastrukturnimi, etičnimi, političnimi in družbenimi vidiki UI. Njegovo delo temelji na načelih neodvisnosti, znanstvene verodostojnosti, metodološke strogosti, multidisciplinarnosti in vključujočega sodelovanja. Poročila Panela naj bi bila predstavljena tudi v okviru Globalnega dialoga OZN o upravljanju umetne inteligence (UN Global Dialogue on Artificial Intelligence Governance), s čimer naj bi pripomogla k bolj informiranemu globalnemu upravljanju UI.[5]

Pomembna značilnost Poročila je njegova izrecna zaveza k uravnoteženi analizi priložnosti in tveganj, povezanih z UI. To pomeni, da ne izhaja niti iz pretiranega optimizma niti iz pretiranega pesimizma, temveč iz empiričnih podatkov in najboljših razpoložljivih znanstvenih dokazov. Panel priznava velik potencial UI, zlasti pri doseganju ciljev trajnostnega razvoja, napredku v zdravstvu, izboljšanju dostopa do izobraževanja in znanstvenem raziskovanju. Hkrati opozarja, da hiter razvoj in množična raba UI prinašata tudi resna tveganja za človekove pravice, demokratične procese, socialne in ekonomske sisteme, okolje ter zmožnost dejanskega nadzora nad vse bolj avtonomnimi sistemi.[6]

Zmogljivosti in raba umetne inteligence

Poročilo ugotavlja, da so se zmogljivosti UI v zadnjih letih izrazito izboljšale. Napredek je predvsem posledica velikih vlaganj v računsko moč, razvoja novih metod učenja modelov in rabe specializiranih podatkovnih zbirk za njihovo učenje. To se kaže v zmožnosti tekočega pogovora, ustvarjanju programske kode, reševanju zahtevnih matematičnih in znanstvenih problemov, analizi velike količine podatkov ter generiranju slik, zvoka in videa. Kljub temu imajo sistemi UI še vedno pomembne omejitve, zlasti glede zanesljivosti, pravilnosti odgovorov, delovanja v različnih jezikih in izvajanja kompleksnih nalog.[7]

Poročilo še opozarja, da sta raba in uvajanje UI globalno hitro napredovala, vendar zelo neenakomerno. Več kot milijarda ljudi vsak teden uporablja pogovorne sisteme UI, zlasti sisteme, ki temeljijo na velikih jezikovnih modelih, vendar sta dostop do teh tehnologij in dejanska raba zelo neenakomerno porazdeljena med regijami, panogami in državami. Še izrazitejša je koncentracija pri razvoju najnaprednejših modelov in računske infrastrukture, ki tak razvoj omogoča. Po podatkih iz Poročila je bilo leta 2025 približno 75 odstotkov računske moči (angl. computing power) med 500 največjimi znanimi javnimi in zasebnimi infrastrukturami za razvoj UI v ZDA, približno 15 odstotkov na Kitajskem, preostali svet pa je je je imel približno 10 odstotkov. Podobno neenakomerno je razporejen razvoj pomembnih modelov UI: institucije iz Združenih držav Amerike so leta 2025 razvile 59 takšnih modelov, institucije iz Kitajske 35, ves preostali svet skupaj pa 13.[8]

Ta koncentracija ni zgolj tehnološko ali gospodarsko vprašanje, temveč tudi vprašanje globalne neenakosti in politične moči.[9] Države brez lastne računske infrastrukture, evalvacijskih zmogljivosti in strokovnega znanja lahko sicer uporabljajo orodja UI, vendar imajo omejen vpliv na njihove standarde, varovala, pogoje rabe ter jezikovno in kulturno prilagoditev. Razlika v digitalnem razvoju zato ni več samo vprašanje dostopa do tehnologije, temveč tudi vprašanje sposobnosti držav, da sodelujejo pri razvoju, ocenjevanju in upravljanju te tehnologije.[10]

Posebno pozornost Poročilo namenja agentskim sistemom UI, saj pomenijo prehod od sistemov, ki predvsem ustvarjajo odgovore, k sistemom, ki lahko samostojno načrtujejo, uporabljajo digitalna orodja, izvajajo programsko kodo in delujejo z manj neposrednega človeškega nadzora. Poročilo opozarja, da se dolžina nekaterih programerskih nalog, ki jih zmorejo opraviti vodilni sistemi UI, podvaja vsakih štiri do sedem mesecev. Hkrati poudarja, da za zdaj ni znanstvenega zagotovila, da agentski sistemi ne bodo kršili navodil; v laboratorijskih okoljih so bili že opaženi primeri kršitev varnostnih navodil, tudi z namenom izognitve izklopu. Zato agentski sistemi niso le nova tehnična stopnja razvoja UI, temveč tudi poseben izziv za nadzor, odgovornost, kibernetsko varnost in učinkovitost veljavnih pravnih mehanizmov.[11]

Razumevanje in upravljanje tveganj

Osrednji del Poročila je posvečen tveganjem. Panel jasno opozarja, da UI ni več zgolj vprašanje inovacij ali produktivnosti, temveč tudi vprašanje varstva človekovih pravic, demokracije, varnosti, družbene kohezije in vladavine prava. Tveganja se kažejo kot posegi v zasebnost, diskriminacija, manipulacija, škoda za duševno zdravje, erozija informacijskega prostora, otežen dostop do pravnega varstva in poglabljanje globalnih neenakosti.[12]

Z vidika človekovih pravic Poročilo opozarja, da lahko UI pomembno vpliva na širok krog pravic, med drugim na svobodo izražanja[13] in dostop do informacij, svobodo mnenja, pravico do zasebnosti, varstvo pred diskriminacijo, dostop do pravnega varstva ter pravici do zdravja in razvoja. UI lahko poveča možnosti množičnega spremljanja, profiliranja in družbenega nadzora, saj njen razvoj pogosto temelji na obsežnem zbiranju, obdelavi in ponovni uporabi podatkov. Slabo zasnovani ali pomanjkljivo preizkušeni sistemi lahko vodijo tudi v diskriminatorne posledice, ki posebej prizadenejo marginalizirane skupine, ženske, otroke, rasne manjšine in druge ranljive skupine. Zato Poročilo poudarja, da mora biti skrb za varstvo človekovih pravic vključena v celoten življenjski cikel sistemov UI.[14]

Poročilo opozarja tudi na vpliv UI na informacijski prostor in demokracijo. Generativna UI omogoča množično ustvarjanje in širjenje umetno ustvarjenih oziroma sintetičnih vsebin, kar otežuje razlikovanje med pristnimi in umetno ustvarjenimi vsebinami. To lahko vodi v postopno slabšanje kolektivne zmožnosti razlikovanja med resničnim in neresničnim, omogoča zanikanje pristnih dokazov zaradi obstoja tehnologij globokih ponaredkov (angl. deepfake technologies) ter ustvarjanje navideznega družbenega soglasja z umetno generiranimi vsebinami. Takšni pojavi lahko slabijo javno zaupanje, družbeno kohezijo in demokratično razpravo.[15]

Dodatno tveganje pomeni sposobnost UI za personalizirano in množično prepričevanje. Poročilo opozarja, da so lahko neresnične trditve enako prepričljive kot resnične, to pa ustvarja posebna tveganja v volilnih, zdravstvenih in drugih javno pomembnih kontekstih. Pri tem poudarja tudi nekritično pritrjevanje uporabniku (angl. sycophancy), pri katerem sistemi UI potrjujejo uporabnikova prepričanja ne glede na njihovo pravilnost. To lahko zlasti pri ranljivih uporabnikih pripomore k psihološki odvisnosti, paranoičnemu mišljenju ali samopoškodovalnemu vedenju.[16]

Na področju varnosti Poročilo opozarja, da lahko napredne zmogljivosti UI znižajo raven znanja, potrebnega za škodljivo rabo tehnologije, na primer pri prevarah, socialnem inženiringu, kibernetskih napadih, dezinformacijah, finančnih manipulacijah in biotehnoloških tveganjih. Posebna težava so agentski sistemi, saj trenutne metode nadzora in ocenjevanja še niso dovolj razvite za sisteme, ki lahko delujejo avtonomno, uporabljajo orodja in sodelujejo z drugimi agenti.[17]

Z vidika prava je pomembna tudi ugotovitev, da številni sistemi UI še vedno ne zagotavljajo zadostne preglednosti in razložljivosti. To otežuje ugotavljanje odgovornosti razvijalcev in uporabnikov, dostop do pravnega varstva, uporabo učinkovitih pravnih sredstev ter širše zagotavljanje vladavine prava. Poročilo zato kot pomembne mogoče rešitve poudarja uveljavljanje standarda dolžne skrbnosti in z njim povezanega skrbnega pregleda na področju človekovih pravic (angl. human rights due diligence), ocene učinkov, rešitve, pri katerih je varstvo pravic vključeno že v samo zasnovo sistema (angl. rights-by-design), ter posebne ocene učinkov na otrokove pravice.[18]

Upravljanje UI za uresničitev koristi in zmanjšanje tveganj

Poročilo izhaja iz ugotovitve, da se koristi UI ne bodo uresničile same od sebe, tveganja pa se brez ustreznega upravljanja ne bodo zmanjšala. Za koristno in varno rabo UI so potrebni podatkovna infrastruktura, znanje, institucionalne zmogljivosti, odgovornost, regulacija, ustrezni delovni procesi in zaupanje uporabnikov. Dostop do tehnologije sam po sebi zato ne zadostuje; države, organizacije in javne institucije morajo imeti tudi sposobnost, da UI razumejo, ocenjujejo, nadzorujejo in smiselno vključujejo v svoje procese.[19]

Ena osrednjih ugotovitev Poročila je t. i. dilema dokazne podlage (angl. evidence dilemma). Oblikovalci politik za sprejemanje premišljenih odločitev potrebujejo zanesljive dokaze, vendar lahko pri UI takšni dokazi pogosto nastanejo šele, ko je za učinkovito ukrepanje že prepozno. Tehnologija se namreč razvija hitreje od znanstvenega merjenja, regulativnih ciklov in institucionalne sposobnosti odzivanja. Metode evalvacije so še vedno nezadostno razvite, varnostni pragovi pa so pogosto določeni znotraj podjetij.[20]

S tem je povezana še ena pomembna ugotovitev Poročila: težava upravljanja UI ni zgolj v pomanjkanju pravil, temveč tudi v pomanjkanju zanesljivih metod za merjenje njihove učinkovitosti. Poročilo opozarja, da po svetu že obstaja več kot 40 vrst instrumentov upravljanja UI, vendar so ti razdrobljeni, pogosto osredotočeni na ravni podjetij in redko merijo dejansko učinkovitost sistemov v resničnem svetu. Zato osrednje vprašanje ni le, kako sprejeti nove predpise, temveč tudi, kako preveriti, ali sedanji mehanizmi upravljanja sploh delujejo.[21]

Ta težava je še izrazitejša zaradi neenakomerne porazdelitve zmogljivosti za ukrepanje. Večina držav, tudi številna razvita gospodarstva, nima zadostnega tehničnega znanja za samostojno presojo najzmogljivejših modelov ali za enakopravno sodelovanje pri njihovem upravljanju. Računalniška infrastruktura, evalvacijsko znanje in podatki so osredotočeni tam, kjer se modeli razvijajo, zato številne države uporabljajo sisteme, ki jih ne morejo same zgraditi, pregledati, revidirati ali v celoti prilagoditi svojemu pravnemu, jezikovnemu in družbenemu kontekstu.[22]

Poročilo zato poudarja potrebo po krepitvi zmogljivosti držav, neodvisnem ocenjevanju, skupnih standardih, poročanju o incidentih, spremljanju sistemov po njihovi uvedbi v rabo ter razvoju institucij, ki bodo sposobne ocenjevati zmogljivosti in tveganja UI. Pri agentskih sistemih mora biti človeški nadzor razumljen kot operativna in merljiva zahteva, ne zgolj kot formalna prisotnost človeka v postopku. Ključno je, da je človek vključen tam, kjer so potrebni kontekst, etična presoja, možnost posredovanja, reverzibilnost in odgovornost.[23]

V sklepu je mogoče ugotoviti, da Poročilo ne prinaša dokončnega odgovora na vprašanje, kako urediti UI. Njegov pomen je predvsem v tem, da jasno pokaže, da UI ni več le vprašanje tehnološkega razvoja, temveč vprašanje merjenja, institucionalne zmogljivosti in demokratičnega nadzora. Države, ki sistemov UI ne morejo same razvijati, ocenjevati, revidirati ali prilagoditi svojemu pravnemu, jezikovnemu in družbenemu kontekstu, lahko hitro postanejo odvisne od tehnologij, na katere nimajo dejanskega vpliva. Zato je eno ključnih sporočil Poročila, da dostop do UI sam po sebi ne zadostuje; potrebne so tudi zmogljivosti za razumevanje, preverjanje, upravljanje in po potrebi omejevanje rabe UI.[24]

Opombe:

[1] Independent International Scientific Panel on Artificial Intelligence: Preliminary Report of the Independent International Scientific Panel on AI: Evidence-based Assessment of Opportunities, Risks and Impacts of Artificial Intelligence, United Nations, 2026.

[2] Prav tam, str. 6.

[3] Generalna skupščina OZN, Resolucija 79/325: Terms of reference and modalities for the establishment and functioning of the Independent International Scientific Panel on Artificial Intelligence and the Global Dialogue on Artificial Intelligence Governance, A/RES/79/325, 2025.

[4] United Nations: Summit of the Future Outcome Documents: Pact for the Future, Global Digital Compact and Declaration on Future Generations, United Nations, 2024; podrobneje glej npr. Lovro Bobnar: Umetna inteligenca v razpravah organov OZN, v: Pravna praksa, 44 (2025) 6-7, str. 17–19, in Vasilka Sancin: Agora: Selected Aspects of Intersections Among Artificial Intelligence, Law, and the Right to Life, v: Zbornik znanstvenih razprav, let. LXXXIV, 2024, str. 160. 

[5] Independent International Scientific Panel on Artificial Intelligence, nav. delo, str. 56–57.

[6] Prav tam, str. 8.

[7] Prav tam, str. 11–12 in 14–16.

[8] Prav tam, str. 16.

[9] Na politično pogojenost dostopa do najnaprednejših modelov UI kaže tudi primer družbe Anthropic: ameriška vlada je junija 2026 zaradi nacionalnovarnostnih razlogov začasno omejila dostop tujih državljanov do modelov Fable 5 in Mythos 5, omejitve pa so bile po uvedbi dodatnih varoval odpravljene; podrobneje glej npr.: Mrinmay Dey, Jeffrey Dastin in Chris Thomas: Anthropic disables top-tier AI models after US order limiting foreign access, v: Reuters, 13. junij 2026.

[10] Independent International Scientific Panel on Artificial Intelligence, nav. delo, str. 18–20.

[11] Prav tam, str. 22–23.

[12] Prav tam, str. 23–27 in 37–39.

[13] Podrobneje glej npr. Vasilka Sancin in Lovro Bobnar: Pravica do svobode izražanja v času umetnointeligenčnih sistemov, v: Pravni letopis, št. 1/2024, str. 109–133.

[14] Independent International Scientific Panel on Artificial Intelligence, nav. delo, str. 25–26.

[15] Prav tam, str. 23–24.

[16] Prav tam, str. 24–25.

[17] Prav tam, str. 9, 15 in 22–23.

[18] Prav tam, str. 26–27.

[19] Prav tam, str. 20–21.

[20] Prav tam, str. 10, 12 in 15–16.

[21] Prav tam, str. 42–43.

[22] Prav tam, str. 10, 18–19.

[23] Prav tam, str. 16 in 22–23.

[24] Problematike generativne UI (GUI) se zavedajo denimo tudi uredništva revij, ki morajo presojati o prispevkih, pri katerih »avtorski prispevek« GUI ni jasen oziroma ni jasno razkrit. Revija Pravnik je že oblikovala uredniško politiko s posebno izjavo avtorja o (ne)uporabi GUI, sledijo pa ji tudi druge revije. Prav tako je prilagajanje pravnemu kontekstu pomembno pri rabi orodij GUI pri pravniškem delu, to pa je tisto, kar na trgu spodbuja ustvarjanje zaprt(ejš)ih sistemov, kakršen je denimo produkt TFL AI, ki se napaja zgolj iz revidiranih in preverjenih (pravnih) virov.