Umetna inteligenca vse hitreje postaja del vsakodnevnih poslovnih procesov – od optimizacije poslovanja do podpore pri odločanju. Z njenim širjenjem pa se odpirajo tudi nova vprašanja: kdo v organizaciji nosi odgovornost za odločitve, ki jih soustvarjajo algoritmi, kako podjetja obvladujejo povezana tveganja in kje je meja med tehnološkim izzivom ter vprašanjem upravljanja.
O tem smo se pogovarjali s Sašem Pašičem, direktorjem za pospeševanje produktivnosti z digitalizacijo in umetno inteligenco v družbi Petrol. O izzivih uvajanja umetne inteligence v poslovno okolje bo spregovoril tudi na 12. konferenci Dnevi prava zasebnosti in varovanja informacij, ki bo sredi aprila v Postojni.
Ali je vprašanje odgovornosti pri umetni inteligenci (v nadaljevanju tudi UI) danes primarno skladnostno, tehnološko ali upravljavsko vprašanje – in zakaj?
Umetna inteligenca je ena izmed informacijskih tehnologij, ki organizacijam omogočajo učinkovitejše poslovanje. Posebnost te tehnologije je njen izrazito transformativni vpliv, saj spreminja način izvajanja poslovnih procesov, način odločanja ter pričakovanja strank. Ta vpliv že danes oblikuje poslovno okolje, v prihodnjih letih pa bo še izrazitejši.
Zato vprašanje odgovornosti pri umetni inteligenci ni primarno tehnološko ali skladnostno vprašanje, temveč predvsem upravljavsko vprašanje. Ključno je, kdo v organizaciji nosi odgovornost za uvajanje rešitev umetne inteligence, kdo določa pravila njihove uporabe in kdo je odgovoren za njihove poslovne učinke. Tehnološki vidik določa, kako zanesljivo, varno in stabilno so sistemi umetne inteligence zasnovani. Skladnostni vidik pa določa, ali njihova uporaba ustreza regulativi, pravilom varstva podatkov ter internim standardom organizacije. Toda oba vidika lahko delujeta učinkovito le, če obstaja jasno upravljanje, ki določa odgovornosti za uvedbo, razvoj in nadzor nad uporabo umetne inteligence.
Zato lahko rečemo, da je vprašanje odgovornosti pri umetni inteligenci najprej vprašanje upravljanja, šele nato tehnologije in skladnosti.
Na konferenci boste na primeru Petrol d.d. predstavili pot uvajanja UI v poslovanje. Kdaj umetna inteligenca preneha biti IT-projekt in postane strateško upravljavsko vprašanje na ravni uprave?
Umetna inteligenca v organizacijah pogosto začne svojo pot kot razvojna pobuda ali pilotni projekt. Takšne pobude lahko izvirajo bodisi iz tehnoloških bodisi iz poslovnih področij, ki v svojih procesih prepoznajo priložnosti za izboljšave. V vsakem primeru pa umetna inteligenca vedno vključuje tudi tehnološki vidik, saj gre za podporo poslovanju z informacijskimi sistemi in podatki.
Ko umetna inteligenca začne vplivati na ključne poslovne procese, odločitve ali finančne rezultate podjetja, preneha biti zgolj tehnološka pobuda. V tem trenutku postane vprašanje poslovne odgovornosti. Takrat ni več ključno le vprašanje, ali sistem deluje tehnično pravilno, temveč kdo je odgovoren za poslovne učinke, ki jih ta sistem soustvarja. Pri umetni inteligenci pa je pomembno razumeti tudi širši kontekst. Gre za eno izmed najbolj transformativnih tehnologij današnjega časa, ki bo v prihodnjih letih pomembno vplivala na način poslovanja podjetij in pričakovanja strank. Zato vprašanje umetne inteligence ne bi smelo priti do ravni uprave šele takrat, ko posamezne rešitve že vplivajo na kritične procese.
Strateško vodstvo bi moralo umetno inteligenco obravnavati že v zgodnji fazi kot tehnološki trend, ki bo oblikoval poslovno okolje. Odločitev, ali organizacija ostane dlje časa v fazi raziskovanja in pilotnih projektov ali pa pristopi k sistematičnemu uvajanju tehnologije, je namreč že sama po sebi strateška.
Ali umetna inteligenca zahteva ločen upravljavski model ali jo je smiselno vključiti v obstoječe strukture upravljanja IT, tveganj in skladnosti? Kje so po vaših izkušnjah meje takšne integracije?
Po mojih izkušnjah umetna inteligenca praviloma ne zahteva povsem ločenega upravljavskega modela. Veliko je odvisno od zrelosti organizacije in od tega, kako dobro so že vzpostavljeni obstoječi modeli upravljanja tehnologije, podatkov, tveganj in skladnosti. Organizacije, ki imajo na teh področjih jasne procese in odgovornosti, lahko umetno inteligenco relativno naravno vključijo v te okvirje ter jih nadgradijo z dodatnimi pravili in nadzornimi mehanizmi.
Umetna inteligenca sicer prinaša nekatere nove zahteve, predvsem na področju sledljivosti odločitev, upravljanja podatkovnih tokov in nadzora nad delovanjem rešitev v produkciji. Zato je pomembno, da organizacije obstoječe upravljavske modele dopolnijo z mehanizmi, ki omogočajo pregled nad razvojem, uvajanjem in uporabo sistemov umetne inteligence.
Ključno pa je razumeti, da umetna inteligenca ni ločen svet znotraj organizacije. Gre za nadgradnjo obstoječih informacijskih sistemov in poslovnih procesov. Zato je tudi njeno upravljanje v prvi vrsti evolucija obstoječih struktur. Če organizacija že danes dobro upravlja svoje tehnologije, podatke in tveganja, ima zelo dober temelj tudi za upravljanje umetne inteligence.
Ko UI postane del operativnih procesov – denimo pri optimizaciji ali avtomatiziranem odločanju – kako se v praksi redefinira odgovornost? Ostaja individualna ali postaja sistemska?
Ko umetna inteligenca postaja del operativnih procesov, se postopoma spreminja tudi način razumevanja odgovornosti. Danes večina rešitev umetne inteligence še vedno podpira človeka pri odločanju, zato je odgovornost v veliki meri individualna. Končna odločitev praviloma ostaja na strani posameznika, ki vodi ali izvaja določen proces, in na strani poslovnega lastnika procesa.
Z večjo avtonomijo sistemov umetne inteligence pa se narava odgovornosti postopoma spreminja. Odgovornost postaja bolj sistemska, saj rezultati niso več posledica zgolj človeške odločitve, temveč delovanja celotnega sistema, ki vključuje podatke, informacijske sisteme, algoritme in procese nadzora.
To pa ne pomeni, da odgovornost prehaja na tehnologijo. V prihodnje bodo poslovni lastniki procesov upravljali tako človeške vire kot tudi sisteme umetne inteligence, ki bodo izvajali del nalog v teh procesih. Prav zato odgovornost za rezultate teh procesov tudi ob večji avtonomiji tehnologije ostaja na strani poslovnega lastnika procesa, ki določa pravila delovanja, sprejemljivo raven tveganja in način nadzora nad uporabo umetne inteligence.
Organizacije želijo UI uvajati hitro, hkrati pa regulatorni okvir (tudi evropski AI Act) postaja vse zahtevnejši. Ali regulativa po vaših izkušnjah vpliva na samo arhitekturo rešitev in organizacijo, ali gre predvsem za dodatno plast nadzora?
Regulativa umetne inteligence danes ne predstavlja zgolj dodatne plasti nadzora, temveč vse bolj vpliva tudi na način, kako organizacije zasnujejo svoje tehnološke rešitve. Bolj kot je v organizaciji razvito zavedanje o regulativnih zahtevah, večja je verjetnost, da bodo te upoštevane že v fazi zasnove rešitev. S tem se zmanjšuje tudi tehnični dolg, ki bi sicer nastal, če bi se zahteve regulative upoštevale šele naknadno.
Če so zahteve, kot so informacijska varnost, varstvo osebnih podatkov ali pravila evropskega akta o umetni inteligenci (AI Act), vključene že v fazi načrtovanja, neposredno vplivajo na arhitekturo rešitev umetne inteligence, izbiro tehnologij in na pristope k razvoju. Regulativa tako postaja del zasnove sistemov in ne le naknadni nadzor nad njihovo uporabo. Zato je pri uvajanju umetne inteligence ključno sodelovanje različnih področij v organizaciji. Poleg tehnoloških ekip morajo biti že v fazi zasnove vključena tudi področja informacijske varnosti, upravljanja tveganj, skladnosti in varstva podatkov, saj lahko le tak pristop omogoči stabilno in dolgoročno vzdržno uvajanje rešitev umetne inteligence.
Kje vidite večje tveganje: v napačni odločitvi modela ali v napačni organizacijski umestitvi umetne inteligence v podjetju?
Posamezna napačna odločitev sistema umetne inteligence praviloma predstavlja kratkoročno operativno tveganje. Takšna napaka lahko povzroči napačno priporočilo, slabšo optimizacijo ali neustrezen poslovni rezultat v posameznem primeru. Podobno kot pri človeških odločitvah je takšne napake mogoče analizirati, popraviti in z izboljšavami sistema postopoma zmanjševati njihovo verjetnost.
Bistveno večje tveganje pa predstavlja napačna organizacijska umestitev umetne inteligence v podjetju. Če organizacija nima jasno določenih odgovornosti za uvajanje, upravljanje in nadzor nad uporabo umetne inteligence, tveganje ne nastane le pri eni odločitvi, temveč postane sistemsko. Takšna nejasnost se lahko z vsako novo implementacijo tehnologije povečuje in dolgoročno vpliva na stabilnost poslovnih procesov. Zato je ključno vprašanje uvajanja umetne inteligence predvsem organizacijsko. Tehnološke napake je mogoče razmeroma hitro odkriti in odpraviti. Organizacijske nejasnosti pa lahko ustvarjajo trajno izpostavljenost tveganjem, saj vplivajo na način, kako se umetna inteligenca uvaja in uporablja v celotni organizaciji.
Kaj je ključno sporočilo vašega predavanja za vodstva podjetij – kaj morajo urediti danes, da jutri ne bodo odgovarjala za sistemske napake umetne inteligence?
Ključno sporočilo za vodstva podjetij je, da umetna inteligenca ni več zgolj tehnološka tema, temveč vprašanje upravljanja organizacije. V prvi fazi je pomembno, da organizacija prepozna, kdo je njen glavni pospeševalec uvajanja umetne inteligence, in tej vlogi zagotovi jasno podporo vodstva. Brez jasnega mandata in podpore na ravni vodstva uvajanje umetne inteligence pogosto ostane razpršeno med različnimi pobudami in ne doseže širšega poslovnega vpliva.
Naslednji korak je določitev jasne strategije za uvajanje in uporabo umetne inteligence. Organizacije morajo vzpostaviti sistematičen pristop, ki povezuje tehnologijo, poslovne procese, upravljanje tveganj, skladnost in informacijsko varnost. Umetna inteligenca namreč ni posamezen projekt, temveč tehnologija, ki postopoma postaja del številnih poslovnih procesov in zahteva jasen pristop.
Pomembno je tudi, da organizacije vzpostavijo način spremljanja dejanskega poslovnega vpliva umetne inteligence. Ključno ni število pilotnih projektov ali tehnoloških eksperimentov, temveč to, ali rešitve prinašajo merljive rezultate in ali organizacija razume tveganja, ki jih z njihovo uporabo prevzema. Pri tem je pomembno tudi, da umetna inteligenca ne ostane zgolj na ravni razprav in strategij, temveč postopoma postane del konkretnih rešitev in procesov v podjetju.
