Právo ve věku inteligentních strojů
autor: Mgr. Stanislav Mikeš publikováno: 14.05.2018
Autor ve své práci, která získala druhé místo v kategorii Talent roku soutěže Právník roku 2017, upozorňuje na některé právní problémy spojené s nástupem umělé inteligence do lidského života. Navrhuje proto zavést do českého právního řádu umělou inteligenci jako třetí kategorii osob vedle osob fyzických a právnických či zavést specifickou kategorii škody způsobené umělou inteligencí.
Žijeme ve věku inteligentních strojů. V řadě domácností pořizují nákupy virtuální domácí asistenti.[1] Čím dál tím více technologických a automobilových společností se zabývá vývojem autonomních (samořidících) vozidel. Chytří roboti začínají obsluhovat i komunikaci se zákazníky na zákaznických linkách (zatím převážně v textové podobě).[2] O cenách nabízených produktů či služeb na internetu často rozhoduje také umělá inteligence, a to na základě informací, které má o vás jako o zákazníkovi; hovoří se v té souvislosti o ekonomice algoritmů.[3] Inteligentní stroje také dnes nejen provádějí vědecké experimenty, ale rovněž i formulují hypotézy k těmto experimentům a vyhodnocují data, tedy formulují příslušné závěry.[4]
Tyto stroje, roboti či algoritmy spadající pod pojem umělá inteligence zatím jednají převážně na základě lidské instrukce a pod lidskou kontrolou. Zjednodušeně řečeno, lidé stále mohou umělou inteligenci vypnout.[5] Je však dle mého názoru otázkou času, kdy se umělá inteligence stane inteligencí v opravdovém slova smyslu. A začne nejen mnohem více než dnes nahrazovat lidský úsudek, ale i samostatně myslet a jednat sama za sebe. Jinak řečeno, kdy si umělá inteligence uvědomí samu sebe. Není dle mého názoru otázkou, jestli se tak stane, ale spíše kdy se tak stane (pokud se to již v určité míře neděje). Na tento nástup umělé inteligence a její pozdější zdokonalení, či dokonce „procitnutí“ ve shora uvedeném smyslu bude muset reagovat i právo. A právě do této budoucnosti se chci ve své úvaze podívat a naznačit právní problémy a otázky, s nimiž bude třeba se vypořádat. Některé z nich jsou přitom aktuální již dnes.
Řada lidí si inteligentní stroj schopný samostatně myslet představí jako humanoida (přesněji androida). Dle mého názoru tak ale inteligentní stroje budoucnosti převážně vypadat nebudou, resp. bude tak vypadat jen jejich malá část. Ostatně samo slovo stroj je možná přehnané, jelikož odkazuje na určitý hmotný objekt, a slovní spojení umělá inteligence (které je významově oproštěné od hmotného substrátu) je možná přesnější. Mnohem spíše si totiž lze inteligentní stroje představit právě jako „shluky algoritmů“ (programy) fungující po síti (internetové či jiné). Tyto algoritmy přitom mohou mít lidská jména či nabývat podoby lidské tváře. To proto, že lidský mozek je evolučně naučený a zvyklý jednat s lidmi (vybavte si sami, jak je vám nepříjemné, když vás např. na zákaznické lince obsluhuje strojový hlas, a ne člověk). Ve své podstatě ale umělou inteligenci tvoří shluk algoritmů, tedy počítačový kód.
Zatím jsou tyto inteligentní stroje či umělá inteligence (oba termíny používám zaměnitelně) odkázány z větší části na lidský faktor. Tedy (zatím) vyžadují od člověka povel či spuštění. V okamžiku, kdy začne tato umělá inteligence samostatně jednat a rozhodovat, ať již na pokyn člověka (spočívající nikoliv v konkrétní instrukci, ale např. i v prostém uvedení v chod), nebo autonomně, bude třeba mít připraveny odpovědi na důležité otázky. Nejenom na ty morální a etické, ale i ty právní. Jak bychom měli umělou inteligenci v právním řádu ukotvit? Představuje samostatnou a svébytnou kategorii osob? Kdo bude právně odpovídat za jednání umělé inteligence? Bude to stále člověk jako její tvůrce? Anebo budeme právně postihovat umělou inteligenci jako takovou? Jak obstojí tradiční odpovědnostní právní instituty vycházející z vůle a jejího projevu za situace, kdy tato vůle nebude lidská? A může být umělá inteligence vůbec nositelkou práv?
Cílem této mé úvahy je pokusit se poskytnout alespoň obrysy možných odpovědí na shora uvedené otázky a rovněž upozornit na další související problémy, na něž bude třeba v právu hledat řešení. V této souvislosti chci také poukázat na některé základní právní problémy spojené s nástupem inteligentních strojů do našich životů. Současný právní řád totiž dle mého názoru zatím není na existenci samostatně uvažujících autonomních strojů připraven. Na poli práva jsem přitom zatím v českém právním prostředí významnější diskusi na toto téma nezaznamenal.[6] Přitom je dle mého názoru neméně důležitá, jelikož právní uchopení této problematiky může mít velké praktické dopady na každodenní životy lidí.
Umělá inteligence jako „třetí“ osoba?
V českém právním řádu[7] se operuje se dvěma kategoriemi osob. Prvně jde o osoby fyzické, tedy o lidi – člověka. Od nich se potom odlišují umělé útvary nadané samostatnou právní osobností, a to právnické osoby. Tyto útvary projevují svou vůli prostřednictvím lidského substrátu, který tyto osoby v konečné instanci vždy ovládá. Český právní řád přiznává určité specifické postavení i zvířatům. Občanský zákoník v § 494 výslovně uvádí, že zvíře není věcí, ale je to smysly nadaný živý tvor, na nějž se ustanovení o věcech aplikují pouze obdobně. Zvíře tedy není samostatnou kategorií „osob“, ale je alespoň určitou kategorií sui generis odlišnou od věcí. Pouze pro zjednodušení se pak na zvíře aplikují obdobná pravidla jako na věci.
O umělé inteligenci zatím český právní řád včetně občanského zákoníku mlčí. Přitom umělá inteligence již nyní významně zasahuje do našich životů a do budoucna tomu tak dle mého názoru bude patrně ještě více. Čím dál tím častěji se objevující zprávy v médiích o autonomně řízených vozidlech a bezpočtu chytrých zařízení připojených k internetu (hovoří se o tzv. internetu věcí[8]) budiž toho důkazem. S tím, jak tato zařízení budou jednat čím dál více autonomně, bude rovněž obtížné řešit klasické občanskoprávní otázky související zejména s koncepty odpovědnosti za škodu, včetně souvisejících otázek přičitatelnosti či zavinění.
Domnívám se proto, že do právního řádu by měla být zavedena umělá inteligence jako třetí kategorie osob vedle osob fyzických a právnických.[9] Popř. by mělo být o umělé inteligenci pojednáno alespoň jako o samostatné kategorii obdobně, jako je tomu u zvířat. K podobným závěrům, domnívám se, postupně zamíří i Evropská komise. Ta v květnu 2017 publikovala výstupy[10] ze svých konzultací ohledně možné aktualizace letité směrnice o odpovědnosti za vadné výrobky.[11] Dle zúčastněných respondentů oblast autonomních strojů a umělé inteligence způsobuje problémy s právní odpovědností, které by měly být řešeny.[12]
Umělou inteligenci by bylo možné do právního řádu definovat např. jako útvar odlišný od člověka nadaný schopností samostatně rozhodovat a jednat, potažmo jako umělý útvar nadaný právní osobností od svého vzniku do svého zániku, obdobně jako je tomu u právnické osoby.[13] Zavedení konceptu umělé inteligence do občanského zákoníku, ať už jako samostatné „osoby“ vedle osob fyzických a právnických, či pro začátek alespoň jako specifické kategorie sui generis, obdobně jako je tomu u zvířat, by rovněž usnadnilo i pozdější vývoj legislativy týkající se dané oblasti.
Praktickou aplikaci konceptu umělé inteligence jako třetí osoby si lze představit na jednoduchém příkladu nehody způsobené autonomním vozidlem.[14] Kdo bude za tuto nehodu odpovídat za předpokladu, že řidič vozidlo neřídil a neměl možnost do jeho řízení zasáhnout, tedy byl pouze pasažérem, byť ve vlastním voze? Vůle řidiče je za této situace vyloučena. Bude tedy poškozený žalovat právě řidiče, byť ten bude mít jednoznačný důkaz, že se na škodě nemohl podílet, neboť pouze seděl v autě a neřídil? Nebo bude poškozený žalovat výrobce autonomního vozidla? Či snad poskytovatele software (umělé inteligence), který ovládá dané vozidlo? Anebo např. poskytovatele internetového připojení, který nezajistil plynulé pokrytí signálem, v důsledku čehož vozidlo např. nemělo přesné údaje o poloze jiných vozidel?
Pokud bychom samořiditelné auto považovali za umělou inteligenci, samostatnou právní entitu, popř. alespoň samostatnou kategorii obdobně jako u zvířat, bylo by tyto otázky možné poměrně snadno zodpovědět, a to zejména v kombinaci se zakotvením objektivní odpovědnosti založené na konceptu přičitatelnosti jednání. Obdobně by bylo možné postupovat i v případě chytrých algoritmů, které by rovněž byly považovány za samostatné osoby v právu (umělou inteligenci) a byla by případně stanovena objektivní odpovědnost za jejich jednání a rovněž by bylo postaveno najisto, komu lze jednání přičítat. Pokud by tedy váš domácí virtuální asistent koupil bez vaší ingerence automobil, bylo by najisto postaveno, kdo za vzniklou situaci ponese odpovědnost, popř. komu vznikl závazek, a jak vzniklou situaci právně vypořádat.
Uvědomuji si, že zakotvení umělé inteligence jako „třetí“ osoby by vyvolalo potřebu revidovat a postupně adaptovat podstatně širší masu právních předpisů než jen občanský zákoník, u nějž bych považoval za vhodné začít. Ale obdobně jako se před staletími zdál být lidstvu revoluční koncept právnických osob jako umělých bytostí, v průběhu staletí se s ním lidstvo a moderní právo naučilo dobře zacházet. Stejně tak tomu dle mého názoru bude i s konceptem umělé inteligence jako „třetí“ osoby. Zavedení této nové kategorie „osob“ či alespoň specifické kategorie věcí považuji v brzké době za očekávatelné s tím, jak se budou množit právní problémy s umělou inteligencí související. Některými těmito problémy a aspekty se chci v této své úvaze dále zabývat.
Kdo odpovídá za jednání umělé inteligence?
Již shora jsem na příkladu uvedl, že zavedení konceptu umělé inteligence jako „třetí osoby“ vedle osob fyzických a právnických by mohlo usnadnit situaci poškozených jednáním takové umělé inteligence. Nyní bych se chtěl podrobněji zabývat právě nastavením odpovědnostních mechanismů dopadajících na jednání umělé inteligence, a to specificky v kontextu českého právního řádu, zejména občanského zákoníku.
Nejprve se chci zabývat tím, zda by bylo možné na jednání umělé inteligence aplikovat obecná ustanovení o náhradě škody počítající s osobou škůdce a jejím zaviněním.
Občanský zákoník používá v § 2910, jakož i v dalších ustanoveních, pojem „škůdce“. Tradičně je v právní nauce chápáno, že za škůdce je možné považovat fyzickou či právnickou osobu.[15] Škůdcem totiž může být pouze někdo, kdo je nadán schopností aktivně jednat, projevovat svoji vůli a vystupovat v právních vztazích, tedy jen někdo, kdo má právní osobnost. Tato vlastnost je pojmu škůdce imanentní. Člověku právní osobnost přiznáváme od narození a právnickým osobám uměle od jejich vzniku do jejich zániku. Občanský zákoník však výslovně nestanoví, že by škůdcem nemohla být i jiná entita, odlišná od člověka a právnické osoby (byť si jsem vědom toho, že lze systematicky a teleologicky dovodit, že škůdcem mohou být jen fyzické a právnické osoby, jak výše uvádím). Mohla by tedy být škůdcem i umělá inteligence?
U umělé inteligence vzniká nejasnost v tom, do jaké míry pouze reaguje na příkaz člověka (ve vaší lednici dojde mléko, což ona sama zjistí a nabídne vám, zda jej chcete objednat) a kdy již jedná samostatně, tedy samostatně právně jedná (např. ve vaší lednici dojde mléko a lednice jej sama objedná, protože vy to tak také děláte). Pokud umělá inteligence vystupuje pouze v roli „konzultanta“, kdy např. pouze vyhodnocuje veškeré dostupné údaje a předloží poté člověku návrh svého rozhodnutí, je možné dle mého názoru stále pracovat se stávající koncepcí a přiznat odpovědnost člověku, jelikož ten v konečné instanci činí rozhodnutí.[16]
Domnívám se ale, že je neudržitelný názor, že umělá inteligence vždy jedná výlučně jen na příkaz člověka, tedy že člověk má nad umělou inteligencí dohled a že vždy ovlivňuje to, kdy umělá inteligence může de facto v zastoupení člověka vstoupit do právních vztahů.[17] Jsem navíc toho názoru, že již v dnešní době existuje umělá inteligence (a do budoucna to dle mého názoru bude čím dál tím více zřetelnější), která jedná bez příkazu člověka a vystupuje v právních vztazích zcela samostatně. Příklad s havarujícím autonomním vozidlem se nabízí.[18] Ale představit si můžeme i jiné situace. Např. chytrý sám sebe učící algoritmus vyhodnocující vaše chování vám na internetu nabízí personalizovanou reklamu. Pokud tato reklama zasáhne do vašich osobnostních práv, kdo vám způsobil újmu? Nabízí se jednoduchá odpověď, že to byl vlastník či tvůrce daného algoritmu či ten, kdo tento algoritmus zprovoznil či začal využívat. Co když ale bude moci taková osoba přesvědčivě prokázat, že nemohla jakkoliv ovlivnit to, jaké všechny informace o vás daný algoritmus sbírá či jak si daný algoritmus informace o vás vyhodnotí? Jinak řečeno, taková osoba (vlastník) prokáže, že nemohla být vůbec považována za škůdce, jelikož nemohla v dané situaci vůbec jednat, jelikož neprojevila žádnou svou vůli. Domnívám se, že v takových situacích by bylo vhodné za škůdce považovat právě umělou inteligenci jako „třetí“ kategorii osob vedle osob fyzických a právnických. Je pak na zvážení, jakým způsobem pracovat s právní osobností umělé inteligence. Dovedu si představit, že by v počátku byla umělá inteligence omezena v určitých jednáních obdobně, jako je tomu při omezení svéprávnosti u člověka.
Vedle polemiky o tom, zda umělou inteligenci je vůbec možné vnímat jako „škůdce“, je neméně zajímavá a i značně kontroverzní otázka zavinění. Připustit, že škůdcem může být i umělá inteligence, totiž dle mého názoru není až tak radikální krok a lze si jej představit. U zavinění je ale již třeba připustit, že vůlí a schopností ji projevit je nadána i zcela jiná entita, než je člověk.[19] Aniž bych chtěl sklouzávat k patosu, připustit existenci na člověku nezávislé vůle, tedy existenci vůle u jiné entity, než je člověk, může být chápáno i jako zpochybnění lidství a lidstva jako takového. Je proto třeba s těmito koncepty zacházet velmi citlivě a opatrně.[20]
Teorie práva hovoří v souvislosti se zaviněním o určitém aspektu „lidského jednání“.[21] Zavinění je tak obecně chápáno jako vnitřní psychický vztah toho, kdo jednání porušil, k výsledku jeho chování.[22] Pokud užíváme pojmy jako „vnitřní“ či „psychický“, automaticky tím myslíme „lidský“. I pro mě je obtížné připustit, že by autonomní stroj či chytrý algoritmus mohl mít svou „psychiku“. Psychiku totiž spojujeme zejména s existencí emocí, které jsou zatím stále přisuzovány spíše lidem.[23] Emoce jsou přitom natolik složitým mechanismem souvisejícím s vnitřním fungováním lidského mozku, že ani u lidí nejsou všechny otázky spojené s existencí emocí spolehlivě vysvětleny, alespoň dle mně dostupných informací.[24] Je však možné připustit, že umělá inteligence se může rozhodovat i pouze na základě faktů, bez emocí, tedy mít „psychiku“ svého druhu. Ostatně často si právě tuto schopnost rozhodovat bez emocí na strojích ceníme. Jinak řečeno, dle mého názoru je připustitelné, abychom hovořili o „psychice“ i u umělé inteligence, byť řekněme zatím o psychice ne zcela vyvinuté (prozatím ani já nejsem přesvědčen, že stávající stroje či stroje v brzké době budou schopny konstruovat či mít vlastní emoce).
Základní otázka tedy zní, zda umělá inteligence vyjadřuje svou vlastní vůli, anebo jakousi jinou, od člověka odvozenou vůli. Když umělá inteligence předjíždí v samořiditelném voze, je rozhodnutí předjet vůlí a projevem vůle této umělé inteligence, anebo člověka, který je však pouze pasažérem v takovém voze? Když můj domácí virtuální asistent zjistí, že mi dochází vejce, a sám je objedná u online supermarketu, bylo mou vůlí vajíčka koupit, anebo rozhodnutí a související projev za mě učinil někdo jiný (virtuální asistent)?[25] Když chytré algoritmy u internetových obchodů upraví nabízenou cenu v návaznosti na to, jaké o mně získají informace, projevují vůli svou, anebo vůli obchodníka? Když chytrý stroj provádí složitou operaci, při níž musí vyhodnocovat množství aktuálních informací a volit podle toho vhodný postup, rozhoduje a projevuje vůli tento stroj, anebo je to vůle lékaře či operatéra, který stojí opodál a stroj uvedl v chod? Jsou to tyto otázky, které je třeba si klást a na něž je třeba hledat odpovědi. Můj názor je ten, že v určitém okamžiku bude nezbytné dospět k tomu, že vedle člověka existují i další entity nadané vůlí na člověku nezávislou. A tím pádem tak připustit, že i umělá inteligence může jednat zaviněně, tedy mít vlastní volní vztah ke svému jednání a k jeho následkům.
Jsem tak toho názoru, že není vyloučeno, aby v budoucnu byla na jednání umělé inteligence aplikována obecná pravidla o náhradě škody tak, jako tomu běžně je u fyzických a právnických osob. Domnívám se však, že pro současnost, resp. blízkou budoucnost bude spíše vhodnější postupovat mechanismy objektivní odpovědnosti a přičitatelnosti jednání. Je tomu tak proto, že aplikace obecných konceptů škody na jednání umělé inteligence by vyžadovala vyřešit množství složitých otázek (a to i těch morálních a etických, jak jsem se snažil naznačit výše) a domnívám se, že k odpovědím na ně nebude vůbec snadné dojít. Naopak koncept objektivní odpovědnosti za škodu způsobenou umělou inteligencí v kombinaci s upravenou přičitatelností jednání je podle mého akceptovatelný a představitelný jak pro právnickou, tak i pro laickou veřejnost.
V této souvislosti se rovněž domnívám, že na škodu způsobenou umělou inteligencí nepůjde jednoduše aplikovat § 2937 o. z. Dané ustanovení řeší situaci, kdy určitá věc způsobí škodu sama od sebe, přičemž v takovém případě za ni bude odpovídat ten, kdo nad věcí měl dohled, popř. její vlastník. Určitý rozpor existuje podle mého názoru již v tom, že umělá inteligence může být nadána schopností samostatně jednat, a to nezávisle na člověku. Jinak řečeno, umělou inteligenci lze v řadě situací postavit naroveň jinému svéprávnému člověku, a je proto obtížné pracovat s konceptem dohledu. V dnešní době je přitom dle mého názoru neudržitelné, aby člověk měl kontrolu (dohled) nad všemi tzv. chytrými zařízeními (umělou inteligencí), která nějakým způsobem využívá. Již nyní je např. řada automobilů či chytrých telefonů vybavena tolika funkcemi a senzory, že je pro spotřebitele (bráno z mého pohledu) velmi obtížné se ve všech zorientovat a porozumět zcela jejich fungování. Je přitom rovněž rozporuplné, zda lze např. uživatele mobilního telefonu považovat za „vlastníka“ či „dohlížitele“ operačního systému (umělé inteligence) pohánějícího dané zařízení.[26] Není to spíše tak, že vlastním pouze zařízení, zatímco umělou inteligenci (operační systém) dodává, a tedy i vlastní třetí strana? Chci tím říci, že pokud budu řídit autonomní vozidlo, které způsobí nehodu, bude dle mého názoru přípustné tvrdit, že sice vlastním vozidlo jako neživý a nehmotný předmět, ale nevlastním umělou inteligenci, která dané vozidlo v danou chvíli ovládala a samostatně se rozhodovala. Kdo tedy bude v takové situaci osobou mající dohled, popř. vlastníkem ve smyslu § 2937 o. z.?
Do českého právního řádu by proto měla být zavedena specifická kategorie škody způsobené umělou inteligencí, a to v návaznosti na přijetí definice umělé inteligence jako třetí osoby či alespoň jako samostatné kategorie jako u zvířat. Bude přitom velkým námětem k diskusi, komu jednání umělé inteligence přičítat. Bude to vlastník zařízení nadaného či ovládaného umělou inteligencí? Anebo to bude tvůrce umělé inteligence, tedy řekněme softwarová firma? Zatímco po právně-technické stránce je dle mého názoru otázka zakotvení objektivní odpovědnosti a přičitatelnosti poměrně snadná, o tomto podstatném detailu se bude muset dlouze diskutovat. Přitom argumenty lze nalézt jak pro to, aby jednání umělé inteligence bylo přičítáno vlastníkovi zařízení (to může platit tehdy, pokud bude stále platit, že takové zařízení půjde vypnout, a to nebude shromažďovat informace či přijímat a vyřizovat požadavky nonstop bez možnosti vypnutí), tak původci či provozovateli umělé inteligence za situace, kdy člověk nebude mít reálnou možnost jednání umělé inteligence ovlivnit (např. dodatečným potvrzením či schválením jejího jednání). To může být vhodné např. právě u problematiky škod způsobených autonomními vozidly, kdy majitel vozu bude nikoliv řidičem, ale pouze pasažérem ve svém voze.
Ačkoliv jsem výše pojednával primárně o občanskoprávní odpovědnosti, otázka řešení odpovědnosti a zavinění je pochopitelně relevantní i z hlediska trestního práva. Komu budeme přičítat trestné činy způsobené umělou inteligencí? Může být jednání umělé inteligence novou okolností vylučující protiprávnost? Může být umělá inteligence sama trestně odpovědná a bude vhodné přijmout do trestních zákonů sankce v podobě „zákazu programu“, jakéhosi ekvivalentu nejvyššího trestu pro umělou inteligenci? A bude to vůbec možné za situace, kdy uznáme, že umělá inteligence má vlastní, na člověku nezávislou vůli? Pokud se tak stane, může být umělá inteligence nositelkou některých základních práv či svobod? Anebo jsou vyhrazeny jen člověku? Rovněž i tyto otázky je třeba si klást a hledat na ně odpovědi. Některými z nich se zabývám dále v textu.
Je umělá inteligence nositelkou práv, včetně těch základních?
Listina základních práv a svobod, jakož i četná řada mezinárodních smluv zabývajících se základními právy a svobodami, přičítá většinu těchto práv lidem (proto také „lidská práva“). Koncept základních lidských práv a svobod se však v moderních právních řádech v určitém rozsahu rozšiřuje i na právnické osoby jako umělé konstrukty. Dnes je tak i v českém právním prostředí uznáváno, že i právnická osoba má např. právo na podnikání, právo vlastnit majetek či právo na spravedlivý proces.[27] Můžeme říci, že u majetkových práv a práv procesního charakteru nám aplikace konceptu základních práv a svobod na právnické osoby nečiní větší problémy. Jak ale do této koncepce zapadá umělá inteligence? Může být taková umělá inteligence sama nositelkou některých základních práv a svobod? Ačkoliv se daná otázka jeví být odvážnou a futuristickou, budoucnost je podle mého názoru opět mnohem blíže, než se může zdát. Relevantní jsou tyto otázky zejména v souvislosti se svobodou slova a svobodou projevu.
Inteligentní stroje již dnes umějí např. skládat hudbu[28] či psát romány.[29] Dovolím si předpokládat, že se v těchto a dalších tvůrčích dovednostech budou nadále zdokonalovat. Pokud tak již nevznikl, tak brzy vznikne stěžejní právní problém. Komu přiznat autorství takto vytvořených děl?
Dle současně platného autorského zákona,[30] konkrétně dle jeho § 2 odst. 1 musí být autorské dílo chráněné zákonem jedinečným výsledkem tvůrčí činnosti autora. Když se však podíváme do § 5 odst. 1 autorského zákona, zjistíme, že autorem dle českého zákona může být pouze fyzická osoba. Pokud umělá inteligence bez přičinění člověka složí symfonii nebo napíše román, komu budou náležet autorská práva k tomuto dílu, když bude zřejmé, že žádný člověk se na vytvoření tohoto díla přímo nepodílel? Zdánlivě jednoduchá otázka má opět složitější filozoficko-morální souvislosti. Abychom na otázku ohledně autorských práv mohli dát odpověď, bude nutné uvažovat o tom, zda je umělá inteligence schopná něčeho, jako je tvůrčí činnost.[31] Dle autorského zákona je totiž tato činnost vyhrazena pouze lidem. Pokud ale od sebe nebudeme schopni odlišit lidmi skládanou hudbu od hudby skládané stroji nebo lidmi napsané romány od strojově napsaných románů, nezdá se být tato exkluzivita již překonaná? Neměli bychom autorské právo otevřít vedle lidem i dalším entitám, jako je umělá inteligence?
Dle mého názoru bude do budoucna nezbytné k takovému závěru dospět. Po právně-technické stránce opět podle mého nepůjde o složitou operaci. Jako první bude třeba upravit, že autorem může být i umělá inteligence, jejíž definice bude součástí občanského zákoníku. Následně by mělo platit, že osobnostní autorská práva, včetně zejména práva být uváděn jako autor, budou náležet umělé inteligenci, zatímco výkon majetkových práv autorských by zřejmě patřil tvůrci umělé inteligence. A to alespoň do té doby, než budou inteligentní stroje schopné rozhodovat o nakládání se „svým“ majetkem bez předchozích pokynů od člověka.[32]
Pokud již dnes dokáží stroje vytvářet něco, co je k nerozeznání od autorských děl vytvářených člověkem, je třeba zamýšlet se dle mého názoru i nad otázkou základních lidských práv a svobod, čímž se vracím k otázkám v úvodu této části výše. Má mít umělá inteligence zaručenu svobodu slova a svobodu projevu? A pokud ano, jak bychom měli potom nakládat s lidskými zásahy do činnosti umělé inteligence? Co když někdo záměrně přeruší umělou inteligenci v procesu tvorby či v jejím projevu? Bude tím zasahovat do jejích svobod? Řada těchto úvah zatím počítá s tím, že člověk bude schopný činnost umělé inteligence regulovat. Tak tomu, domnívám se, v příštích letech skutečně stále ještě bude. Co se ale stane v situaci, kdy umělá inteligence skutečně nabyde podoby autonomní entity schopné se rozhodovat a myslet nezávisle na člověku? Domnívám se proto, že podobně jako již nyní běžně přiznáváme některá základní práva a svobody právnickým osobám, začneme (nebo spíše bude nutné, abychom tak učinili) je přiznávat i umělé inteligenci.
Na danou problematiku se nabalují problémy z dalších právních oblastí. Jak jsem uváděl, v současnosti se pracuje i na programech typu „chatbot“, které budou schopny rozumět lidské řeči a s lidmi konverzovat.[33] Tyto programy často fungují na bázi toho, že se učí rozpoznávat naši individuální řeč a vyhledávají témata, o nichž se chceme bavit. Co když nás ale takový chatbot začne např. rasisticky urážet? Jak poznáme, že jde o náhodnou chybu a nejde např. o cílený záměr umělé inteligence, k němuž dospěla na bázi studia množství osobních dat, která jí o sobě poskytujeme? Kdo bude odpovědný za takové zásahy do naší právem chráněné osobnosti?
Opět tak vyvstává na důležitosti mít v právním řádu zakotveny odpovědnostní mechanismy, které by zatím fungovaly na bázi přičitatelnosti a které by tyto otázky pomohly zodpovědět. Doposud se přitom vychází z toho, že tyto a podobné formy umělé inteligence jsou nedokonalé a v podstatě jsou chápány více jako „hračky“ než jako samostatné osoby v právu. Představte si ale takového chatbota na druhé straně zákaznické linky či jako obsluhu v provozovně rychlého občerstvení. Dovedu si představit právní spor, kdy majitel chatbota bude argumentovat, že za jeho autonomní projevy neodpovídá, jelikož ty jen reagují na projevy druhé osoby, popř. na informace, které po sobě tato osoba veřejně zanechává a které jsou sbírány a vyhodnocovány.[34] Zatím lze těmto typům osobnostních sporů předcházet tím, že se umělé inteligenci zkrátka přikáže některá slova nepoužívat. Domnívám se však, že samoučící se mechanismy zabudované do této umělé inteligence se brzy naučí tyto zákazy obcházet, a zásahy do osobnosti tak mohou být u tohoto typu umělé inteligence běžné.[35]
Odpovědnost za škodu, duševní vlastnictví nebo ochrana osobnosti, kterým jsem se ve své úvaze více věnoval, jsou jen jedny z mnoha právních oblastí, které umělá inteligence již nyní ovlivňuje a způsobuje v nich nejasnosti a právní problémy. V souvislosti s nástupem umělé inteligence bude třeba se zamyslet nad revizí celé řady právních institutů či celých právních odvětví. Na významu nabyde i ochrana soukromí, včetně využívání osobních údajů a dalších dat, která umělá inteligence bude sbírat a vyhodnocovat.[36] Důležité bude rovněž vyřešit i složité trestněprávní otázky, týkající se nejen přičitatelnosti jednání a obecně trestní odpovědnosti umělé inteligence, ale např. i územní působnosti trestních zákonů. Konečně, do budoucna bude podle mého názoru nutné si začít klást i otázky typu, zda umělá inteligence může dědit či být opatrovníkem, a to ruku v ruce s tím, jak se tato umělá inteligence bude zdokonalovat ve svých projevech.
Kdo jsou příští stavitelé chrámů?
Rozvoj informačních a digitálních technologií postupuje kupředu masivním tempem, které bylo i před pouhými několika desítkami let jen stěží předvídatelné. Některé ze shora nastíněných otázek a úvah se dnes mohou zdát na první pohled obtížně uchopitelné a představitelné. Záměrně jsem proto ve své úvaze upozorňoval a uvažoval i nad problémy, které jsou již nyní aktuální, a to právě v kombinaci s výhledem dále za horizont (představovaný skutečně autonomními, na lidstvu nezávislými inteligentními stroji nadanými vlastní vůli a schopností ji projevovat). Tento horizont však může být mnohem blíž, než se zatím odvažujeme pomyslet. Na přelomu milénia také jen málokdo tušil, že za zhruba patnáct let bude skoro každý nosit v kapse výkonné miniaturní superpočítače schopné sbírat a vyhodnocovat obrovské množství dat (tedy tzv. chytré telefony). Proto je myslím důležité klást si i obtížně uchopitelné otázky a pokusit se na ně hledat odpovědi již dnes. Inteligentní stroje dle mého názoru svůj skutečný masivní nástup teprve zažijí a právo by na to mělo být připraveno.
Každá lidská kultura měla tendenci za sebou zanechávat chrámy a svatyně jako připomínku svojí existence, ať už jde o výzdobu pravěkých jeskyní, pyramidy ve starém Egyptě, nebo rané kostely a katedrály. V každé epoše lidských dějin se rovněž objevují významné milníky, které posouvají lidstvo jako celek vpřed. Ať už jde o první ucelený systém písma v Mezopotámii, antickou filozofii, knihtisk, vynález mikročipu, vždy se jednalo o událost tak významnou, že ovlivnila lidské životy ještě staletí, či dokonce tisíciletí po svém vzniku. Jeví se mi, že dalším takovým revolučním milníkem bude rozkvět a nástup umělé inteligence. Ta bude čím dál tím více autonomní, až jednoho dne, možná, bude existovat bok po boku vedle lidí jako jejich rovnocenný partner.
Je zřejmé, že právní řády s nástupem umělé inteligence čeká významná revoluce v chápání a pojetí práv a povinností. Tato změna bude podle mého názoru náročnější, než bylo vytvoření konceptu právnických osob, a to tím, že tentokrát budeme mít co do činění s autonomně uvažujícími entitami nadanými vůlí a schopnostmi ji projevit. Možná tak provokativní otázka, zda jsme ve vesmíru sami, brzy dostane zcela jiný a zatím netušený rozměr. Lidstvo si možná jiné entity zvládne vytvořit samo a nebude je muset hledat v dalekých galaxiích. Buďme proto na to nové, co přichází, připraveni i po právní stránce a začněme o vhodných úpravách právního řádu více diskutovat již dnes.
[1] Jedná se o zařízení jako Google Home nebo Amazon Echo. Tito asistenti za vás mohou nakoupit, vyhledat vám zprávy, pustit pořad nebo s vámi hrát hry.
[2] Jedná se o fenomén tzv. „chatbotů“. Viz např. článek na odborném serveru Mediahub.cz „Jak využít chatboty v marketingu?“ ze dne 23. 3. 2017, dostupný na http://mediahub.cz/komentare/932323-jak-vyuzit-chatboty-v-marketingu [cit. 5. 9. 2017].
[3] Viz A. Ezrachi, E. M. Stucke: Virtual Competition, The Promise and Perils of the Algorithm-Driven Economy, Harvard University Press, 2016.
[4] Viz J. Bohannon: The cyberscientist, publikováno v časopisu Science, vydání ze dne 7. 7. 2017, Vol. 357, Issue 6346, str. 18-21, dostupné online na http://science.sciencemag.org/content/357/6346/18.full, cit. 4. 10. 2017.
[5] I to však je i dnes do určité míry diskutabilní. Umělá inteligence totiž začíná být všudypřítomná. Stačí se podívat na tzv. chytrý telefon. Domnívám se proto (pokud se tak již nestalo), že lidstvo se brzy dostane do bodu, kdy bude nesmírně obtížné se umělé inteligence zbavit jen tím, že ji vypneme.
[6] Danou problematikou se zčásti a z perspektivy práva Spojených států amerických zabývá např. R. Calo: Robotics and the Lessons of Cyberlaw, California Law Review, Vol. 103, No. 3, str. 513-63 (2015), University of Washington School of Law Research Paper No. 2014-08, dostupné prostřednictvím databáze SSRN: https://ssrn.com/abstract=2402972, cit. 5. 9. 2017.
[7] Vycházím zejména ze základního předpisu pro soukromoprávní vztahy, tj. ze zák. č. 89/2012 Sb., občanský zákoník, ve znění pozdějších předpisů (dále také jen „občanský zákoník“ či „o. z.“).
[8] Internet věcí souvisí s přístupem čím dál většího počtu vzájemně propojených zařízení k internetu. Tato zařízení si spolu vyměňují informace a případně i komunikují se třetími osobami. Představit si to lze např. tak, že vás lednice sama upozorní, že dochází mléko, a případně jej i sama objedná z online supermarketu.
[9] K této myšlence mě přivedl článek D. Kidman, S. Turner: Electronic persons: time for a new legal personality? New Law Journal, Vol 167, Issue 7758.
[10] Jedná se o dokument č. j. GROW/B1/HI/sv (2017) 3054035 ze dne 30. 5. 2017 nazvaný „Brief factual summary on the results of the public consultation on the rules on producer liability for damage caused by a defective product“ obsahující závěry Evropské komise k danému šetření, dokument je k dispozici online na http://ec.europa.eu/docsroom/documents/23471, cit. 5. 9. 2017.
[11] Jedná se konkrétně o směrnici Rady 85/374/EHS ze dne 25. 7. 1985 o sbližování právních a správních předpisů členských států týkajících se odpovědnosti za vadné výrobky. Směrnice je dostupná na www.eur-lex.europa.eu.
[12] Konkrétně z výše citovaných závěrů Evropské komise plyne, že 45 % výrobců, 58 % spotřebitelů a 44 % ostatních respondentů (včetně orgánů veřejné moci a zástupců občanské společnosti) má za to, že u některých typů produktů či služeb může být aplikace dané směrnice problematická. Mezi těmito produkty byly výslovně zmíněny produkty, u nichž může dojít k instalaci aplikací a software po jejich zakoupení (např. chytrý telefon), produkty samostatně vykonávající určité úkony na bázi algoritmů nebo samoučící se algoritmy. Celkem 54 % spotřebitelů a 40 % ostatních respondentů by považovalo za vhodné, aby daná směrnice byla upravena tak, aby zohledňovala tyto nové technologie.
[13] Otázka vzniku a zániku by pak mohla být řešena např. zápisem do rejstříku umělé inteligence, obdobně jako u právnických osob.
[14] Viz také D. Kidman, S. Turner, op. cit. sub 9, kde je daný příklad stručně popsán.
[15] Viz např. J. Hrádek: Komentář k § 2910 občanského zákoníku, in J. Švestka, J. Dvořák, J. Fiala a kol.: Občanský zákoník. Komentář, Svazek VI (relativní majetková práva 2. část), Wolters Kluwer, Praha 2014, citováno dle elektronické verze komentáře dostupné v systému ASPI aktuální ke dni 25. 9. 2017.
[16] Takto dnes zatím v roli pouhého konzultanta funguje ve zdravotnictví umělá inteligence Watson od společnosti IBM. Ta umí např. při léčbě rakoviny vyhodnotit lékařské záznamy a sama navrhnout vhodný způsob léčby. Konečné rozhodnutí však učiní vždy lékař. V podrobnostech viz oficiální prezentace IBM dostupná na https://www.ibm.com/watson/health/oncology-and-genomics/oncology/, cit. 4. 10. 2017.
[17] Problematika zastoupení je analogicky k odpovědnostním institutům dalším právním institutem, kde bude dle mého názoru nezbytné v blízké budoucnosti problematiku umělé inteligence řešit, tedy zejména, zda umělá inteligence je vůbec způsobilá být zástupcem člověka při právních jednáních.
[18] Dalším příkladem může být např. to, na jakém principu již dnes funguje zobrazování internetové reklamy. V okamžiku, kdy otevíráte určitou internetovou stránku (např. rubriku o vaření na vašem oblíbeném serveru), umělá inteligence vás rozpozná jako konkrétního uživatele, o němž má shromážděno určité množství dat (včetně např. toho, jak často na internetu nakupujete, jaké věci hledáte, o co se zajímáte apod.), a nabídne vás jako „produkt“ v rámci aukce v reálném čase (tzv. real time bidding) pořádané reklamním výměnným serverem (např. v rámci systému Google Ads). V rámci této aukce pak jiná umělá inteligence na straně různých zadavatelů reklamy sama navrhuje cenu, kterou je ochotna zaplatit za to, že právě vám jako člověku s určitým profilem bude zobrazena konkrétní reklama např. na nové hrnce. Celou transakci (tj. prodej reklamy, která vám bude zobrazena) tak mezi sebou uzavřou dva algoritmy bez přičinění člověka. To vše se děje v řádech milisekund, během nichž se internetová stránka načítá. Toto není sci-fi, ale realita dneška. Viz např. shrnutí aktuálního zapojení umělé inteligence na poli online reklamy ze dne 19. 9. 2017 nazvané „AI in Advertising 101: The State of the Industry“ a dostupné na blogu společnosti StackAdapt, která v tomto odvětví působí. Viz http://blog.stackadapt.com/ai-in-advertising, cit. 4. 10. 2017, i dále v textu zmíněné tzv. vysokofrekvenční obchodování na burzách, kdy obchodování v řádech milisekund obstarávají algoritmy, které de facto uzavírají obchody mezi sebou navzájem.
[19] U právnických osob byl vytvořen velmi robustní systém orgánů, které vyjadřují vůli takové právnické osoby. Jinak řečeno, koncept právnických osob je snadněji uchopitelný právě díky tomu, že si v konečném důsledku za jednáním právnické osoby představíme konkrétní lidi (člověka). A to i za situace, kdy členem orgánu právnické osoby je jiná právnická osoba. V řetězci se totiž vždy dostaneme až ke konkrétním lidem – člověku. U umělé inteligence od určitého stupně jejího vývoje takto nebude možné postupovat. V pokročilejší fázi vývoje se bude jednat o autonomní existenci či bytost nezávislou na člověku, jakkoliv se to nyní zdá být těžko uchopitelné. I proto považuji tuto otázku za tolik kontroverzní.
[20] Byť je dle mého názoru potřeba začít si klást i tyto otázky. Dovoluji si totiž vyslovit odvážnou myšlenku, že pokud již nyní dokážeme jako lidé uvažovat o umělé inteligenci jako o samostatně uvažujících bytostech či entitách (bohatá sci-fi literatura či kinematografie toho budiž důkazem), pak je jen otázkou času, kdy se tyto naše představy zhmotní ve skutečnost. Pokud si mohu dovolit použít trochu vzletnou formulaci, umělá inteligence již takto de facto existuje, neboť je představitelná. A jde jen o to, kdy se tato představa stane skutečností.
[21] Srov. např. L. Kubů, P. Hungr, P. Osina: Teorie práva, Linde, Praha 2007, str. 184.
[22] Viz V. Knapp: Teorie práva, 1. vydání, C. H. Beck, Praha 1995, str. 201, nebo J. Boguszak, J. Čapek, A. Gerloch: Teorie práva, ASPI Publishing, Praha 2004, str. 205, nebo L. Kubů, P. Hungr, P. Osina, op. cit. sub 21, nebo A. Gerloch: Teorie práva, 4. upravené vydání, Aleš Čeněk, Plzeň 2007, str. 199.
[23] Pro ilustraci toho, jak kontroverzní otázka emocí u jiných bytostí, než je člověk, může být, se stačí podívat na výzkumy týkající se emocí u zvířat a jejich přijetí ze strany veřejnosti. Přehledově viz např. článek „Mají zvířata větší emoce a inteligenci, než jsme si mysleli?“ publikovaný v magazínu Pátek ve vydání Lidových novin ze dne 11. 8. 2017, náhled článku k dispozici na https://relax.lidovky.cz/je-mozne-ze-emocni-a-inteligencni-skala-zvirat-je-sirsi-nez-jsme-si-mysleli-1t4-/domaci-mazlicci.aspx?c=A170810_205737_domaci-mazlicci_ELE, cit. 26. 9. 2017.
[24] Domnívám se, že je to i proto, že je prozatím (a to i při zahrnutí pokročilých metod magnetické rezonance) velmi obtížné a nákladné živě monitorovat všechny děje v lidském mozku při konkrétních situacích, při nichž dochází ke vzniku emocí. K problematice emocí včetně jejich rozpoznávání viz např. P. Ekman: Odhalené emoce, Jan Melvil, Brno 2015.
[25] Podobné typy situací se navíc již běžně dějí. Začátkem roku 2017 např. některá média informovala o tom, že řada domácích asistentů v USA nakupovala domečky pro panenky v návaznosti na to, že slyšeli příkaz z televizní reklamy. Viz např. článek „Amazon’s Alexa started ordering people dollhouses after hearing its name on TV“ publikovaný na odborném serveru The Verge dne 7. 1. 2017, dostupný na https://www.theverge.com/2017/1/7/14200210/amazon-alexa-tech-news-anchor-order-dollhouse, cit. 25. 9. 2017.
[26] Jiná situace dle mého názoru existuje u volitelně stahovaných tzv. aplikací, kdy se jako vlastník chytrého zařízení mohu sám rozhodnout, zda danou aplikaci nainstaluji či nikoliv.
[27] Pro zajímavost lze v této souvislosti poukázat na to, že ve světě jsou známy i případy, kdy byla právní osobnost a s ní i základní práva a svobody přiznány řekám. Takto lze poukázat na novozélandský zákon „Te Awa Tupua (Whanganui River Claims Settlement) Bill“, který přiznal právní osobnost a základní práva řece Whanganui, která je důležitou součástí identity Maorů, původních obyvatel Nového Zélandu. Zákon je k dispozici na internetových stránkách novozélandské vlády na adrese http://www.legislation.govt.nz/bill/government/2016/0129/latest/DLM6830851.html?src=qs, cit. 4. 10. 2017. S přiznáním právní osobnosti řekám mají zkušenosti i v Indii. Vyšší soud v indickém státě Uttarákhand v rozsudku přiznal právní osobnost řekám Ganze a Yanumě včetně všech jejich přítoků. V Indii se však jednalo o zoufalou reakci na devastaci životního prostředí, která ohrožuje existenci těchto řek posvátných pro hinduisty. Pojednání o případu včetně znění příslušného rozsudku (v angličtině) je k dispozici na internetových stránkách LiveLaw na http://www.livelaw.in/first-india-uttarakhand-hc-declares-ganga-yamuna-rivers-living-legal-entities/, cit. 4. 10. 2017. Případ je v současnosti projednáván Nejvyšším soudem Indie.
[28] Srov. např. zprávu BBC „Artificial music: The computers that create melodies“ ze dne 8. 8. 2014 dostupnou na http://www.bbc.com/future/story/20140808-music-like-never-heard-before, cit. 25. 9. 2017.
[29] Viz zpráva „The strange world of computer-generated novels“ publikovaná na odborném serveru The Verge dne 25. 11. 2014, dostupná na https://www.theverge.com/2014/11/25/7276157/nanogenmo-robot-author-novel, cit. 25. 9. 2017.
[30] Tj. zák. č. 121/2000 Sb., o právu autorském, o právech souvisejících s právem autorským a o změně některých zákonů (autorský zákon), (dále jen „autorský zákon“).
[31] V této souvislosti lze rovněž poukázat i na případy ze zahraničí, kdy existují snahy přiznat autorská práva opicím, zejména šimpanzům. I v České republice je známá kauza „selfie“ pořízeného opicí, která proběhla v USA. Daná kauza byla v září 2017 vyřízena uzavřením narovnání poté, co prvoinstanční soud v Kalifornii rozhodl, že opice nemají autorská práva, resp. nemohou být autory. Viz rozsudek v kauze Naruto v. Slater dostupný např. na http://files.courthousenews.com/2016/01/29/monkey%20selfie.pdf, cit. 4. 10. 2017. Podrobnější shrnutí případu je k dispozici rovněž na internetové encyklopedii Wikipedia, viz https://en.wikipedia.org/wiki/Monkey_selfie_copyright_dispute, cit. 4. 10. 2017.
[32] A je opět otázkou, jestli rozhodovat autonomně o majetku (byť nikoliv o vlastním) dnes stroje, alespoň do určité míry, již neumějí. Na burzách je např. běžné tzv. vysokofrekvenční obchodování, při němž jsou cenné papíry či komodity prodávány a nakupovány v řádech milisekund a které obstarávají chytré algoritmy, které obchodují mezi sebou (srov. i shora příklad toho, jak dnes funguje zobrazování internetové reklamy). Zatím sice dle určitých parametrů zadaných člověkem, avšak s určitou dávkou autonomie. Blíže k této problematice viz např. A. Lo: Adaptive Markets: Financial Evolution at the Speed of Thought, Princeton University Press, 2017.
[33] Úspěchy na tomto poli dokonce slaví i čeští vědci z ČVUT. Viz např. článek „Alexa, let’s chat! Češi postavili pro Amazon nejlepšího chatbota“ publikovaný na serveru Forbes.cz dne 29. 8. 2017, dostupný na http://www.forbes.cz/alexa-lets-chat-cesi-postavili-pro-amazon-nejlepsiho-chatbota), cit. 25. 9. 2017.
[34] Problematika sběru řady těchto údajů o konkrétních lidech, jejich agregování a vyhodnocování (hovoří se o fenoménu tzv. „big data“) a následné využití např. v cílení reklamy a jiné formy komunikace je dle mého názoru rovněž vysoce aktuální a do budoucna velmi závažným problémem k řešení. Dle mého názoru již dnes nemají uživatelé chytrých telefonů či jiných chytrých zařízení přesnou kontrolu nad tím, jaké všechny údaje o nich tato zařízení shromažďují a komu je poskytují. Tato problematika však přesahuje zaměření tohoto článku. O problému podrobně píši např. autoři A. Ezrachi a M. E. Stucke, viz A. Ezrachi, E. M. Stucke, op. cit. sub 3.
[35] Opět se nejedná o hudbu budoucnosti, ale spíše o realitu. Médii v minulosti proběhl např. experiment softwarové společnosti Microsoft, která spustila v roce 2016 na sociální síti Twitter svého samo se učícího chatbota s přezdívkou Tay, který se učil od ostatních uživatelů v prostředí internetu. Záhy po spuštění se však chatbot naučil rasisticky a sexisticky nadávat a urážet uživatele sociální sítě Twitter a Microsoft jej s velkou ostudou vypnul. Blíže viz článek „Microsoft ‚deeply sorry‘ for racist and sexist tweets by AI chatbot“ publikovaný britskými novinami The Guardian dne 26. 3. 2016, článek je k dispozici na https://www.theguardian.com/technology/2016/mar/26/microsoft-deeply-sorry-for-offensive-tweets-by-ai-chatbot, cit. 25. 9. 2017.
[36] Právě naše osobní údaje a další data jsou palivem pro strojové učení a zdokonalování umělé inteligence. Otázka poskytování, spravování, obchodování a využití těchto dat proto bude dle mého názoru v budoucnu patřit mezi nejdůležitější právní problémy, které bude třeba řešit. Legislativa, jako je unijní nařízení „GDPR“ týkající se právě správy osobních údajů, je toho ostatně důkazem.