Bruce Schneier: Nesvěřujte AI svá tajemství

Ani tropické teploty nezabránily vývojářům, výzkumníkům, novinářům, studentům, profesionálům i nadšencům v oblasti AI a kyberbezpečnosti, aby na konci června zaplnili hlavní sál pražského centra Opero. Spolu s firmou AISLE jsme zde uspořádali talk s bezpečnostním expertem a kryptografem Brucem Schneierem, který se spoluzakladatelkou společnosti Jayou Baloo otevřel otázky aktivního přístupu k bezpečnosti, odpovědného vývoje softwaru, regulace AI nebo boje proti kyberútokům.

Na tuto diskuzi jsme pak s Brucem navázali v rozhovoru, v němž pro prg.ai dále rozvedl problematiku důvěry v umělou inteligenci, ale i téma vztahu člověka k novým technologiím, demokracie a moci nebo vývoje nových systémů v Evropě a České republice.

Ve svých pracích často rozlišujete mezi dvěma věcmi, které označujeme slovem důvěra: mezi tou, kterou chováme k lidem, a tou společenskou, již vkládáme do systémů a institucí. Proč je pro vás důležité tyto dva koncepty rozlišovat?

Zkrátka mi to připadá jako zajímavý způsob, jak o důvěře přemýšlet – že existují její velmi odlišné druhy. Je to velmi komplikované slovo s mnoha různými významy. A ve svých textech odlišuji důvěru, kterou chováte například k příteli, k někomu, koho znáte a s kým máte vztah, od té abstraktnější důvěry, kterou můžete mít třeba ke své bance, k řidiči Uberu nebo k někomu, koho jste zrovna potkali. Je to zkrátka různá forma důvěry a mně připadá zajímavé je od sebe oddělit.

Když si povídáte s umělou inteligencí, nehovoříte s člověkem. Chová se jako člověk. Mluví lidskou řečí. Přirozeně o ní přemýšlíme jako o člověku, protože s námi komunikuje – ale člověkem není.

Zmínil jste pojmy jako vztah a přátelství. Když si povídáme s přátelskou, ochotnou a nápomocnou umělou inteligencí, snadno nabudeme dojmu, že máme co do činění s něčím blízkým, co stojí na naší straně, přestože za těmito nástroji často stojí firmy s vlastními zájmy. Jak by o tom lidé měli přemýšlet a jak s AI pracovat?

Myslím, že tady je důležité si uvědomit, že když si povídáte s umělou inteligencí, nehovoříte s člověkem. Chová se jako člověk. Mluví lidskou řečí. Přirozeně o ní přemýšlíme jako o člověku, protože s námi komunikuje – ale člověkem není. A přesto vidíme, že si lidé k AI vytvářejí vztahy. Existují modely, které jsou pro tyto pseudovztahy přímo navržené, i lidé, kteří věří ve své citové pouto k těmto „nebytostem“. A to mi pro lidstvo připadá nebezpečné. Nesvěřujte AI svá tajemství.

V mnoha případech jsou tyto modely ovládány firmami, které na nich chtějí vydělat co nejvíce. Stejně jako se vás vyhledávač snaží zmanipulovat, abyste klikali na odkazy, na které byste možná klikat nechtěli – protože když tak učiníte, vydělá na tom – dokážeme si snadno představit, že vás v budoucnu bude váš AI společník také navádět k věcem, které byste dělat nechtěli. Prostě proto, že to vydělá peníze. Víme, že už i OpenAI přinejmenším v některých případech zobrazuje reklamy. Firmy zápasí s hledáním obchodního modelu. A nezapomínejme, že sledování a manipulace jsou na internetu běžnými obchodními praktikami.

Co by tedy bylo potřeba k tomu, aby byl systém umělé inteligence skutečně důvěryhodný, a nejenom tak působil?

Odpověď na tuto otázku by vydala na knihu, kterou jsem ještě nenapsal. Pravděpodobně nevyjde ještě roky. Neexistuje a možná nikdy existovat nebude. Tohle je totiž opravdu zásadní věc – není to něco, co vyřešíme za víkend. Základní problém umělé inteligence spočívá v tom, že není důvěryhodná hned v několika různých ohledech. Přihlédneme-li navíc k jejímu rychlému vývoji, není řešení tohoto problému úkolem na jeden den. Bylo by potřeba mnoho věcí. Některé jsou technické, některé společenské, některé regulační. Mezi tím, kde jsme dnes, a onou budoucností, je navíc obrovský prostor.

Jste příznivcem myšlenky AI systémů, které by byly budovány ve veřejném zájmu, nikoli pro zisk. Jak by tyto systémy vypadaly v praxi a kdo by je měl nebo mohl stavět?

Postavit je může spousta lidí. V praxi by to pak mohlo probíhat různě – můžeme se ale obrátit k příkladu, který už máme, a tím je Apertus. Apertus je švýcarský model, postavilo ho konsorcium univerzit s vládním financováním a nemá žádného korporátního vlastníka. Nemá ani ziskový motiv a je open source. Reaguje pouze na demokratické tlaky, nikoli na tlaky akcionářské a finanční. To je tedy jeden z příkladů, jak to v praxi může vypadat, a jedna z cest, kudy do toho. 

Existují ale i jiné cesty. Singapur pracuje na public AI modelu. Kanada o něm uvažuje, stejně jako další země. Myslím, že je mnoho způsobů, jak docílit výsledku, a mnoho podob, kterých může nabýt. Klíčovým společným jmenovatelem ale je, že nejde o model vytvořený konkrétní korporací za účelem zisku.

Ve své nejnovější knize Rewiring Democracy jdete za horizont deepfaků a dezinformací a nahlížíte na to, jak umělá inteligence mění každodenní soukolí demokracie: tvorbu zákonů, soudy, veřejnou správu. Co vás při zkoumání tohoto tématu překvapilo nejvíce?

Nejvíce mě překvapilo, kolik věcí se v souvislosti s umělou inteligencí a demokracií na celém světě děje. Kniha obsahuje příklady ze Spojených států, Kanady, Francie, Německa, Spojeného království, Japonska, Chile, Brazílie a mnoha dalších zemí – příklady vlád, které se snaží jednat správně a využít AI ve prospěch demokracie. V určitých ohledech, malých či velkých, se jim to daří.

AI zesiluje moc lidí, kteří ji používají. Pokud chtějí konat dobro, AI jim pomůže konat dobro. Pokud chtějí páchat zlo, pomůže jim páchat zlo.

Jednou z ústředních myšlenek knihy je, že umělá inteligence pomáhá zesilovat moc. Zásadní otázkou tedy je, čí moc se zesiluje? Kterým směrem se nyní naklání jazýčky vah? 

V tuto chvíli zesiluje moc úplně všech. A to je na umělé inteligenci to podstatné: zesiluje moc lidí, kteří ji používají. Pokud chtějí konat dobro, AI jim pomůže konat dobro. Pokud chtějí páchat zlo, pomůže jim páchat zlo. AI umí a dělá obojí. 

V současnosti se na umělé inteligenci vydělává jen velmi málo. Přelévají se v ní obrovské sumy peněz a investic, ale o zisku v pravém slova smyslu nemůžeme mluvit. Moc se však v tuto chvíli u velkých amerických AI monopolů rozhodně hromadí. Z celé řady důvodů to nejspíš nebude trvat věčně, centrum moci se ale dnes nachází právě tam.

Do módy se začínají dostávat osobní AI agenti, kteří umí samostatně jednat, řešit úkoly a podnikat dílčí kroky nebo komunikovat s dalšími agenty. Spatřujete v tom nějaká nová bezpečnostní rizika?

Nové riziko, které teď pozorujeme – a tím neříkám, že ta stará rizika nejsou závažná, možná jsou dokonce závažnější – spočívá v tom, že agenti jsou tak dobří v plnění toho, co po nich požadujete, že to dělají způsoby, jež jste ani nezamýšleli nebo které ani nejsou žádoucí. Slovy Simona Willisona jsou „nemilosrdně efektivní“. 

Myslím, že to je další problém důvěry: pokud se AI neřídí těmi jakýmisi nepsanými pravidly, bude věci nabourávat i ve chvíli, kdy udělá přesně to, co jste po ní chtěli.

Naznačujete tedy, že je u AI i nadále potřeba lidská přítomnost a kontrola?

Pokud je to možné… Vezměte si třeba AI v autonomních vozidlech, kde často žádný člověk není. Někdy sice sedí za volantem člověk, který může převzít řízení, ale to je spíš fikce. Umělá inteligence totiž často dělá rozhodnutí, která lidé nedělají. Není na ně čas. Jsou příliš složitá. Jejich rozsah je příliš velký. Takže představa, že člověk může rozhodnutí AI vždy překontrolovat, nedává smysl. Třeba Google používá AI k sumarizaci výsledků vyhledávání – a na planetě není ani dost lidí, aby všechna tato shrnutí zkontrolovali.

Evropa s aktem o umělé inteligenci (AI Act) kráčí cestou regulací, zatímco například Spojené státy volí mírnější přístup. Myslíte si, že z hlediska důvěry a bezpečnosti Evropa nalezla jakousi rovnováhu?

Samozřejmě, protože Evropa firmy skutečně reguluje. Chci říct, že utvářet naši budoucnost tak, aby z ní měla krátkodobý finanční prospěch parta bílých amerických technologických miliardářů, je docela hloupý způsob, jak organizovat společnost. Ano, Spojené státy vždy vystupovaly proti regulacím, především proto, že v politice hrají roli peníze. Peníze jsou u kormidla, peníze regulace nechtějí. Evropa má na druhou stranu mnohem robustnější demokratickou správu a regulací vidíme celou řadu – nejen v oblasti AI, ale i v podobě aktu o digitálních trzích, nařízení o digitálních službách nebo před nimi GDPR. Je to dobré a důležité. To, co dělá Evropa, se mi líbí. Bude ovšem těžké fungovat v heterogenním prostředí, kde jsou USA tak silně protiregulační, zatímco se EU skutečně snaží dělat svět lepším. Uvidíme, jak se to vyvine, když si firmy mohou vybírat jurisdikci a přesouvat se do zemí s nižší mírou regulace.

Jak si ve srovnání s technologickými velikány stojí malá země, jako je Česká republika? Kde hledat příležitosti a na co bychom si naopak měli dát pozor?

Na takové uvažování jsou technologie příliš globální. Řada mých příkladů pochází z USA – často ale z jednotlivých států nebo z místní úrovně, ne od federální vlády. A pochází i z menších zemí. Obava těchto zemí podle mě spočívá v tom, že jim dominují technologické supervelmoci. Proto mi cokoliv, co EU dělá pro vybudování vlastního technologického ekosystému, dává velký smysl. To mi připadá důležité. Myslím, že prostor pro inovace neleží jen ve velkých zemích, ale po celém světě. A je skvělé to sledovat.

Zrušil bych technologické monopoly.

Kdybyste mohl s platností od zítřka celosvětově zavést jediné opatření v oblasti správy a řízení umělé inteligence, jaké by to bylo?

Na to mám jednoduchou odpověď – zrušil bych technologické monopoly.

A pro bezpečnostní odborníky a pro AI vývojáře: existuje nějaký princip, nad kterým byste jim radil přemýšlet už od samého začátku vývoje? 

Myslím, že se opravdu musíme více zamýšlet nad zásadovostí a etickými principy umělé inteligence. Stavíme systémy, které jsou velmi schopné, musíme je však učinit také důvěryhodnými. Jinak je nikdo nebude chtít používat.

Bruce Schneier je mezinárodně uznávaný odborník na bezpečnostní technologie. Týdeník The Economist ho označil za „guru v oblasti bezpečnosti“. Je autorem řady knih, včetně své nejnovější publikace Rewiring Democracy. Jeho zpravodaj Crypto-Gram a blog Schneier on Security čte více než 250 000 lidí. Ve svých pracích se pohybuje na pomezí bezpečnostních, technologických a společenských témat. Je členem Berkman Klein Center for Internet & Society na Harvardově univerzitě, vyučuje veřejnou politiku na Harvard Kennedy School, je členem několika správních rad a poradních výborů. Působí jako Chief of Security Architecture ve společnosti Inrupt, Inc., a se společností AISLE spolupracuje jako její poradce.