Jak oříznout gorilu v policejním autě

Autor je zakladatel firmy Bohemian AI.

Začalo to skandálem: letos v září vyšlo najevo, že Twitter ořezával obrázky lidí podle barvy kůže. Pokud jste měli štěstí a byli bílí, na obrázku vás nechal, pokud jste byli ke své smůle černí, Twitter vás nekompromisně ořízl. Ne vždycky, ale dost často na to, aby to hodně lidí naštvalo. Když se z toho stala aféra, Twitter své ořezávací AI opravil a omluvil se.

Na facebookové stránce spolku prg.ai vyšel k tématu poněkud defenzivní komentář s názvem „Rasistický“ algoritmus na Twitteru, který ve zkratce říká, že AI sama o sobě rasistická být nemůže, neboť z toho nemá rozum, a přidává vysvětlení, jak k takovýmto chybám technicky dochází. Text, který právě čtete, vznikl jako polemika nad tím, co v článku zaznělo, a především nad tím, co v článku podle mého názoru zaznít mělo a nezaznělo.

Natvrdlá inteligence

Především: reagovat na kritiku zjevně diskriminačního algoritmu vysvětlováním, jak technicky funguje AI, dává podobný smysl, jako utěšovat pozůstalé obětí autonehody tím, že jim vysvětlíme, jak fungují brzdy. Je to jistě užitečné vědět, ale trochu tím odvádíme pozornost od zjevného „slona v místnosti“.

V případě trapasu s obrázky na Twitteru samozřejmě nejde o životy, jde ale o důvěru. Tahle aféra je jen dalším pokračováním úmorné řady skandálů – vzpomeňme například na neonacistického bota Tay od Microsoftu nebo na neslavný náborový automat Amazonu, který dával životopisům nižší skóre, pokud obsahovaly slovo „women’s“. Celá tahle série dohromady konzistentně říká: tvůrci AI nemají svoje dílo pod kontrolou. Nedokážou diskriminaci ve svých systémech ani předpovědět, ani odhalit, a často ani opravit.

První krok k řešení problému je přiznat si, že máme problém: AI ubližuje lidem. Ne vždycky, dokonce ani ne většinou, ale často. Kdekoli se strojové učení přímo dotýká lidí – rozpoznává obličeje, schvaluje půjčky, doporučuje lékaře – existuje nejen možnost, ale naprostá jistota, že bude někoho znevýhodňovat, urážet, a pravděpodobně obojí.

Samozřejmě, že to není naschvál. Tvůrci softwaru na rozpoznávání obličejů jistě nechtějí nikomu ublížit, ale říkejte to panu Williamsovi, kterého omylem zatkla policie před zraky jeho dětí, protože se nikdo neobtěžoval onen policejní software pořádně otestovat. Zeptejte se lidí, kteří kvůli natvrdlému algoritmu nedostali zdravotní péči, protože utráceli příliš málo peněz u lékaře, jak moc je zajímá motivace programátorů. Pokud tedy své respondenty ještě zastihnete naživu.

Přifouknuté senzace? Možná. Krize důvěry? Každopádně.

Kolem Jupitera je draho

Některé měsíce Jupitera se jeví jako příhodné místo pro život, přesto na nich dodnes nepřistál jediný astronaut. Ne snad proto, že bychom nedokázali vymyslet, jak ho tam dostat. Nepřistál tam proto, že se taková kratochvíle nechce nikomu platit. Stejné je to s férovou AI: nikomu se ji nechce platit. A tak chceme-li přijít na kloub diskriminujícím strojům, držme se staré novinářské poučky: follow the money.

Moje první (a bohužel ne poslední) zkušenost s touto „ekonomikou zla“ byla následující: po několika týdnech práce na jednom nevinně se tvářícím vládním projektu mimo Českou republiku jsme zjistili, že naše AI sice funguje velmi pěkně, ale konzistentně zvýhodňuje nejbohatší 1 % občanů. O nich totiž existovalo jen málo dat a náš algoritmus se chybně učil, že bohatý rovná se hodný. Existovalo jednoduché řešení: nasbírat o nejbohatších lidech stejně dat jako o těch chudých. Cenovka tohoto jednoduchého řešení byla jednoduchých 50 tisíc dolarů, tedy více, než do té doby stál celý projekt. Odpověď shora byla očekávatelná a jasná: „Jedno procento je nám ukradené.“

V AI platí neúprosný Zákon klesajících výnosů, tedy že každé další zlepšení je dražší a dražší a zároveň si na sebe vydělá méně a méně. To je důvod, proč Google poté, co vyšlo najevo, že jeho „porozumění obrázkům“ označuje osoby černé pleti za gorily, raději odebral ze systému kategorii „gorila“, než aby se pokoušel chybu opravit. To je také důvod, proč technologické firmy – včetně Twitteru – v celém demokratickém světě přehodnocují své projekty na rozpoznávání obličejů. Výsledky jsou příliš špatné a zlepšit je je (zatím) příliš drahé.

Malá břitva na konec

Snadné problémy vyřešíme často jen tím, že nás vůbec napadne je řešit. Například nebudeme předpokládat, že když pacient loni neutratil ani korunu za léky, tak je zdravý – možná totiž umírá a jenom nemá peníze. Středně těžké problémy můžeme řešit penězi, ale i to má svůj poměrně nízký strop, jak už jsme si ukázali na příkladu onoho jednoho „ukradeného“ procenta.

Ty nejtěžší problémy pak možná nevyřešíme nikdy. Ale mávnout nad nimi rukou s tím, že je to tím pádem stejně jedno, je to nejhorší, co můžeme pro budoucnost umělé inteligence udělat. Po světě dnes vzniká bezpočet komisí, ústavů a institutů pro etiku AI a potrvá desítky let, než se jako společnost propracujeme k použitelnému konsenzu. 

„Ty nejtěžší problémy pak možná nevyřešíme nikdy. Ale mávnout nad nimi rukou s tím, že je to tím pádem stejně jedno, je to nejhorší, co můžeme pro budoucnost umělé inteligence udělat.“

Do té doby můžeme problémy z kategorie „příliš drahé“ řešit jednoduchou filosofickou břitvou: Kdekoli na člověka působíme silou, tedy zákonem, monopolem, či existenční nutností, tak tam, prosím, žádnou AI nedávejme. Alespoň zatím. Je totiž takřka jisté, že nebude fér, a většinou ani nezjistíme proč.

Kdekoli má člověk možnost volby AI používat nebo nepoužívat, buďme k němu zcela upřímní. Říkejme natvrdo, jaké problémy jsou příliš drahé, ať se každý rozhodne, třeba jak moc mu vadí, že Twitter bude ořezávat z fotek jeho černé kamarády. Říkejme dopředu, že to a to nevíme, nejsme si jistí, nevyzkoušeli jsme. Nalepme k AI nutriční štítek. Ne otravný, ale snadno k nalezení. A zaveďme tu upřímnost dřív, než ji za nás zavede nějaká hloupá regulace, kterou beztak sepíše někdo, kdo neumí ani s Excelem.