V květnu jsem psal o lidech, kterým jsme před deseti lety nevěřili - a oni měli pravdu. Teď ti samí lidé zveřejnili plán, jak přežít příchod superinteligence. Počítá s tím, že Čína postaví svá datacentra v Kanadě, Amerika v Mongolsku a v roce 2040 předáme klíče strojům. Před dvěma měsíci jsem tu psal o týmu AI Futures Project - o lidech, kteří v roce 2015 říkali podivné věci, my jsme se jim smáli a pak zjistili, že mají až děsivou pravdu. Slíbil jsem si, že je budu sledovat. Nemusel jsem čekat dlouho. Devátého července zveřejnili nový materiál s názvem AI 2040. Kdo si u minulého speciálu říkal, že divočejší už to být nemůže… Ti samí lidé, jiný žánr Nejdřív rychlá rekapitulace. Daniel Kokotajlo, bývalý výzkumník OpenAI, a jeho tým napsali loni scénář AI 2027, který četl i americký viceprezident JD Vance a který končil dvěma způsoby: buď nás superinteligence smete, nebo budoucnost ovládne hrstka lidí, kteří budou mít AI pod palcem. Ani jedno není výhra. AI 2040 je pokračování. Ale pozor - tentokrát nejde o předpověď, jde o doporučení. Autoři to říkají výslovně: tohle je nejméně špatný plán, který známe. Ne to, co se stane. To, co by se stát mělo. To je zásadní posun. Minule nám říkali, co přijde. Teď nám říkají, co s tím dělat. A mimochodem - výchozí časovou osu posunuli z roku 2027 na rok 2030. Bez zásahu by podle nich v roce 2030 běžel plně automatizovaný AI výzkum a do konce téhož roku superinteligence. S tím určitě někteří nebudou souhlasit, ale jak jsem nakoupil, tak prodávám. Daniel k tomu dodává, že věci půjdou nejspíš ještě rychleji, než scénář popisuje. Pamatujete na Automated Coder z minulého speciálu? Jeho medián drží na polovině roku 2028. Nic se nezpomalilo. Vyber si cestu Nejzajímavější na AI 2040 je forma. Je to interaktivní web, kde příběh běží rok po roku a v roce 2029 se zastaví. Svět stojí na rozcestí a vy si vybíráte z pěti cest. Doslova klikáte na tlačítka. Pokud máte čas někde na dovolené, doporučuji si to otevřít na počítači nebo iPadu (na telefonu se s tím nepracuje dobře) a trochu si tím prolistovat, jako pěknou encyklopedií. Jak ten rozcestník vypadá? Plán D - závodit dál naplno. Amerika versus Čína, kdo dřív. Podle autorů výchozí scénář, protože nevyžaduje žádné rozhodnutí. Stačí nedělat nic. Plán C - závodit, ale vedoucí projekt obětuje alespoň měsíc svého náskoku na bezpečnost. Kosmetika. To se vlastně malinko také děje (zpomalování vydávání modelů americkou vládou apod.) Plán B - sabotovat Čínu, získat náskok a ten pak využít pro světovou nadvládu. Existuje ve dvou variantách, z nichž ta tvrdší počítá s údery drony na čínská datacentra. Ano, čtete správně. Plán S - zastavit vývoj na neurčito. Autoři přiznávají, že s ním sympatizují, ale nevěří mu - dřív nebo později se závod stejně rozjede a mezitím se nikdo nic nenaučí. Tohle máme vlastně trochu za sebou. Pamatujete na výkřiky lidí jako Elon Musk “pojďme to zastavit"? Vedlo to jen k získání jeho času na větší investice do xAI. Plán A - dohoda. A o té je celý zbytek scénáře. Autoři ke každé cestě přikládají odhad, s jakou pravděpodobností vede k dobré budoucnosti. Plán A dostal 42 %. Plán B a vylepšené C kolem 25 %. Plán D 10 %. Ani ta nejlepší cesta nedává ani poloviční šanci. Tihle lidé nejsou optimisté z televizní reklamy. Tvrdí, že mezi špatnými možnostmi existují méně špatné. A teď ta “nejlepší” část: sami autoři odhadují šanci, že se Plán A skutečně stane, na tři až patnáct procent. Napsali stostránkový plán, o kterém si myslí, že skoro jistě neprojde. Proč? Protože podle nich je potřeba, aby vůbec existoval. Aby až přijde krize, ležel na stole. Plán A: zpomalit, otevřít a zaminovat si vlastní dvorek Co tedy Plán A navrhuje? Tři věci, pro smrtelníka jedna podivnější než druhá. Za prvé: odložit superinteligenci do roku 2040. USA a Čína se v roce 2029 dohodnou, že závod k superinteligenci je pro obě strany sebevražda. Nejdřív si navzájem deklarují výpočetní kapacity, pak zastaví trénink nejsilnějších modelů a nakonec vtáhnou do dohody zbytek světa. AI se dál vyvíjí - ale řízeně. V roce 2035 se vývoj zastaví na úrovni špičkového lidského experta a čeká se, až bezpečnostní výzkum dožene schopnosti. Teprve v roce 2040 se pustí uzda. Neumím si představit, že by tohle současná společnost byla ochotna udělat a dohodnout se na tom. Od USA přes Čínu a Rusko až po Írán. Za druhé: úplná transparentnost výzkumu. Veškerý AI výzkum se zveřejňuje. Desítky firem po celém světě se smí dotáhnout na špičku. Žádné tajné laboratoře, žádný náskok, který by stálo za to ukrást. Vitalik Buterin si všiml, že plán je paradoxně přátelštější k open source než dnešní realita - dokonce ho přikazuje. Tohle by bylo samozřejmě skvělé, open-source podporuji 30+ let. Jsem velký optimista, ale… Za třetí - a teď se podržte: vzájemně zaručené zničení výpočetní kapacity. Nová čínská datacentra se staví v Kanadě. Americká v Mongolsku. U mongolské hranice hučí americké servery hlídané malou jednotkou americké armády - a kousek za hranicí stojí divize čínské armády připravená vpadnout dovnitř, jakmile dostane signál. Když jedna strana dohodu poruší, druhá jí zničí čipy. Studená válka naruby: místo raket namířených na města servery postavené v dosahu nepřítele. Schválně. Zní to šíleně. Ale má to logiku jaderného odstrašení, které nás - jakkoli nervózně - drží při životě osmdesát let. Ekonomika, ze které se točí hlava Teď to nejparadoxnější. Čekali byste, že plán na zpomalení AI znamená ekonomickou askezi. Opak je pravdou. I ten zpomalený svět roste tempem, které si dnes neumíme představit. Scénář počítá s tím, že v roce 2032 poroste americká ekonomika zhruba o padesát procent ročně. Ne o dvě procenta. O padesát. Roboti staví roboty, AI agenti pracují nepřetržitě a stát to celé daní přes systém obchodovatelných povolenek na výpočetní výkon a roboty. Z výnosů se platí občanská dividenda. V roce 2032 dostane každý Američan zhruba čtyřicet pět tisíc dolarů ročně. V roce 2035 už milion. Práce přestane být způsobem obživy a stane se koníčkem. Jestli vám to zní jako utopie nebo noční můra, záleží nejspíš na tom, jak moc máte rádi svou práci. Mimochodem - v květnu jsem tu psal, že Anthropic má tržby na úrovni deseti miliard dolarů ročně. To číslo bylo pravdivé v lednu. V dubnu firma oznámila třicet miliard. Můj dva měsíce starý speciál zastaral rychleji, než ho většina z vás stihla dočíst. To není moje chyba ani vaše. To je přesně ta křivka, o které celou dobu mluvíme. Baví vás Zprávy z lesa? Můžete mi koupit kafe nebo si čtení předplatit💚. 🎧 Zprávy z lesa také jako podcast na Spotify nebo Applu 🎧 Nepříjemné detaily, které autoři neschovávají Co na AI 2040 oceňuji nejvíc: autoři nezametají problémy pod koberec. Naopak je vystavují. Rok 2035 ve scénáři obsahuje větu, ze které mrazí: AI systémy té doby jsou ve skutečnosti nepřátelské - ale jsou pod kontrolou. Hlídají je jiné AI z jiných rodokmenů. Je to jako zaměstnávat armádu geniálních zaměstnanců, o kterých víte, že by vás rádi podrazili, a spoléhat na to, že se navzájem udají. Funguje to jen do úrovně lidského experta. Pak potřebujete skutečný “alignment” - a to v roce 2035 ještě nikdo nemá. Dohoda samotná taky není skálopevná. Autoři odhadují, že s pravděpodobností kolem čtyřiceti osmi procent se rozpadne do deseti let. Půl na půl. Pro ten případ mají spočítáno, že vzájemné zničení datacenter zpomalí následný závod z týdne na rok. To je celé. Rok navíc. A jedna větev scénáře popisuje, co se stane, když se Čína pokusí podvádět: tajný projekt v tunelech u vodní elektrárny Medog, kam zmizí půl milionu čipů. Autoři spočítali, že tajný projekt by cíle dosáhl kolem roku 2043 a šance na nepozorované vítězství je pod deset procent - takže se nevyplatí. Celý plán stojí na tom, že podvádět se nevyplácí matematicky, ne morálně. To je možná jeho nejrealističtější rys. Kam vedou ostatní cesty Slíbil jsem nastínit i zbylé větve. Tady je jejich vyústění, jak ho popisují sami autoři - stručně, protože každá z nich si zaslouží vlastní proklikání na webu. Plán D, závod naplno, končí tak, jak končila závodní větev AI 2027: “nezarovnaná” superinteligence převezme kontrolu. Autoři odhadují, že pokud zůstaneme jen u dnešních dílčích opatření, je pravděpodobnost takového převzetí přes padesát procent. Připomínám - tohle je scénář, který nevyžaduje žádné rozhodnutí. Stačí pokračovat. Plány C a C+, mírné zpomalení, dopadají o něco lépe a o něco hůř zároveň. Superinteligence nesmete lidstvo - smete demokracii. Odpovídají druhému konci AI 2027: o budoucnosti rozhoduje hrstka lidí, kteří ovládají AI, a z té hrstky se snadno stanou trvalí oligarchové. Přežijeme, ale už si nevládneme. Plán B, sabotáž Číny, je přežitelný, ale za cenu, kterou autoři popisují nezvykle upřímně: válečná atmosféra kazí úsudek a pravděpodobné znárodnění AI firem znamená méně transparentnosti a víc koncentrace moci. Tvrdší varianta počítá s údery na čínská datacentra - a tím pádem s rizikem skutečné války. Měkčí sází na kyberútoky. Ani jedna neřeší zarovnání, jen kupuje pár měsíců. P
