Do deseti let umělá inteligence vyhladí lidstvo
9. 9. 2026
čas čtení
15 minut
"Nepodceňujte sílu této technologie. Brzy to budou nadlidské systémy, které dokážou hacknout cokoli, přes noc revolučně změnit jakoukoli oblast a získat skutečnou moc a zdroje. Všichni jsme byli svědky pokroku v každé z těchto oblastí a tento pokrok se nezpomaluje."
O hodinu později zveřejnil tuto odpověď Evan Hubinger, přední výzkumník v oblasti bezpečnosti ve společnosti Anthropic.
"Jacob má v tomto pravdu. Opravdu si upřímně myslíme, že umělá inteligence by mohla zabít všechny lidi."
A řekl, že je větší než 10% šance, že k tomu dojde v příštím desetiletí. Větší než 10% šance, že umělá inteligence zabije všechny lidi do deseti let.
Tyto výroky přicházejí v době, kdy se společnost Anthropic rozhodla nepředložit svůj nejnovější model britskému Institutu pro bezpečnost umělé inteligence (AI Security Institute) k testování před jeho vydáním, zřejmě kvůli tlaku ze strany Trumpovy administrativy.
Předseda britských liberálních demokratů Ed Davy se dnes v poledne zeptal premiéra, zda je přijatelné, aby prezident Trump podkopával britské úsilí o ochranu světa před nebezpečnou umělou inteligencí.
Britský premiér Andy Burnham: "V širším kontextu má naprostou pravdu, že umělá inteligence představuje riziko pro naši národní bezpečnost, ale zároveň může být zdrojem řešení, která nám zajistí větší bezpečnost. A právě o tom jsme včera diskutovali. Pane předsedo, proto jsem do vlády jmenoval ministra pro umělou inteligenci. Zvýšili jsme tak úroveň diskuse o umělé inteligenci v rámci vlády."
Moderátorka: Madhumita Murgia je redaktorkou Financial Times pro oblast umělé inteligence. Dobré odpoledne. Mohli bychom začít tím, že se trochu vrátíme zpět a promluvíme si o významu společnosti Anthropic? Kdo to jsou?
Madhumita Murgia: Společnost Anthropic se skutečně prosadila jako lídr mezi firmami zabývajícími se umělou inteligencí. V tomto závodě jsou vlastně dvě hlavní společnosti. Je tu OpenAI, která vyvíjí ChatGPT, a Anthropic, která vyvíjí Claude. Jedná se tedy o chatboty a agenty umělé inteligence, které všichni používáme. Hodnota společnosti v tuto chvíli přesahuje 960 miliard dolarů a v příštích několika měsících se chystá vstoupit na americké trhy.
Moderátorka: Nyní tu máme tento příspěvek na sociálních médiích od Jacoba Coxona, někoho, o kom, jak si myslím, většina lidí dosud neslyšela, ale jeho příspěvek z velmi brzkého rána, podle mých údajů, byl na platformě X přečten 60 milionůkrát. Lidé to berou vážně.
Madhumita Murgia: Myslím, že pro ty, kdo pracují v odvětví umělé inteligence nebo ho pozorně sledují, nebudou jeho prohlášení žádným překvapením. Myslím tím, že je to velká ironie, že tyto společnosti, jejich zaměstnanci a vedoucí pracovníci už roky varují, že umělá inteligence je nebezpečná a riziková pro lidi, pro naše podniky i pro náš způsob života. Ale myslím, že to, co v Jacobově tweetu či příspěvku opravdu zasáhlo citlivé místo, je to, jak otevřeně se postavil k tomu, že vinu nesou právě tyto společnosti, protože to je otázka, kterou jsme si všichni kladli. Pokud všichni věří, že je to tak nebezpečné, proč ji pořád vyvíjejí? A on se k tomu otevřeně vyjádřil a řekl: „Je to jejich vina. Soutěží o komerční zisky, i když vědí, že tím ohrožují všechny ostatní.“
Moderátorka: Dame Wendy Hallová je jednou z předních světových informatiček a členkou poradního orgánu OSN na vysoké úrovni pro umělou inteligenci. Dame Hallová, dobré odpoledne. Dame Wendy, dobré odpoledne. Nejprve bychom měli začít s těmi příspěvky na sociálních médiích. Co si o nich myslíte?
Wendy Hall: No, vlastně se snažím zůstat v těchto věcech klidná. Byla jsem docela šokovaná. Šokovalo mě to ze dvou důvodů. No, kdo tyhle společnosti zkrotí? A jak můžete, jak můžete… část z toho by mohla být jen PR a marketing, že? Člověk nikdy neví. U nich nikdy nevíte. Nedá se jim věřit.
Moderátorka: Ale proč by to mělo být PR nebo marketing, když to říkají?
Wendy Hall: Nastavili to jako závod, jako OpenAI proti Anthropic.
Moderátorka: Ale když někdo zevnitř firmy řekne, že jde o něco většího?
Wendy Hall: To jsem právě chtěla říct – když čtete, že někdo zevnitř firmy vydává takové prohlášení, jak může člověk prohlásit, že naše firma má 10% šanci vyhladit lidstvo? Proč by to někdo chtěl říkat? Proč by… A já bych investory prosila, aby do této firmy neinvestovali, pokud je to jejich hodnotový systém?
Moderátorka: Dá se říct, že právě proto s tím jde na veřejnost, protože…
Wendy Hall: Jsou tu dvě informace, jedna, která říká, že odešel, a druhá, že tam stále pracuje. Proč by tam někdo pracoval, kdyby si upřímně myslel, že by mohl být zodpovědný za vyhlazení lidstva?
Moderátorka: No, pojďme se ale podívat na jiný aspekt, a to samozřejmě na to, že právě z hlediska bezpečnosti zřídilo Spojené království tento Institut pro bezpečnost umělé inteligence. A až dosud tyto firmy zabývající se umělou inteligencí poskytovaly své různé modely, vzhledem k pokročilosti svých systémů, ale teď už ne. A zdá se, že důvodem je prezident Trump – kvůli protekcionismu chtěl prezident Trump, aby to zůstalo ve Spojených státech. Co to znamená?
Wendy Hall: Jde tu především o to, že Trump má kontrolu – je to jediná osoba, která může tyto firmy skutečně regulovat, krotit je, podrobit je jakékoli formě regulace a přimět je, aby se nechaly auditovat a hodnotit. A on, jak víte, mění názor každý den. Někdy zastaví export antropické umělé inteligence, takže pokud ji používáte, může vám to být odpojeno. Další věc se týká Číny. Víte, Čína je v této oblasti velkým hráčem. Všichni bychom se mohli rozhodnout přestat používat americké firmy. Tady je ten bod.
Moderátorka: Všichni by přestali používat americké společnosti a přešli na čínské. Ano? P
Wendy Hall: Číňané, byli v této věci mnohem zodpovědnější, částečně proto, že to dokážou, protože mají autoritářštější vládu, ale na druhou stranu už se nedá být o moc autoritářštější než Trump. Ale mohli bychom vlastně říct: „Dobře, přestaneme využívat americké firmy.“ To by situaci okamžitě trochu uklidnilo, protože oni to potřebují.
Moderátorka: Nezmění to jen intenzitu napětí?
Wendy Hall: Chci říct, jsem šokována a mám obavy a v tomto světě naprosto potřebujeme rozumné lidi. Máme přece papeže a spoustu dalších lidí, kteří se obávají o budoucnost lidstva. A musíme to dostat pod kontrolu. Potřebujeme globální vlády a dohodnutou regulaci. Ale nikdo, víte, Trump to v Americe neříká. Stále to prezentuje jako závod. A myslím, že pro nás zvenčí je velmi těžké přesně poznat, zda jde o mediální humbuk, nebo zda je v tom, co říkají, kus pravdy.
Dame Wendy, moc vám děkuji. No, ta noční rezignace a komentáře ohledně bezpečnosti přiměly Darrena Jonese, který byl hlavním tajemníkem ministerstva financí a poté hlavním tajemníkem Sira Keira Starmera, aby napsal otevřený dopis Andymu Burnhamovi a generálním tajemníkům OSN a OECD a vyzval k nové nadnárodní smlouvě o bezpečném vývoji umělé inteligence. Je tu Darren Jones a právě se k nám připojuje z Westminsteru. Co vás vedlo k napsání tohoto dopisu? Mám na mysli to, že to nevidíte jen jako mediální humbuk, ale jako to, že lidé říkají pravdu.
Darren Jones: Musíme to tak předpokládat a podle mého názoru to alespoň prověřit. A myslím, že existuje důležitý rozdíl mezi umělou inteligencí, kterou možná každý den používáme v práci, což je naprosto v pořádku, a rizikem superinteligence, na které tito výzkumníci upozorňují. Jde o představu, že systémy umělé inteligence se mohou samy neustále zdokonalovat a činit vlastní rozhodnutí bez lidského dohledu nebo bez toho, aby člověk věděl, co se děje. A pokud tomu tak je – a tito výzkumníci tvrdí, že se nacházíme v raných fázích vývoje této superinteligence –, zdá se mi velmi rozumné říci: měli bychom se ujistit, že tyto technologie vyvíjíme v bezpečném a regulovaném prostředí, kde my všichni – výzkumníci, vlády, zákonodárci, regulační orgány i veřejnost – skutečně chápeme, co se děje, a zda jsme s tím spokojeni, či nikoli.
Moderátorka: Nemá ale Dame Wendy pravdu v tom, že jediným člověkem, který to skutečně může zastavit, je prezident Trump?
Darren Jones: Podívejte, trhy, globální trhy, nejsou jen Spojené státy. Myslím, že pokud se země spojí na multilaterální úrovni a začnou konkretizovat, jak by měla vypadat smlouva a jak by měly být tyto technologie testovány a dohlíženy, než budou moci být nasazeny v jejich vlastních ekonomikách, bude to mít dopad na tyto soukromé firmy, ať už se Spojené státy chtějí této hry účastnit, nebo ne.
Moderátorka: Dobře, souhlasíte tedy s myšlenkou, že bychom vlastně všichni měli používat čínskou generativní AI namísto nástrojů jako je Claude?
Darren Jones: No, výzvou pro nás samozřejmě je, že mnoho čínských technologií je open source a spousta firem ve Velké Británii je každý den používá pro své rutinní úkoly, a to je pravděpodobně v pořádku. Ale jak se stávají pokročilejšími, musíte se začít obávat dopadů na národní bezpečnost. Co se stane, když Číňané vypnou své vlastní systémy? Co to znamená pro naše využívání těchto technologií ve Velké Británii, ať už jde o vojenské aplikace, národní bezpečnost, konkrétní využití nebo prostě jen provoz kritické národní infrastruktury?
Moderátorka: Dobře, takže pokud jde o pravomoci, které máme ve Velké Británii, co by měla vláda v této souvislosti dělat?
Darren Jones: No, myslím, že jsou tu dva samostatné úkoly. Za prvé, v současné době vedu jednání s britským parlamentem o zřízení meziparlamentní unie, v rámci které bychom mohli sdružit parlamenty z celého světa, aby zákonodárci jako já, napříč politickým spektrem, mohli lépe porozumět tomu, co se ve skutečnosti děje jménem lidí, které zastupujeme. Doufám, že se mi podaří získat souhlas zdejšího parlamentu k zahájení této iniciativy a ke sdružení dalších parlamentů z celého světa. Za druhé však musí vlády spojit síly, ať už prostřednictvím Organizace spojených národů, formátu G7 nebo G20, nebo jakéhokoli jiného, a spolupracovat na tom, jak by měl vypadat rozvoj superinteligence založený na mezinárodních dohodách. Pokud totiž vlády nevezmou tato varování vážně a nezačnou jednat, tempo vývoje by mohlo znamenat, že se ocitneme v problémech ještě dříve, než vůbec začneme zkoumat, zda se nás tato otázka týká, či nikoli.
Moderátorka: A tento dopis je, kromě toho, že je adresován Antoniovi Guterresovi v OSN a Matthiasovi Kormanovi v OECD, určen také britskému premiérovi. Myslíte si, že to chápe?
Darren Jones: No, myslím, že ano. Vždyť to dnes řekl při interpelacích v Dolní sněmovně. A vzhledem k tomu, že Spojené království je stálým členem G7 a G20. V této fázi vlastně žádám jen to, aby premiér zařadil tuto záležitost na pořad jednání a zkusil dosáhnout dohody v rámci tohoto fóra, abychom mohli začít svolávat naše úředníky a další ministry k jednacímu stolu a dosáhnout pokroku.
Moderátorka: Jednou z výzev je v jistém smyslu to, co jsme slyšeli v reakci Andyho Burnhama, a sice že umělá inteligence přináší i některé úžasné věci. Vždycky se okamžitě ozve, že přece nechceme přijít například o lék na rakovinu.
Rozsah toho, co je zde zapotřebí, je totiž obrovský.
Moderátorka: Od té doby, co jste byl odvolán, jste se k tomu několikrát vyjádřil, zveřejnil jste příspěvky na sociálních sítích, napsal jste do deníku Times a zmínil jste výzvy, kterým tato vláda čelí. Má tedy vláda dostatek kapacit, aby se toho také ujala?
423
Diskuse