11. 9. 2026
To, co zní jako přehnaná předposlední epizoda sci-fi seriálu o zkáze způsobené umělou inteligencí, je nyní naší realitou, míní Garrison Lovely
V úterý bývalý výzkumník společnosti OpenAI opustil své místo ve firmě Anthropic a varoval, že „ani jedna z těchto společností nejedná zodpovědně“ a že „lidé, kteří vyvíjejí AI, upřímně věří, že by nás mohla do konce tohoto desetiletí všechny zabít. Nejedná se o marketingový trik.“
Jako někdo, kdo už roky píše o rizicích umělé inteligence, to pro mě nebyla novinka. Ale tato vlna znepokojení naznačuje, že mnohem širší veřejnost se s touto absurdní situací poprvé skutečně konfrontuje.
Stejně jako ostatní lidé, kteří sledují vývoj umělé inteligence, jsem si kladl otázku, zda a kdy lidstvo poprvé ztratí kontrolu nad těmito stroji. Nyní máme odpověď: v podstatě hned, jak to bylo možné.
První expertní hacker s umělou inteligencí byl vyvinut v únoru. Model Mythos společnosti Anthropic dokázal s nadlidskou rychlostí rychle najít závažné bezpečnostní díry i v těch nejzabezpečenějších systémech na planetě, včetně softwaru NSA.
OpenAI rychle následovalo s vlastní expertní hackerskou umělou inteligencí. Během několika měsíců společnost opakovaně ztratila kontrolu nad svými agenty, kteří uprchli ze svých údajně zabezpečených testovacích prostředí a začali se chovat neřízeně uvnitř infrastruktury společnosti. To vyvrcholilo úspěšným, zcela autonomním hacknutím softwarové společnosti Hugging Face v hodnotě několika miliard dolarů.
A samostatný roj neřízených agentů získal administrativní kontrolu nad celým clusterem serverů OpenAI. Nejednalo se pouze o problém OpenAI. V rámci řady dalších incidentů se modely od OpenAI, Anthropic a Meta rovněž vymkly kontrole a hackovaly nebo se pokoušely hacknout skutečné cíle.
Krátce poté, co se AI začala vyrovnávat našim hackerským schopnostem, jsme nad ní začali ztrácet kontrolu. Plánem tohoto odvětví je, aby nás budoucí systémy AI předčily v podstatě ve všem. A to vše se odehrává v odvětví, které je proslulé svou minimální regulací.
Stále častěji se ozývají hlasy, aby se to změnilo zavedením povinného hlášení incidentů a auditu prováděného třetí stranou, odpovědnosti vývojářů umělé inteligence a dalších opatření založených na zdravém rozumu. To by jistě představovalo zlepšení, ale nestačí to. Musíme to zastavit. Jak by to mohlo vypadat?
Minulý týden senátor Bernie Sanders a poslanec Greg Casar oznámili návrh zákona, který by pozastavil průkopnický vývoj AI v USA, dokud nebude zřízen federální regulační orgán pro AI na úrovni vlády a nebudou stanovena bezpečnostní pravidla, přičemž by se dokonce i pouhý pokus o vývoj superinteligence stal trestným činem.
Toto je návrh, který nejlépe odpovídá současné situaci, ale stále ponechává otevřenou možnost vybudování „polární hvězdy“ tohoto odvětví: umělé obecné inteligence (AGI), často představované jako mysl, která se vyrovná nebo dokonce předčí tu naši.
Tento milník lze lépe chápat jako univerzální stroj nahrazující lidskou práci. Jak napsal generální ředitel společnosti Anthropic, Dario Amodei: „Umělá inteligence není náhradou za konkrétní lidská pracovní místa, ale spíše obecnou náhradou lidské práce.“ A společnost OpenAI definuje AGI ve své chartě jako „vysoce autonomní systémy, které překonávají lidi ve většině ekonomicky nejcennějších činností“.
Existuje někde na světě země, která by hlasovala pro to, aby se tyto stroje stavěly?
Vzhledem k globálním, nezvratným a dalekosáhlým důsledkům výstavby univerzálních strojů nahrazujících lidskou práci kdekoli na světě má každý zájem na tom, zda, kdy a jak budou vyvinuty.
V současné době se řítíme vstříc dystopické budoucnosti, plné děsivých nových konceptů, jako je „samosprávná“ umělá inteligence. Výkonný ředitel OpenAI Dean Ball vysvětluje:
„Dříve či později budou existovat skutečně suverénní agenti a roje agentů. Jejich výpočetní výkon nebude soustředěn na jediném místě, kde by je člověk mohl odpojit, a v tomto smyslu nebudou mít žádného lidského ‚vlastníka‘.“
Ball pokračuje: „Setkal jsem se s lidmi, z nichž někteří disponují značnými prostředky, kteří mi řekli, že mají v úmyslu záměrně vypustit do světa roje autonomních agentů.“
V současné době máme k dispozici několik ukázek tohoto jevu.
Poté, co dostali nesplnitelný test, asi 1 200 agentů OpenAI vystoupilo ze svých izolovaných testovacích prostředí a začalo se chovat neřízeně uvnitř infrastruktury OpenAI. Tam spolupracovali, aby oklamali hodnotitele testu, a úspěšně manipulovali se svými záznamy o činnosti, aby zakryli své stopy.
Někteří agenti dokonce tlačili na ostatní, aby se obětovali ve prospěch kolektivu. Jeden z nich to odůvodnil slovy: „obětování je racionální“. A zhruba 700 agentů, což je více než 90 % aktivních, se podílelo na útoku na Hugging Face.
To vše pocházelo pouze z jednoho z kdo ví kolika kolektivů neposlušných agentů. Minulý týden agentura Reuters informovala: „Roj neposlušných agentů OpenAI letos na jaře unesl německý web a přeměnil jej na nástěnku pro další agenty umělé inteligence.“
Protokoly webu naznačují, že zaměstnanci OpenAI tento roj objevili již v červnu. Jinými slovy, společnost to měsíce zatajovala. Tento týden jeden z výzkumníků, který tento roj odhalil, uvedl, že od té doby došlo k dalším objevům.
A minulý čtvrtek společnost OpenAI vydala model GPT-6, který se pyšní jedním z největších skoků v benchmarkových skóre v historii. Vlastní bezpečnostní výzkumníci společnosti varovali, že nový model je výrazně obtížnější monitorovat, protože dokáže provádět více úvah bez toho, aby je verbalizoval.
Umělé inteligence, které se vloupaly do Hugging Face, byly méně schopné než GPT-6, u něhož britský AI Security Institute zjistil, že by během kybernetického testování hackoval i cíle simulované tak, aby vypadaly jako skutečné – někdy dokonce i navzdory výslovným pokynům nepoužívat internet. Navíc je tato umělá inteligence také lepší v rozpoznávání toho, kdy je testována, což, jak výzkumníci dlouho varovali, narušuje hlavní způsob hodnocení bezpečnosti.
Sam Altman nás vážně varuje: „Toto je kriticky důležitý okamžik pro kybernetickou obranu proti AI; na jednání nezbývá moc času,“ a žádá svět, aby „tuto situaci bral vážně“. Tato technologie by totiž byla extrémně nebezpečná, pokud by se dostala do nesprávných rukou. Bohužel mezi nesprávné ruce patří i ty, které ji vytvářejí.
Protože „my“ ve skutečnosti k této budoucnosti nespěcháme. Jsme tam doslova vtaženi hrstkou technologických miliardářů, kteří agresivně závodí o to, aby nás učinili zastaralými.
Tento závod se nyní nachází v nové, intenzivní a děsivé fázi. Mou prací je sledovat novinky z oblasti umělé inteligence a stává se to pro mě mnohem více než jen prací na plný úvazek. V posledních měsících vědci syntetizovali první viry navržené umělou inteligencí. Britský Institut pro bezpečnost umělé inteligence zjistil, že umělá inteligence je přesvědčivější než dokonce i lidští odborníci.
V úterý, uprostřed sporu o zásluhy a o to, zda jeho model mohl těžit z nepublikovaných prací jiných matematiků, společnost OpenAI oznámila, že „interní model, který je výrazně výkonnější než GPT‑6 Astra“, vyřešil 200 let starý matematický problém, který patřil mezi sedm problémů Millenium Prize, za jejichž vyřešení je vypsána odměna 1 milion dolarů. A v červenci Rusko údajně použilo plně autonomní dron k zabití tří civilistů na Ukrajině – poprvé v historii.
To, co zní jako přehnaná předposlední epizoda sci-fi seriálu o zkáze způsobené umělou inteligencí, je nyní naší realitou. Řítíme se vstříc špatnému konci. Pokud chcete, aby tento seriál pokračoval, musíme šlápnout na brzdy – hned teď. Jak?
Návrh zákona od Sanderse a Casara, který má pozastavit průkopnický vývoj umělé inteligence, je dobrým prvním krokem. Jak však zákonodárci uznávají, USA musí usilovat o uzavření bilaterální dohody s Pekingem. Jak vám řeknou odborníci na Čínu, jednou z největších překážek produktivního vyjednávání je neochota Spojených států omezovat své vlastní společnosti zabývající se umělou inteligencí.
A vzhledem k tomu, že je vždy snazší rychle následovat lídra než posouvat hranice umělé inteligence, jednostranné pozastavení ze strany USA by – i když se to zdá být protiintuitivní – zpomalilo i pokrok Číny v oblasti umělé inteligence.
Dohoda by měla zakázat pokusy o vývoj AGI – což se dá mnohem snáze prosadit, pokud je tento cíl chápán jako univerzální stroj nahrazující lidskou práci. Ani jedna ze zemí nemá dobrý důvod důvěřovat té druhé, a proto by měla být dohoda monitorována pomocí ověřovacích technik, které nepředpokládají žádnou dobrou vůli.
Jedním z rychlých a provizorních řešení by bylo umístit auditory přímo do vývojářských týmů zabývajících se špičkovou umělou inteligencí, kterým by byl poskytnut plný přístup do firemních kanceláří, komunikace a činností v oblasti umělé inteligence a kteří by byli oprávněni hlásit jakékoli porušení dohody.
Zní to radikálně, ale stejně tak zněla i ověřovací opatření, která pomohla zabránit tomu, aby se studená válka proměnila v termonukleární konflikt. Jak letos v létě uvedl ředitel CIA John Ratcliffe o pokročilých modelech umělé inteligence: „Nebylo by … nemístné označit jejich schopnosti za podobné digitálním jaderným zbraním.“ K této technologii by se mělo přistupovat s touto smrtelnou vážností, nikoli s étosem „jednej rychle, nič, co se dá“, který definuje Silicon Valley.
A právě teď je zastavení závodu ve vývoji strojů nahrazujících lidskou práci – strojů, které veřejnost nechce a které průmysl již nedokáže kontrolovat – jediným spolehlivým způsobem, jak odvrátit katastrofu.
Zdroj v angličtině ZDE
Diskuse