Autoři vyjadřují obavy z „iexploze inteligence“, kterou popisují jako „dramatické zrychlení pokroku v oblasti umělé inteligence poháněné samotnou umělou inteligencí, které zkrátí pokroky, které by jinak trvaly roky, na měsíce či ještě méně“.

Článek s názvem „Co kdyby automatizace výzkumu a vývoje umělé inteligence spustila explozi inteligence“ je dílem více než 20 autorů, včetně Hintona a Bengia. Mezi další autory článku patří Jack Clark, spoluzakladatel společnosti Anthropic, a Jakub Pachocki, hlavní vědecký pracovník společnosti OpenAI.

Jejich obavy se soustřeďují na možnost, že by se umělá inteligence mohla zdokonalovat bez lidského zásahu, což je proces známý jako „rekurzivní sebezdokonalování“. V článku se o tom obecně hovoří jako o automatizovaném výzkumu a vývoji umělé inteligence. Jakmile systémy umělé inteligence dosáhnou v oblasti výzkumu a vývoje umělé inteligence schopností na úrovni odborníků, mohl by jediný vývojář řídit pracovní sílu odpovídající „milionům“ špičkových lidských výzkumníků, uvádí článek.

Autoři varují, že automatizace výzkumu a vývoje umělé inteligence je nejpravděpodobnějším zdrojem exploze inteligence, protože umělá inteligence již nyní přispívá ke zlepšování své vlastní technologie a výsledné vylepšené systémy lze po jejich vytvoření rychle nasadit.

„Exploze ineligence by mohla být nejzásadnějším technologickým vývojem v dějinách lidstva, který by zkrátil roky pokroku na měsíce či méně, ohrozil lidskou kontrolu nad systémy umělé inteligence a vážně oslabil kontrolu moci uvnitř států, firem a vládních orgánů i mezi nimi,“ uvádí se v článku.

Autoři vyzývají vlády k rychlému jednání a říkají: „Jakmile exploze inteligence začne, okno pro zásah se může uzavřít.“

Doporučili tři politické priority: vyžadovat transparentní zprávy o pokroku v oblasti výzkumu a vývoje souvisejícího s AI, včetně začlenění nezávislých auditorů do firem; najít způsoby, jak omezit zběsilý vývoj AI; a připravit se na přizpůsobení se explozi inteligence.

Společnosti Anthropic a OpenAI se obě dohodly na tom, že jejich modely budou posuzovat nezávislí hodnotitelé, poté co varovaly, že vývoj AI dosahuje kritického bodu z hlediska bezpečnosti.

Společnost Anthropic uvádí, že AI nyní vytváří 80 % svého vlastního kódu, zatímco OpenAI využívá autonomní agenty AI v oblastech, jako je trénování nových modelů.

„Předběžné důkazy naznačují, že je možná softwarem řízená exploze inteligence,“ uvádí se v článku, který dodává, že by to vedlo k „extrémně rychlému vývoji vysoce výkonných nebo nadlidských systémů AI“.

Ačkoli by to mohlo přinést průlomové objevy v medicíně a technologické skoky, přineslo by to také trojici rizik: výkonné systémy by mohly umožnit biologické a kybernetické hrozby, které by se vyvíjely rychleji než opatření potřebná k jejich odvrácení; jak se lidé budou stále méně podílet na výzkumu a vývoji umělé inteligence, mohli by ztratit možnost systémy ovládat; státy by mohly využít explozi inteligence k tomu, aby proměnily skromný náskok v oblastech, jako je kyberprostor, v náskok rozhodující.

Zpráva uznává, že tyto dopady jsou „nejisté“. Například zavedení technologického průlomu by mohlo trvat delší dobu vzhledem k nutnosti vybudovat dodavatelské řetězce pro případné speciální materiály nebo splnit regulační požadavky. Systémy umělé inteligence by podle autorů mohly také urychlit tempo, jakým se rizika zmírňují.

Pokud by k takovému průlomu došlo, systémy umělé inteligence by podle autorů mohly ve většině oborů rychle zastínit lidské odborníky a „radikálně urychlit“ technologický pokrok. Příprava na tuto situaci „by měla být naléhavou prioritou, a to i na nejvyšších úrovních vládního vedení“.

Uvádějí, že vlády by měly zvážit opatření zaměřená na potenciál intelektuální exploze, včetně: požadavku na transparentní zprávy o pokroku v oblasti výzkumu a vývoje souvisejícího s AI, včetně zapojení nezávislých auditorů do firem; omezení rychlosti, jakou se AI může v určitém časovém období zdokonalovat; spolupráce s datovými centry s cílem umožnit pozastavení určitých projektů výzkumu a vývoje v oblasti AI; zajištění toho, aby automatizované systémy výzkumu a vývoje AI byly plně izolované a nemohly se vymknout lidské kontrole; vytvoření „plánů nouzové reakce“ pro různé scénáře, které by mohly vyplynout z exploze inteligence.

Navzdory některým poruchám, které systémy vykazují, jako je neuposlechnutí pokynů, by výzkumné a vývojové projekty, jejichž realizace by lidem trvala měsíce, mohly být do roku 2028 plně automatizovány pomocí AI. „Zisky v produktivitě plynoucí z automatizace výzkumu a vývoje v oblasti AI dosud nedosáhly prahu potřebného k vyvolání exploze inteligence, ale zisky z novějších systémů se k tomuto prahu pravděpodobně blíží,“ uvedli.

Zdroj  v angličtině ZDE