OpenAI upřednostňuje „povrchně atraktivní produkty“ před bezpečností, říká odcházející výzkumník

20. 5. 2024

čas čtení 4 minuty
„Vytváření strojů chytřejších než člověk je ze své podstaty nebezpečné. OpenAI na sebe bere obrovskou zodpovědnost jménem celého lidstva."

Jan Leike, klíčový výzkumník v oblasti bezpečnosti ve firmě ChatGPT, odešel několik dní po uvedení jejího nejnovějšího modelu umělé inteligence GPT-40

Bývalý vedoucí pracovník společnosti OpenAI uvedl, že společnost stojící za ChatGPT upřednostňuje „povrchně atraktivní produkty“ před bezpečností, a prozradil, že odešel poté, co neshody ohledně klíčových cílů dosáhly „bodu zlomu“.

 
Jan Leike byl klíčovým výzkumníkem v oblasti bezpečnosti ve společnosti OpenAI, kde působil jako spolušéf oddělení supervize a zajišťoval, aby výkonné systémy umělé inteligence dodržovaly lidské hodnoty a cíle. Jeho zásah přichází před celosvětovým summitem o umělé inteligenci, který se bude konat tento týden v Soulu a na němž budou politici, odborníci a vedoucí pracovníci v oblasti technologií diskutovat o dohledu nad touto technologií.

Leike odstoupil několik dní poté, co společnost se sídlem v San Francisku uvedla na trh svůj nejnovější model umělé inteligence GPT-40. Jeho odchod znamená, že po rezignaci Ilji Sutskevera, spoluzakladatele OpenAI a dalšího spoluzakladatele superdohledu, odešli tento týden z OpenAI už dva vedoucí představitelé v oblasti bezpečnosti.

Leike podrobně popsal důvody svého odchodu ve vlákně na Twitteru zveřejněném v pátek, v němž uvedl, že kultura bezpečnosti se stala nižší prioritou.

„V posledních letech se kultura bezpečnosti a procesy dostaly na druhou kolej před nablýskanými produkty,“ napsal.

Společnost OpenAI byla založena s cílem zajistit, aby umělá obecná inteligence, kterou popisuje jako „systémy umělé inteligence, které jsou obecně chytřejší než lidé“, byla přínosem pro celé lidstvo. Ve svých příspěvcích na Twitteru Leike uvedl, že se s vedením OpenAI již nějakou dobu neshoduje na prioritách společnosti a tato patová situace „konečně dosáhla bodu zlomu“.

Leike uvedl, že společnost OpenAI, která vyvinula také generátor obrázků Dall-E a generátor videa Sora, by měla u své další generace modelů investovat více prostředků do otázek, jako je bezpečnost, sociální dopad, důvěrnost a zabezpečení.

„Tyto problémy je poměrně těžké správně vyřešit a obávám se, že nejsme na trajektorii, po které bychom se k nim dostali,“ napsal a dodal, že pro jeho tým je stále „těžší a těžší“ provádět výzkum.

„Vytváření strojů chytřejších než člověk je ze své podstaty nebezpečné. OpenAI na sebe bere obrovskou zodpovědnost jménem celého lidstva,“ napsal Leike a dodal, že OpenAI se musí stát firmou  zaměřenou na bezpečnost‘.

Sam Altman, výkonný ředitel společnosti OpenAI, reagoval na Leikeho vlákno příspěvkem na Twitteru, v němž svému bývalému kolegovi poděkoval za jeho přínos ke kultuře bezpečnosti společnosti.

„Má pravdu, máme toho ještě hodně před sebou; jsme odhodláni to udělat,“ napsal.

Sutskever, který byl také hlavním vědeckým pracovníkem OpenAI, ve svém příspěvku na Twitteru oznamujícím jeho odchod napsal, že je přesvědčen, že OpenAI „vybuduje AGI, která bude bezpečná a prospěšná“ pod současným vedením. Sutskever původně podporoval odvolání Altmana z funkce šéfa OpenAI loni v listopadu, než po několika dnech vnitřních zmatků ve společnosti podpořil jeho opětovné jmenování.

Leikeho varování přišlo v době, kdy panel mezinárodních odborníků na umělou inteligenci vydal úvodní zprávu o bezpečnosti umělé inteligence, podle níž panuje neshoda ohledně pravděpodobnosti, že se výkonné systémy umělé inteligence vyhnou lidské kontrole. Varovala však, že regulační orgány by mohly zůstat ve vleku rychlého vývoje této technologie, a upozornila na „možný nepoměr mezi tempem technologického pokroku a tempem regulační reakce“.

Podrobnosti v angličtině ZDE

1
Vytisknout
2917

Diskuse

Obsah vydání | 23. 5. 2024