O AI je možné dneska zakopnout úplně na každém rohu online prostoru. Píše se o něm z hlediska využití, memů nebo i rizik. Málokde jsme však našli vysvětlení, jak funguje v podobě, která je pochopitelná i pro laika. A tak se Martin Smětala rozhodl tuto oblast více prozkoumat. V tomto článku se podíváme, jak je možné, že ChatGPT či Bard generují perfektní textové výstupy včetně programovacího kódu, další jako například DALL-E nebo Midjourney tvoří úžasné obrazy a přitom všechny fungují na stejných základních principech?
Co je GPT (nikoliv ChatGPT)?
GPT je zkratka pro Generative Pretrained Transformer. Níže si rozebereme každé jednotlivé slovo z této zkratky.
Zajímá vás oblast IT a hledáte pracovní pozice a pracovní příležitosti v IT oboru? Ať už jste programátor, developer, tester, analytik nebo software architekt, ozvěte se nám a my vám z naší nabídky IT práce najdeme IT projekt na míru. Podívejte se, jaká volná pracovní místa v IT oblasti momentálně nabízíme. Pomůžeme vám najít nové pracovní výzvy a příležitosti. Těšíme se na spolupráci s vámi!
Generative
Generative, v překladu generativní, znamená, že AI umí generovat unikátní výstup, který navazuje na vstupní text (tzn. prompt). Tento výstup tedy nemusí vznikat jen zkopírováním a poslepováním již naučených částí textů, ale je vytvořen na základě analýzy jednotlivých závislostí mezi slovy, která si AI vytvoří při svém učení.
Pokud například na vstupu bude věta: „Na stole je“, tak AI z naučených dat ví, že nejčastěji se v tomto spojení objevilo slovo „kniha“, kterému přiřadí pravděpodobnost např. 90 %, pak zařadí další slova („sklenice“, „talíř“, atd.), kterým také přiřadí určitou pravděpodobnost. Následný výstup je pak vždy závislý na tom, které slovo má nejvyšší pravděpodobnost. Pokud tedy budete 100 x generovat výstup pro zadání „Na stole je“, tak v 90 případech vám AI vypíše „kočka“ ve zbylých 10 případech nějaké jiné slovo. Proto se někdy stává, že má AI různý výsledek pro stejné zadání, protože tam hraje svou roli i náhoda.
Poznámka: pokud si zkoušíte ChatGPT víc do detailu, tak můžete narazit na parametr „Temperature“, neboli teplota. Tento parametr určuje, jak moc bude AI dbát na pořadí pravděpodobnosti slov. Pokud nastavíte teplotu na nulu, bude vždy vybírat jen to nejpravděpodobnější slovo, a tím pádem výsledek bude pokaždé stejný. V našem příklad tedy pokaždé AI napíše “Na stole je kniha”. Pokud naopak nastavíte teplotu na hodnotu 1, můžete dostat poměrně různorodé výsledky, jelikož AI bude vybírat i méně pravděpodobné slova. Takže například “Na stole je kočka” nebo “Na stole je miniaturní model antarktické stanice”.
Teplota je tedy skvělá možnost, jak AI držet na uzdě (psaní odborných textů), anebo naopak nechat kreativně plný prostor (básně, vtipy atd.).
Pretrained
Pretrained, v překladu před-trénovaný, znamená, že se jedná o typ AI, který je nutné před použitím natrénovat na datech. Platí, že čím složitější a komplexnější úkol je, tím lepší a kvalitnější data musíme AI poskytnout k učení.
Jak takové trénování AI vypadá?
Řekněme, že chceme naučit AI rozpoznat, zdali je zadaný text napsán česky nebo anglicky. AI tedy musíme naučit, jak taková čeština nebo angličtina vypadá. Budeme mít seznamy slov nebo celých odstavců a ke každému dodáme informaci, zda je napsán českým jazykem nebo anglickým. Správnost učení po naučení ověřuje na zcela nových datech, kde ověříme, zda AI správně poznalo jazyk.
Pokud AI nefunguje podle našich představ, tak zde bohužel není možné se podívat do zdrojového kódu nebo sledovat krok po kroku, jak AI k výsledku došlo. Kalkulace jsou zde totiž extrémně složité a obsahují až miliardy kroků. Jediná možnost, jak výsledky AI vylepšit je tak dodat více dat, zvýšit jejich kvalitu nebo změnit principy učení.
V případě ChatGPT bylo za úkol, aby pochopilo a rozeznalo veškeré jazyky a významy slov. Bylo tedy nutno dodat opravdu obrovské množství textů. Trénink modelu ChatGPT-3 probíhal na více jak 1.000 grafických procesorů po dobu 34 dnů v kuse. Objem dat byl také enormní, okolo 500 GB.
Transformer
Transformer je název architektury neuronové sítě, kterou představil Google v roce 2017. Asi se teď ptáte, co je to neuronová síť? Je to elektronické napodobení funkcí našeho mozku. Takže obdobně jako náš mozek se skládá z „elektronických“ neuronů, které jsou vzájemně propojeny. A podle toho, jak neurony vzájemně propojíme a vrstvíme, tak docílíme určité struktury, kterou nazýváme architektura. Transformer je pak jeden z nejvíce běžných typů architektury neuronové sítě, který se právě osvědčil na práci s textem, jelikož dokáže pochopit vztahy a závislosti mezi slovy bez ohledu na to, jak jsou od sebe v textu vzdáleny.
Opravdu zjednodušeně řečeno - na vstupu neuronové sítě jsou čísla, která vzniknou převodem ze vstupních slov (nebo obrázků ve formě pixelů). Následně se děje proces, který úžasně popsal Lubomír Lipský v pohádce Císařův pekař: “Patláma, patláma paprťála, žbrluch!”
Tyto čísla zkrátka „probublají“ přes neurony a na výstupu se objeví jiná čísla. Následně se tyto čísla dekódují do srozumitelné podoby a porovnají se s očekávanými výsledky. A pokud nejsou správná, nastává složitý proces úpravy parametrů neuronové sítě tak, aby pro další zadání byl výsledek o něco blíže očekávanému výstupu. Tento proces se opakuje tak dlouho, dokud výsledek není uspokojivý.
Zkrátka neuronová síť a její učení je velmi složitý proces. Ve výsledku to znamená, že ani jako programátor nemáte šanci v rámci neuronové sítě cokoliv upravovat, jelikož je nemožné pochopit jednotlivé parametry uvnitř neuronové sítě a jejich závislosti. Jen u ChatGPT-3 je přes 175 miliard parametrů. Poprvé v historii tak člověk vytvořil stroj / program, kterému sám do detailu nerozumí a který se navenek tváří jako tzv. Black box, neboli černá skříňka.
V dnešní době tak vznikají obory zvané „Interpretability of AI“, což v překladu znamená, “proč se proboha to AI chová tak, jak se chová”.
Ve zkratce: Pokud si tedy píšete s ChatGPT nebo tvoříte obrázky v MidJourney nebo DALL-E, vězte, že za tím není vyspělá inteligentní forma života, ale „jen“ kódování do číselné řady, probublání skrz naučenou neuronovou síť, která ze sebe vydá nejpravděpodobnější výsledek.
GPT a bezpečnost
V dnešní době se také hodně mluví o bezpečnosti AI. Z toho, co jsem výše napsal, je však patrné, že GPT modely jsou sice označovány jako umělé inteligence, ve výsledku se ale jedná o velmi komplikovaný a obrovský statistický model. Jde v podstatě o kolosální matematickou funkci o miliardách parametrů. Je tedy nepravděpodobné, že by v těchto modelech mohlo vzniknout vědomí.
Také je málo pravděpodobné riziko, že by si někdo doma v garáži vytvořil vlastní škodlivou AI, která by zničila svět. Tyto obrovské modely jako je GPT-3 vyžadují miliony dolarů na trénování nehledě na nutnost mít GB nebo i TB dat kvůli učení.
Je však dobré uvést, že obor AI jede obrovskou rychlostí kupředu a mohou se objevit nové modely, nové přístupy učení, čímž možnost vytvoření tzn. obecné umělé inteligence (anglicky AGI) nelze zcela vyloučit. Je tedy vhodné být obezřetní zejména při budování nových generací AI. Přesto jsem přesvědčený, že benefity již dnes razantně převyšují nevýhody. AI se stává univerzální vzdělávacím nástrojem, parťákem při tvorbě jakéhokoliv online obsahu nebo také vědeckým nástrojem pro řešení problémů, které by člověkem vytvořený program nebyl schopen vyřešit. Naši budoucnost tak vnímám pozitivně.
Autor článku: Martin Smětala
🟡 Hledáte zajímavý projekt? Mrkněte, jak to u nás chodí a jaké kolegy aktuálně hledáme.
🟡 Máte kolegu nebo kamaráda, který se poohlíží po novém projektu? Zapojte se do našeho referral programu Doporuč a získejte finanční odměnu za doporučení.
🟡 Chtěli byste začít pracovat v IT? Stáhněte si náš ebook ZAČNĚTE PRACOVAT V IT: aneb od prvních krůčků po vysněnou práci, ve kterém vás provedeme krůček po krůčku informacemi, kurzy i praxí, které jsou tolik potřebné nejen pro ty, kteří chtějí změnit obor, ale i pro ty, kteří se chtějí pracovně posunout a dále se vzdělávat.
🟡 Víte, jak si co nejjednodušeji a nejefektivněji připravit půdu pro nové pracovní začátky? Mrkněte na náš ebook: Připravte se na nová pracovní dobrodružství - Průvodce k úspěšné změně zaměstnání. Dream job je za dveřmi, stačí jen vzít správně za kliku.
Nebo sdílejte tento článek, který třeba poslouží i vašim známým.
