V súčasnosti prežívame veľkú technologickú transformáciu, ktorá zasahuje všetky aspekty nášho života. Vedecký pokrok v posledných rokoch spôsobil, že okolo nás máme oveľa väčšie množstvo zariadení, ktoré nahrávajú a ukladajú dáta v oveľa, oveľa väčšou precíznosťou a v oveľa vyššej miere ako kedykoľvek predtým. Všetci sme neoddeliteľnou súčasťou tejto technologickej revolúcie. Každý z nás produkuje obrovské množstvo dát jednoduchým kliknutím na webe a dnes žijeme v dobe príležitostí tieto dáta analyzovať pre lepšie porozumenie sveta okolo nás.
Jedným z nástrojov ako tieto informácie analyzovať je využitie umelej inteligencie. Príchodom milénia A.I. bola vytrhnutá z “doby ľadovej”, kedy po dlhé roky jej vývoj nezažíval žiadne kľúčové míľniky, najmä kvôli nedostatku vhodného hardwaru. Posledné desaťročie však A.I. zažíva obrovský boom a pojmy ako “deep-learning” sa stali doslova buzzwordom súčasných startupov a technologického pokroku. Žiaľ, aj v súčasnosti znova narážame na hardwarovú bariéru. Na bariéru v podobe obmedzení či už z hľadiska dizajnu čipov či fyziky kvantovych javov. Moorove pravidlo – takmer každý druhý rok (aby som bol presný 18 mesiacov) zdvojnásobíme počet transistorov na čipe, už viac neplatí a nielen, že neplatí, v porovnaní s množstvom ukladaných dát a dopytom po ich analýze sa jednoducho stáva nedostačujúcim.
Prečo konvenčné počítačové architektúry nestíhajú za dopytom? Jednoducho nestíhajú škálovať.
V súčasnosti narážame na tri hlavné problémy:
- spotreba energie – v súčasnosti čipy spotrebujú stále väčšie množstvo energie a stále je to pre vývojárov jedna z najväčších výziev, najmä pri vývoji čipov pre mobilné zariadenia. Odkazujúc sa na Moorove pravidlo – každým rokom zvyšujeme množstvo transistorov na čipe, no so zvyšujúcim sa počtom transistorov máme problém s efektívnym využitím pribúdajúceho množstva transistorov na čipe. Dark silicone – je výraz pre jav alebo problém, kedy v akomkoľvek bode v čase, iba určitá časť čipu je využívaná a ostatok ostáva “v temnote”.
- produkcia tepla – každým rokom sa zvyšuje množstvo transistorov na čipe aj vďaka tomu, že znižujeme veľkosť transistorov, čo otvára ďalší problém a to je prehrievanie a produkcia tepla. Stále väčšie a väčšie množstvo transistorov tlačíme do stále menšieho priestoru a riešenie pre odvod tepla začína byť veľkou výzvou a to nielen pre samotné čipy a ich dizajn, ale aj pre datacentrá, keďže veľké množstvo energie je spotrebované aj na chladenie takýchto systémov.
- memory bandwidth – memory bandwidth je rýchlosť, ktorou sú dáta čítané alebo zapisované procesorom do polovodičovej pamäte. Obvykle je vyjadrená v bytes/second (bajt za sekundu). Problém rýchlosti čítania a zapisovania dát do pamäte je najfundamentálnejší problém súčasnej Von-Neumannovej architektúry, ktorá je v súčasnosti už jednoducho nedostačujúca.
Nielen čipy ale všeobecne hardware bol po celé dekády vyvíjaný v rámci Von-Neumannovej architektúry, ktorej základná vlastnosť je centralizácia. Táto architektúra má pôvod v práci fyzika Johna von Neumanna zo 40.tych rokov 20. storočia. Jej podstatou je komunikácia dát medzi centrálnym procesorom a pamäťovými čipmi v lineárnej sekcii výpočtov.
Von-Neumannova architektúra mala po celé dekády neuveriteľný prínos vo svete vedy a techniky, no vzhľadom na svoju centralizovanú architektúru naráža v súčasnosti na vážne problémy v kontexte škálovateľnosti. Čím väčšia potreba komunikácie s pamäťou, tým väčšmi sa zužuje memory bandwidth, teda rýchlosť, ktorou sú dáta čítané či zapisované z pamäte. Hoci sme na tejto architektúre dokázali vyvinúť veľmi efektívne neurónové siete,vďaka ktorým dokážeme analyzovať rôzne komplexné dátové sety a nachádzať v nich paterny, aj v tejto oblasti sme narazili na limity v podobe kognitívnej inteligencie.
Začiatkom milénia, oživením záujmu aj o A.I. a príchodom nových algoritmov pre neurónové siete, sme si začali uvedomovať tento narastajúci problém a začali sme hľadať nové možnosti ako navrhnúť architektúru čipov tak, aby sme zvýšili ich efektivitu. Inšpiráciou sa nám stal náš vlastný biologický mozog a týmto sa zrodil nový smer – Neuromorphic Computing.
Prečo sa stal ľudský mozog inšpiráciou pre nový smer navrhovania architektúry čipov, akou je neuromorfná architektúra? V krátkosti, ľudský mozog je priam výborný v hľadaní zaujimavých paternov v obrovskom množstve nejasných vstupných dát. Ďalším dôvodom prečo je ľudský mozog vhodnou inšpiráciou, je jeho distribuovaná pamäť a masívny paralelizmus, vďaka čomu je jeho architektúra a spôsob fungovania doslova opozitom pre Von-Neumannovú architektúru, čo túto architektúru robí vhodným prostriedkom ako výrazne zefektívniť súčasnú A.I. a neurónové siete.
Prečo je biologický mozog pre nás dokonalou inšpiráciou?
- efektívna kategorizácia
- informácie spracováva paralelne
- nízka spotreba energie
- fault tolerant
Koncepčná kategorizácia a reprezentačný problém
Najväčším prínosom neurónových sietí je vyriešenie “reprezentačného problému”, či koncepčnej kategorizácie. Koncepčná kategorizácia vyžaduje vytvorenie reprezentácie v pamäti počítača, na ktorú je možné zmapovať podnety vo forme dátových vstupov z okolitého sveta . Napríklad “Clifford” by bol mapovaný do kategórie “zviera” a “pes”, zatiaľ čo Volkswagen Beatle bude mapovaný na “stroj” a “auto”. Vytváranie robustného a komplexného mapovania podnetov vo forme dátových vstupov z okolitého sveta je veľmi ťažké, pretože jednotlivé kategórie a ich členovia sa môžu veľmi líšiť vo svojich vlastnostiach – napríklad “človek” môže byť muž alebo žena, starý alebo mladý a vysoký alebo nízky. Dokonca aj jednoduchý objekt, ako napríklad kocka, sa bude líšiť v závislosti od uhla, z ktorého sa zobrazuje a ako je osvetlená.Takéto koncepčné kategórie sú v prvom rade konštruktmi ľudskej mysle a je logické, že sa inšpirujeme práve z toho, ako ľudský mozog tieto koncepčné reprezentácie ukladá a ako s nimi pracuje.
Neurónové siete ukladajú tieto reprezentácie v spojeniach medzi neurónmi (nazývané synapsy), z ktorých každá obsahuje hodnotu nazvanú “váha”. Namiesto naprogramovania sa neurónové siete dozvedia, aké váhy majú používať prostredníctvom procesu výcviku. Po pozorovaní dostatok príkladov môžu neurónové siete kategorizovať nové objekty, ktoré predtým nikdy nevideli, alebo aspoň ponúknuť najlepší odhad. Dnes sa neurónové siete stali dominantnou metodikou riešenia klasifikačných úloh, ako je rozpoznávanie rukopisu, prepis hlasu do textu či rozpoznávanie objektov. V prípade ľudského mozgu každý z neurónov pracuje paralelne s ostatnými, informáciu decentralizuje a distribuuje medzi ostatné neuróny. Vďaka tomu, že neuróny pracujú veľmi simplexne, v podstate len prijímajú a vysielajú nové signály; je náš mozog nesmierne energeticky efektívny, čím spotrebuje len 20W energie.
Masívny paralelizmus
Vďaka evolúcii sa náš mozog stal nesmierne silným nástrojom z hľadiska nachádzania zaujímavých paternov a spracovávania podnetov vo forme dátových inputov od našich vnemových orgánov. Rozhodne nemôžeme povedať, že o mozgu už snáď vieme všetko, no podstatná vec, ktorú sme si prevzali do neuromorfných systémov ako inšpiráciu je práve masívny paralelizmus nášho biologického mozgu.
Neurónové siete sú matematické modely, ktoré sú veľmi zjednodušenou verziou toho, ako fungujú neurónové siete v biologickom mozgu. Dnešný hardvér je však veľmi neúčinný, pokiaľ ide o simuláciu modelov neurónových sietí. Dôvod neefektívnosti je základný rozdiel medzi fungovaním mozgu a dnešného digitálneho počítača. Zatiaľ čo digitálne počítače pracujú s 0 a 1, synaptické hodnoty(weights), ktoré mozog používa na ukladanie informácií, sa môžu pohybovať kdekoľvek v rozsahu hodnôt, t.z. mozog pracuje na analógovom princípe. Čo je ešte dôležitejšie, v počítači je počet signálov, ktoré je možné spracovať naraz, obmedzený počtom CPU jadier – to môže byť v počte jadier medzi 8 až 12 na typickej z dnešných počítačových zostáv alebo 1000 – 10 000 na superpočítači. Zatiaľ čo 10 000 jadier znie ako veľa, je to stále žalostne nízky počet v porovnaní s mozgom, ktorý súčasne spracováva až trilióny (1 000 000 000 000) signálov masívne paralelným spôsobom.
Energetická efektivita
Dva hlavné rozdiely medzi biologickým mozgom a dnešnými počítačmi (paralelizmus a analógové spracovávanie) prispievajú k ďalšiemu rozdielu, ktorý už bol načrtnutý vyššie a to je práve energetická efektivita. Evolúcia mala na náš mozog veľmi veľký vplyv aj v tomto smere. Keďže v prípade našich predkov, hľadanie výživného jedla bolo veľmi náročné, mozog sa vďaka evolúcii prispôsobil na takú úroveň, že v súčasnosti jeho energetická spotreba nepresahuje 20W. Zaujímavosťou je, že ak by sme chceli náš mozog simulovať dnešnými počítačmi, spotrebovali by sme na jeho simuláciu a na fungovanie veľkého množstva superpočítačov milióny watov energie. Hlavným dôvodom vyššej spotreby energie sú vyššie frekvencie, na ktorých pracujú dnešné digitálne počítače narozdiel od mozgu, ktorý pracuje s veľmi nízkymi frekvenciami.
Fault tolerance
Ďalším rozdielom medzi neuromorfnými čipmi a konvenčným počítačovým hardvérom je skutočnosť, že rovnako ako mozog sú neuromorfné čipy tolerantné voči chybám. Ak niektoré komponenty zlyhajú, čip pokračuje v normálnom fungovaní. Niektoré neuromorfné čipy sú tolerantné voči chybovosti až na 25%. To je obrovský rozdiel oproti dnešnému hardwaru, kde jediné zlyhanie znamená zlyhanie celého čipu, čo ho robí nepoužiteľným. Potreba precíznej a nesmierne náročnej výroby dnešných čipov a ich neustále znižujúca sa veľkosť, viedla k exponenciálne vyšším nákladom na výrobu. Neuromorfné čipy nevyžadujú tak vysokú precíznosť ako pri dnešných čipoch, preto je ich výroba lacnejšia.
Od pokroku v medicíne po A.G.I.
Neuromorfný software ako výzva pre budúcich priekopníkov
Neuromorfný hardware je už dlhšiu dobu v komerčnej ponuke voľne dostupný. Software ale stále zostáva doménou výskumu a vývoja. Veľkou výzvou je práve masívny paralelizmus. Dnes dokážeme bez problémov napísať software, ktorý funguje paralelne na desiatkách jadier procesora, ale napísať software pre desiatky tisíc až stovky tisíc jadier pracujúci paralelne, využívajúc čip čo najefektívnejšie, je obrovskou výzvou. Pre riešenie tohto problému musíme vyvinúť doslova novú paradigmu a nové abstrakcie v kontexte programovania a programovacích jazykov.
Neuromorfné čipy a ich dnešné aplikácie
Dnes sú najviac využívané neuromorfné čipy pri simulácii mozgovej aktivity. Dnešný hardware či už konvenčný digitálny alebo neuromorfný, nám neumožňuje simulovať celý mozog, ale iba jeho určité časti. V praxi nám to umožňuje simulovať napríklad progress určitého ochorenia alebo poruchy. Umožňuje nám to chápať, ako sa ochorenie v priebehu času vyvíja a zároveň dokážeme simulovať jeho liečenie. Príkladom môže byť depresia, kde jednou z fyziologických príčin je, že v dôsledku nízkych hladín serotonínu, neuromodulátory spôsobujú zhoršenú komunikáciu neurónov. To je niečo, čo môžeme ľahko simulovať pomocou neuromorfného hardwaru. To všetko nám umožňuje mozog lepšie chápať a prispieva to nie len k rozvoju medicíny ale aj k rozvoju neuromorfných architektúr a hardwaru. Jedna z ideí využitia neuromorfného hardwaru v medicíne je aj analýza dát pacienta pre nájdenie podobných paternov v databáze iných pacientov, čo nám pomôže lepšie definovať problém a zvoliť efektívnejšiu liečbu či dokonca liečbu individualizovať.
Čo neuromorfika zmení?
Príchod tejto novej generácie počítačov by mohol pomôcť neurovedcom vyplniť medzery v chápaní mozgu. Navyše, ak sa neuromorfné čipy dostanú do širokého komerčného využitia, neuromorfné počítače by mohli zásadne zmeniť našu interakciu so strojmi, ktorým dnes dávame prívlastok “smart”. S ich využitím môžeme počítať od smartfónov a autonómnych vozidiel až po novú generáciu robotov. Táto technológia by mohla integrovať kognitívne schopnosti biologického mozgu do zariadení a strojov, ktoré sú v súčasnosti obmedzené rýchlosťou, výkonom a spotrebou energie. V skutočnosti by to mohlo byť ďalším krokom k vytvoreniu kognitívnych systémov a systémov, ktoré sú samé schopné učiť sa, čerpať z vlastnej pamäte pre lepšie pochopenie okolia a vlastné odôvodňovanie svojich rozhodnutí ako aj pomáhať ľuďom lepšie sa rozhodovať a týmto nasmerovať cestu vývoja A.I. k prvej Artificial General Intelligence – všeobecnej umelej inteligencii.
Neuromorfika v Európe
V Európe a vo svete pracuje na vývoji Neuromorfných systémov mnoho odborníkov, či už sa jedná o komerčný vývoj alebo akademický výskum. Pre dosiahnutie širokého prieniku kognitívnych systémoch do produktov bežných ľudí nestačí iba aktívny výskum a vývoj, ale dôležitím krokom je aj budovanie komunity nielen odborníkov a profesionálov ale zároveň aj záujemcov a nadšencov, ktorí spoločne budú udávať smer, kam sa dopyt a vývoj kognitívnych technológií bude uberať. Jedna z organizácii ktorá si dala za cieľ spájať ľudí a najmä nadšencov v tomto duchu sa volá Neuromorphics Europe. Sústredenie tejto organizácie je implementácia najnovších pokrokov v oblasti Neuromorfných systémov v bežnom živote človeka a riešenie aktuálnych problémov v oblastiach od medicíny, zdravotnej starostlivosti a transportu až po smart cities a vzdelávanie. Spoločným cieľom v spolupráci s komunitou je objavovanie priemyselného využitia a nových možností týchto technológií a zdieľanie nadobudnutých skúseností so svetom.
Záver
Konvenčné počítače boli, sú a ešte dlho budú skvelým pomocníkom v presných výpočtoch a matematickom chápaní sveta. V súčasnosti sú ale neuromorfné architektúry v kontexte hľadania paternov a vzorcov v obrovskom množstve nejasných dát jasným lídrom. Pokiaľ spojíme dohromady využitie tradičných počítačov a neuromorfných čipov, výsledkom môže byť veľmi zaujímavé spojenie, ktoré môže byť prvým, dôležitým krokom v evolúcii umelej inteligencie.