V dnešnom stĺpčeku sa zaoberám novým prístupom k odhaľovaniu komplexnosti generatívnej AI a veľkých jazykových modelov (LLM) pomocou matematického konceptu Markovovych reťazcov. Pre tých, ktorí nie sú oboznámení, Markovove reťazce sú metóda, ktorú sa učíme na štatistických kurzoch, a môžu poskytnúť vhľad do procesov AI a LLM. Markovove reťazce modelujú procesy ako sériu stavov alebo krokov, kde sa prechádza z jedného stavu do druhého na základe pravdepodobnosti. Napríklad, zoberte si cestu na DMV: presúvate sa z registračného okienka na buď spracovateľské alebo upratovacie okienko na základe pravdepodobnosti potrebného klerického procesu. Podobne sú Markovove reťazce tvorené stavmi a prechodmi na základe štatistických pravdepodobností, ako prvý konceptualizoval ruský matematik Andrej Markov v roku 1913 pri analýze sekvencií písmen v literárnych textoch. Generatívna AI, ako ChatGPT a iné LLM, funguje na podobných prechodoch založených na stavoch tým, že transformuje písaný obsah na tokenizované dátové body a predpovedá nasledujúci možný token na základe pravdepodobností.

Hoci vedci sa snažia pochopiť tieto procesy AI, aplikácia Markovovych reťazcov by mohla odkryť viac o zdanlivo tajomných správaniach AI. Nedávne štúdie skúmajú pohľad na LLM ako na Markovove reťazce, naznačujúc štruktúrované prechody medzi stavmi a výpočty predpovedí z obmedzených slovníkov a kontextových okien. Niektorí odborníci v priemysle diskutujú, či Markovove reťazce dokážu plne odhaliť komplexnosť AI, ale prvotné indikácie ukazujú, že tieto modely by mohli priblížiť operácie AI tokenov za určitých obmedzení. Napriek obmedzeniam, najmä vzhľadom na tradičné zameranie Markovovych reťazcov na súčasné stavy bez ohľadu na predchádzajúce stavy, výskumníci posúvajú hranice skúmaním ich aplikovateľnosti v generatívnej AI. Prebiehajúce štúdie majú za cieľ osvetliť pokročilé schopnosti AI prostredníctvom Markovovych konceptov, čo naznačuje potenciál, ale zatiaľ nie definitívne vhľady do činností AI. Vyvíjajúca sa výskumná scéna naďalej spochybňuje a zdokonaľuje naše pochopenie generatívnej AI prostredníctvom klasických matematických rámcov ako Markovove reťazce sľubujúcich kontinuálne objavenie kapacít a vnútorných mechanizmov AI.