Setiap aplikasi AI bergantung kepada algoritma yang memproses data dalam bahasa unik yang terdiri daripada token, iaitu unit kecil yang diambil dari set maklumat yang lebih besar. Token adalah penting untuk model AI, membolehkan mereka mempelajari hubungan dan meningkatkan kemampuan seperti ramalan, penghasilan, dan penaakulan. Kelajuan pemprosesan token memberi kesan langsung kepada kecekapan dan responsif model AI. Kilangan AI— pusat data khusus— direka untuk mempercepatkan proses ini, menukarkan token dari bahasa AI kepada kecerdasan yang boleh dilaksanakan. Infrastruktur ini membolehkan perniagaan memanfaatkan penyelesaian pengkomputeran komprehensif untuk memproses lebih banyak token dengan kos yang lebih rendah, akhirnya meningkatkan nilai pelanggan. Sebagai contoh, pengoptimuman perisian dan penggunaan GPU NVIDIA yang canggih telah mencapai pengurangan 20 kali ganda dalam kos pemprosesan token sambil menjana pendapatan 25 kali ganda dalam beberapa minggu. Tokenisasi adalah proses menukarkan pelbagai jenis data—teks, imej, audio, dan video—kepada token. Tokenisasi yang berkesan mengurangkan kuasa pengkomputeran yang diperlukan untuk latihan dan inferens AI. Pelbagai kaedah tokenisasi boleh meminimumkan saiz perbendaharaan kata, menghasilkan token yang lebih sedikit untuk diuruskan, memudahkan pemprosesan yang lebih pantas. Dalam konteks model bahasa besar (LLM), kata-kata yang lebih pendek boleh diwakili oleh satu token manakala yang lebih panjang boleh dibahagikan kepada beberapa token. Sebagai contoh, "kegelapan" boleh menjadi "gelap" dan "ness, " masing-masing diberikan nilai numerik. Teknik ini membantu model mengenal pasti makna yang dikongsi dan konteks yang berbeza, seperti makna berbeza untuk perkataan "berbohong, " yang boleh bermaksud rehat atau penipuan. Token memainkan peranan penting sepanjang fasa latihan dan inferens AI.

Latihan awal melibatkan tokenisasi set data, seringkali menghasilkan berbilion atau trilion token. Model ini disempurnakan dengan meramalkan token seterusnya, suatu proses yang diulang sehingga mencapai tahap ketepatan yang diinginkan. Pasca-latihan memberi fokus kepada menyesuaikan model dengan tugas atau domain tertentu dengan menyempurnakan mereka dengan token yang relevan. Semasa inferens, model menerima arahan—teks, audio, imej, dll. —menukarkannya kepada token, memprosesnya, dan menjana respons dalam format yang dijangkakan. Tetingkap konteks menentukan berapa banyak token yang boleh diproses sekaligus, mempengaruhi kapasiti model untuk menangani pelbagai input data. Model penaakulan canggih menjana token tambahan untuk merumuskan respons yang lebih tepat terhadap pertanyaan kompleks, memerlukan sumber pengkomputeran yang signifikan. Token juga mempengaruhi ekonomi AI, mewakili pelaburan dalam kecerdasan semasa latihan dan membiayai kos dan pendapatan semasa inferens. Kilangan AI memberi tumpuan kepada inferens berskala tinggi, menjadikan token sebagai wawasan yang dimonetisasi. Model penetapan harga mungkin mengenakan bayaran berdasarkan bilangan token yang digunakan, membenarkan penggunaan yang fleksibel, seperti menjana output panjang dari input token yang minimum. Pengalaman pengguna dibentuk oleh metrik yang berkaitan dengan token seperti masa untuk token pertama dan latensi antara token, yang mempengaruhi responsif dan kualiti aplikasi AI. Menyeimbangkan faktor-faktor ini adalah penting untuk mengoptimumkan interaksi pengguna. Untuk chatbot, masa respons yang cepat meningkatkan penglibatan, manakala aplikasi lain memprioritikan penghasilan output berkualiti tinggi. Platform AI NVIDIA menyediakan alat dan infrastruktur komprehensif untuk membantu organisasi mengoptimumkan penggunaan token mereka, membolehkan mereka memaksimumkan nilai yang diperoleh daripada aplikasi AI dan mendorong sempadan kecerdasan di pelbagai sektor.