قد تحمل الصورة ثروة من المعلومات، ولكن كم يمثل الكلمة بالأرقام؟ هذا السؤال، والذي هو محوري في ميكانيكا نماذج اللغة الكبيرة (LLMs) وتطبيقات الذكاء الاصطناعي الحديثة، له أجوبة متنوعة بين النماذج المختلفة. على سبيل المثال، يمثل نموذج لاما 3 من ميتا الكلمات كرموز بـ 4, 096 عدد، بينما تستخدم نسخة من GPT-3 12, 288 عدد. تُسمى هذه المصفوفات العددية "التضمينات"، وتشفِّر العلاقات بين الكلمات التي تشبه المعنى. لقد كان مفهوم تضمين الكلمات موجودًا منذ عقود ويشمل فهرسة الميزات الأساسية لكل كلمة بطريقة متسقة. تشبه عالمة الكمبيوتر إيلي بافليك هذا بلعبة 20 سؤالًا، حيث يمكن أن تكون الميزات أي شيء يساعد في التمييز بين المفاهيم. ثم تُعطَى لكل كلمة قيم عددية بناءً على هذه الميزات، مما يغرس ارتباطاتها اللغوية في خيط عددي فريد. في الأصل، كانت التضمينات تُنشأ يدويًا، ولكنها الآن تُولَّد تلقائيًا. تتعلم الشبكات العصبية تجميع الكلمات بناءً على ميزات ذاتية التحديد، على الرغم من أن هذه الميزات يمكن أن تكون في بعض الأحيان غير مفهومة للبشر. عند تدريبها على نمذجة اللغة – التنبؤ بالكلمة التالية في تسلسل الكلمات – تصبح هذه التضمينات منظمة بدرجة كبيرة، بحيث تكون للكلمات المماثلة تضمينات رياضية أقرب.

على سبيل المثال، تشترك "كلب" و"قطة" في المزيد من التشابهات مقارنة بـ"كلب" و"كرسي". قد يبدو هذا التنظيم ساحرًا، حيث يمكنه إنشاء أمثلة من "حساب الكلمات"، مثل الملك ناقص الرجل زائد المرأة يساوي الملكة. ومع ذلك، لا تمثل هذه التضمينات المعارف الشبيهة بالقواميس بل إنها تعمل كبؤر إحداثية على خريطة متعددة الأبعاد، توضح كيف ترتبط الكلمات ببعضها البعض بدلاً من حقيقة خارجية. تُظهِر أن الكلمات المستخدمة في سياقات مشابهة تشترك في معانٍ، وهذا ما يكشفه التحليل الإحصائي – على سبيل المثال، في عبارة "استأجرت جليس الحيوانات الأليفة لإطعام ____"، من المحتمل أن تكون الكلمة التالية "كلب" أو "قطة" وليس "كرسي". تعمل التضمينات كإحداثيات سياقية، مما يساعد نماذج LLM على التنبؤ بالكلمات اللاحقة دون الحاجة إلى تعريفات صريحة. ولكن على عكس البشر، الذين يربطون الكلمات بمرجعيات في العالم الحقيقي، لا تفهم نماذج LLM سوى العلاقات بين التضمينات. على الرغم من ذلك، أثبتت التضمينات أنها بدائل فعالة للمعنى اللغوي، مما يساهم في الصعود السريع لنماذج LLM في الذكاء الاصطناعي. عندما تتماشى التضمينات مع توقعات الإنسان، تظهر ذكية؛ وعندما لا تفعل، تُرفض كمجرد "هلوسات"، بدون أي معنى أساسي يتجاوز هيكلها العددي.