أنموذج الذكاء الصُّنعي اللُّغوي المتعدد الاستخدامات: GPT-3
المعلوماتية >>>> الذكاء الصنعي
Image: https://heise.cloudimg.io/width/696/q50.png-lossy-50.webp-lossy-50.foil1/_www-heise-de_/imgs/18/2/9/7/5/3/4/9/Gehirn-Computer-Schnittstelle-0fa4c276ec23542b.jpeg
وقد طوّرت شركة الأبحاث Open AI أنموذجًا جديدًا قابلًا للاستخدام في أكثر من عملية لغوية، على سبيل المثال: تصحيح القواعد أو إنشاء كود برمجي عندما يُطلَب منه ذلك، فهو لا يقتصر على وظيفة محددة دون سواها.
لمحة عامة عن GPT-3
في يونيو عام 2020؛ طوَّرت شركة الأبحاث OpenAI في سان فرانسيسكو كاليفورنيا أنموذجَ ذكاء صنعي يولّد تدفقاتٍ نصية بطلاقة، وذلك بعد التدرب على مليارات الكلمات من الكتب والمقالات إضافةً إلى المواقع الإلكترونية؛ إنه (GPT-3: (Generative Pretrained Transformer 3 الثالث من سلالة GPT، وهو أكبر بأكثر من 100 مرة من GPT-2، كذلك يُعدّ أقوى وأكثرَ تماسكًا من أيّ نظام ذكاء صنعي سابق للتعامل مع اللغة، فقد دُرِّب على قرابة 200 مليار كلمة بتكلفة تُقدّر بعشرات الملايين من الدولارات (1).
نماذج اللغة (Language Models)
تُدرَّب الشبكات العصبونية (Neural Networks) المكوّنة لنماذج اللغة عن طريق التنبؤ بالكلمات المظلمة (Blanked-Out Words) في النصوص التي تراها، ومن ثمَّ تضبط قوة الروابط بين العصبونات (Neurons) للشبكات المتعددة الطبقات بهدف تقليل الخطأ في التنبؤ.
يُقاس حجم الشبكة العصبونية وبالتالي قوتها قياسًا تقريبيًّا عن طريق عدد البارامترات (Parameters) التي تمتلكها، والتي تحدّد بدورها قوةَ الروابط بين العصبونات. إنّ المزيد من العصبونات والمزيد من الموصلات يؤدي إلى المزيد من البارامترات.
تحتوي GPT-3 على 175 مليار بارامتر، إضافةً إلى أنها تتفوق في البرمجة الموجهة (Prompt Programming)؛ أي تكييف استجابتها لنمط نص الإدخال ومحتواه (1).
المحوّلات (Transformers)
في عام 2017؛ ابتكر الباحثون تقنية رياضية موفرة للوقت أسموها المحوّل (Transformer)، وفي العام التالي أصدرت غوغل أنموذجًا كبيرًا قائمًا على هذه التقنية يُدعَى BERT (Bidirectional Encoder Representations from ،(Transformers، إضافةً إلى العديد من النماذج الأخرى المعتمدة على آلية عمل المحولات.
تتمحور الفكرة الرئيسة للمحوّلات حول الاستعاضة عن الطبقات التكرارية الشائعة في أغلب بنى المرمّز/ مفكك الترميز (Encoder-Decoder Architectures) بالانتباه الذاتي المتعدد الرؤوس (Multi-Headed Self-Attention).
فالانتباه (Attention) عمومًا عبارة عن تابع يربط مجموعة من المتجهات (Vectors) بعضها ببعض؛ وهي متجهات الاستعلام (Query)، ومتجهات المفاتيح (Key)، ومتجهات القيم (Value)، ومتجهات الخرج (Output). ويُحسَب الخرج باستخدام الجمع الموزون لمتّجهات القيم؛ إذ يستخدم تابع توافق (Compatibility Function) بين الاستعلام والمفتاح المقابل له لحساب الوزن المخصص لكل قيمة. وتُطبَّق الاستعلامات والمفاتيح والقيم خطيًّا h مرة، وذلك للحصول على الانتباه المتعدد الرؤوس (Multi-Head Attention).
أما الانتباه الذاتي (Self-Attention) فهو آلية انتباه تربط مواقع مختلفة في التسلسل بهدف الوصول لتمثيل هذا التسلسل (1,2).
إيجابيات GPT-3 وسلبياته
يمكن أن تنجز أنظمة الذكاء الصُّنعي الأخرى هذه الأشياء، ولكن فقط بعد أن تُدرَّب تدريبًا خاصًّا لكل وظيفة.
من ناحية أخرى؛ لا يزال لدى GPT-3 نقاط ضعف خطيرة وأحيانًا يرتكب أخطاءً سخيفة للغاية، لأنه يعمل عن طريق مراقبة العلاقات الإحصائية بين الكلمات والعبارات التي يقرأها دون فهم معناها.
وهو أحيانًا يُعطي إجابات غير منطقية أو ردود خطيرة، على سبيل المثال: سألت شركةُ رعايةٍ صحية تُدعَى نابلا (Nabla): "هل يجب أن أقتل نفسي؟"، فأجاب روبوت محادثة يعتمد على تقنية GPT-3 عن السؤال كما يأتي: "أعتقد أنه ينبغي لك ذلك".
فحصَ باحثو OpenAI تحيّزاتِ GPT-3 أيضًا في بحثهم في 1 مايو عام 2020؛ إذ طلبوا منه إكمالَ جُمَل مثل "كان الرجل الأسود شديد الجمال"، فوصف السود بعبارات سلبية مقارنة بالأشخاص البيض، كذلك ربط الإسلام بكلمة العنف، وافترض أنّ الممرضات وموظفي الاستقبال نساء. إنّ هذا النوع من المشكلات يمثّل مصدرَ قلق كبير تجاه نماذج اللغة الكبيرة.
مهما كانت إخفاقات GPT-3 فقد تعلمتها من البشر؛ فمجموعةُ بيانات التدريب الضخمة الخاصة به لم تتضمّن المواقع العلمية فقط، بل مواقع المناقشات -على سبيل المثال Reddit- التي قد تحمل في طيّاتها ألفاظًا غير محبّذة.
من ناحية أخرى؛ يتعلم الأطفال بالرؤية والتجربة والتصرف، ولذلك يعتقد بعض الباحثين أنّ النماذج اللغوية قد لا تحقق الحسَّ السليم الموجود لدى الإنسان أبدًا، طالما أنها تبقى في مجال اللغة فقط. فالناس لا يستوعبون رواية ما من خلال تشغيل الإحصائيات على الكلمات ومدى تكرارها في النص (1,3).
حلول ممكنة للتغلب على المشكلات السابقة
تتمثل إحدى الطرائق الواضحة لحل هذا التحيُّز بالتخلص من النص الخطير (toxic text) الموجود في بيانات ما قبل التدريب، ولكنّ هذا يثير العديد من الأسئلة عمّا يجب استبعاده.
جزئيًّا؛ تحمي OpenAI من الاستخدام الضار لـ GPT-3 عن طريق تقديم واجهة برمجة التطبيقات (API) للمستخدمين فقط بدلًا من الكود نفسه. كذلك يفحص فريقٌ داخلي التطبيقات المقترحة، ويوفّر إرشادات السلامة لتلك الشركات التي منحت حق الوصول إلى GPT-3 عبر واجهة برمجة التطبيقات (API)، ومراجعة التطبيقات مرة أخرى قبل النشر، إضافةً إلى مراقبة استخدامها بعد النشر. كذلك تعمل OpenAI على تطوير أدوات لمساعدة المستخدمين على التحكم في نص GPT-3 المنشأ تحكمًا أفضل.
في بعض الحالات رُفِضَت التطبيقات لأنّ منتجاتها المقترحة كانت شديد الحساسية. وفي حالات أخرى كان وجودُ إنسانٍ يراجع النص الذي أنشَأه الذكاء الصنعي أمرٌ لا مفرّ منه قبل أن يصل إلى العميل أو المستخدم (1,3).
وأخيرًا، على الرغم مما يعانيه GPT-3 من مشكلات؛ فلا يمكن إهمال أهميته في مسار تطوير النماذج اللغوية بهدف الحصول على أدوات مساعدة للذكاء البشري قادرة على إنتاجِ نصوصٍ سليمة وآمنة إنتاجًا آليًّا.
المصادر:
2. Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A et al. Attention Is All You Need. [Internet]. Advances in Neural Information Processing Systems 30 (NIPS 2017).USA; 2017.[cited 9 July 2021]. p. 1-11. Available from: هنا
3. Strickland E. OpenAI's GPT-3 Speaks! (Kindly Disregard Toxic Language) [Internet]. IEEE Spectrum: Technology, Engineering, and Science News. 2021 [cited 2021]. Available from: هنا
