أجرى فريقٌ من الباحثين في جامعة (نانيانغ) للتكنولوجيا في اليابان بحثًا عن مدى تأثير تطابق التأثيرات البصرية مع المادة السمعية في تحسين قدرات الفهم السمعية أو كبحها لدى عشرين متطوعًا يدرسون لغة أجنبية في إحدى مدارس اليابان، وقد اعتمدوا في بحثهم على نظرية التشفير الثنائي للإدراك، التي تنص على أن الدماغ يعالج المعلومات المختلفة اللفظية واللالفظية معًا؛ وتشمل المعلوماتُ اللفظية الرموزَ اللفظية المسموعة والمكتوبة والشفوية، في حين تشمل المعلومات اللالفظية صورَ الأصوات والنشاطات والأحداث المحيطية بالكامل، وترتبط المعلومات اللفظية بنظيرتها اللالفظية بروابطَ مرجعيةٍ تشكل شبكة روابط معقدة (من الممكن أن تكون رؤيتك لصورة ما محفزًا لألفاظ معينة والعكس صحيح)، ويتأثر تفعيل هذه الروابط بعواملَ متعلقةٍ بالسياق المحيط وتختلف الصورُ الذهنية اللفظية واللالفظية وارتباطاتها معًا من شخص إلى آخر باختلاف تجاربه السابقة.

 

وقد استخدم الباحثون خمسة فيديوهات من أخبار BBC في بداية بحثهم، ثم انتقلوا إلى أنواع أخرى من الفيديوهات كالصور المتحركة والنصوص المتحركة وبعض المقابلات، وطلبوا من المتطوعين إتمام بعض التمارين المتعلقة بالفهم السماعي وسمحوا لهم بعرض الفيديو وإيقافه كما يشاؤون. شملت هذه الفيديوهات أربعة أنواع من تطابق التأثيرات البصرية مع المادة السمعية: تطابقٌ مباشر؛ وفيه يُعبِّر المحتويان السمعي والبصري عن المعنى المقترح نفسه، تطابقٌ غير مباشر؛ وفيه يترابط المحتويان السمعي والبصري ترابطًا جزئيًا، تطابقٌ متباين؛ وفيه يكون المحتويان السمعي والبصري غير متطابقين أبدًا أو حتى متناقضين، تطابقٌ الرأس الناطق؛ أي الفيديوهات التي تعرض النصف الأعلى من مذيع الأخبار أو المراسل وهو يتحدث، وقد عُدَّ نوعًا منفصلًا من التطابق لأنه لا يعكس تباينًا أو توافقًا بين المحتويين السمعي والبصري.

 

وكانت النتائج كالآتي:

الرأس الناطق: ركّز معظم المتطوعين اهتمامَهم في هذا النوع من التطابق على المحتوى السمعي فقط دون الالتفات إلى المحتوى البصري، وكانت الإشاراتُ والإيماءاتُ الحركية ذاتَ تأثير متباين في دعم الفهم السمعي، واعتَمد كونُ هذه الإيماءات إيجابيةً أو سلبيةً في دعم الفهم السمعي على نظرة المتطوع في تقييم فائدتها.

 

التطابق المباشر: أشار المتطوعون كلهم إلى أن المحتوى البصري في هذه الفيديوهات دعم فهمهم للمحتوى السمعي دعمًا ملحوظًا، واحتوت هذه الفيديوهات على نص يَعرض نسبًا مئوية وأرقامًا ذكر المتطوعون بأنها ساهمت في فهمهم للمحتوى السمعي، وبدا أن الصور المتحركة لم تساهم في دعم الفهم السمعي بغض النظر عن نوع التطابق، وذلك لطبيعة المعلومات التي تحتويها وكميتها، ما أدى إلى تشتيت المتطوعين وصرف انتباههم نهائيًا عن المحتوى السمعي؛ إذ واجه المتطوعون صعوبةً في تنسيق انتباههم وتحليل الصور المتحركة المعروضة ودمجها مع المحتوى السمعي المرافق، الأمر الذي جعل تشكيل روابط بين المعلومات السمعية والبصرية أمرًا صعبًا.

 

التطابق غير المباشر: ساهم هذا النوع من الفيديوهات في إرشاد المتطوعين إلى التوجهات السياقية والموضوعية الصحيحة وذلك عن طريق عرض مشاهدَ نمطيةٍ تُعبِّر عن المحتوى السمعي، مثل عرض صورٍ لموظفين في مكاتبهم في أثناء الحديث عن البطالة، وقد ساعدت مثل هذه المشاهد المتطوعين على تحسين تأويلاتهم للفيديوهات وإدراكهم للسياق المناسب وربط المحتوى السمعي مع المحتوى البصري.

 

التطابق المتباين: وجد الباحثون أن هذا النوع من الفيديوهات قد يسبب اللبس والارتباك لدى المتطوعين، فقد استطاع المتطوعون توجيه أنفسهم  إلى المحتوى الذي يقدم معلوماتٍ تتكامل مع ما فهموه سابقًا، في حين أدى المحتوى الذي لا يتطابق مع فهمهم السابق إلى تحفيز التخمين لديهم.

 

نستنتج إذًا أن المحتوى البصري قد يقدم إطارًا تجريبيًا يستخدمه متعلمو اللغة لتنظيم أجزاء المحتوى السمعي المختلفة لتشكيل افتراضات مترابطة منطقيًا، ومع ذلك نجد أن هناك عواملَ أخرى تؤثر في درجة دعم المحتوى البصري للفهم السمعي ومنها أن المتعلمين يختلفون في درجة استخدامهم للمحتوى البصري في الفيديوهات، وقد يعود هذا الاختلاف إلى أن الدماغ عادة ما يعالج المحتوى البصري تلقائيًا، ما يؤدي إلى تباين في درجة إدراك المتعلمين لهذه المعالجة، فنظرُ المتعلم إلى الشاشة وحده لا يعني بالضرورة أنه يستخدم المحتوى البصري المعروض ليدعم فهمه السمعي، لذلك يجب على المتعلم والمعلم اختيارُ الفيديوهات التعليمية بدقة للحصول على نتائج جيدة في تحسين الفهم السمعي.

المصدر : هنا