مجلة جامعة تشرين للبحوث والدراسات العلمية- سلسلة العلوم الهندسية (Oct 2020)
تقييم أثر اختلاف نموذج التمثيل النصي على أداء أنظمة وصف الصور
Abstract
يناقش البحث الحالي أحد أهم وأحدث المواضيع في مجال تعلم الآلة عموماً والتعلم العميق خصوصاً وهو أنظمة وصف الصور. تم في هذا البحث بناء نظام لوصف الصور يعتمد على النموذج ResNet50 وهو نموذج تعلم عميق مدرب مبني على أساس الشبكات العصبية الالتفافية CNN والذي يولد أشعة سمات التمثيل الصوري. أما في التمثيل النصي فقد اعتمدت خمس نماذج وصف مختلفة تعتمد بالأساس على نموذجي GloVe و FastText المقدمين من قبل تويتر وفيسبوك بالترتيب، حيث تم دراسة تأثير اختلاف معاجم المفردات على أداء نظام الوصف المقترح. استخدمت مجموعة بيانات MS-COCO العالمية حيث أخذت مجموعة جزئية منها مؤلفة من 10000 صورة، بحيث خصص 9000 صورة منها لمجموعة التدريب Training والتحقق Validation، أما لعملية الاختبار فقد تم اختيار 1000 صورة من مجموعة البيانات مختلفة عن صور التدريب والتحقق ، وتم تطبيق الاختبارات على النماذج الخمسة المصممة. لمعرفة دقة الوصف الناتج عن النماذج المقترحة ومدى درجة تطابق جمل الوصف الفعلية مع جمل الوصف الناتجة، تم استخدام قياسات الأداء التالية Top-1, Top-5, Average of Depth Similarity , Accuracy، BLEU. بينت النتائج العملية تفوق الأنظمة المعتمدة على نماذج FastText على الرغم من أنها تستغرق زمناً أطول من نماذج GloVe.
