International Science and Technology Journal

Home < Articles < Article Details

A Hybrid Template Independent OMR Pipeline via YOLO Ground Truth Matching and Stratified AutoML

الملخص
يمثل التصحيح الآلي لاختبارات الاختيار عبر الهواتف الذكية تحدياً كبيراً بسبب الظلال، وتشويه الزوايا، وتسريب البيانات إحصائياً. يقترح هذا البحث نظاماً هجيناً ومستقلاً عن القوالب للتعرف الضوئي على العلامات (OMR) يفك الارتباط بين التحديد المكاني والتصنيف لضمان العدالة الطلابية. يدمج النظام محرك اقتصاص ثنائي المسار (يعتمد على YOLOv5 مع مسار احتياطي شبكي)، ومعالجة مسبقة تعتمد على العتبة المقتطعة (THRESH_TRUNC) والتطبيع لإلغاء الظلال. تم هندسة ناقل ميزات خماسي الأبعاد يستغل كثافة حواف سوبل للتمييز فيزيائياً بين الشطب اليدوي والفقاعات المعبأة بانتظام. ولمنع تسريب الميزات (Data Leakage)، يفرض النظام بروتوكول تقسيم طبقي معزول تماماً على مستوى أوراق الطلاب الكاملة قبل عملية الاقتصاص. حقق النموذج الفائز (GBM) المدرب عبر H2O AutoML خسارة تحقق(Log loss) متناهية الصغر بلغت 4.57 ×10^(-8) وعند اختباره على مجموعة مستقلة تماماً مكونة من 1,575 خلية (تضم 1,556 فارغة، و8 معبأة، و11 مشطوبة)، حقق النموذج دقة تصنيف مطلقة بلغت 100.00%، ومعدل F1 score بلغ 1.00، مع انعدام كامل للإيجابيات والسلبيات الكاذبة بنسبة خطأ 0.00%، مما يؤسس لمنظومة تقييم آمنة وقابلة للتعميم الفوري................. الكلمات المفتاحية: ................التعرف الضوئي على العلامات (OMR)، يولو (YOLO)، التعلم الآلي التلقائي (H2O AutoML)، العتبة المقتطعة، كثافة حواف سوبل، التقسيم الطبقي، عدالة الطلاب.
Abstract
Automating multiple choice grading from unconstrained smartphone images is challenging due to shadows, perspective distortion, and template dependency, while machine learning approaches suffer from class imbalance and cell level data leakage. This paper proposes a robust, template independent hybrid OMR pipeline to address these vulnerabilities. The framework implements a dual path cropping engine using YOLOv5 coordinates backed by an intelligent grid fallback. To eliminate shadows, localized truncated thresholding (THRESH_TRUNC) and min max normalization are applied. For each cropped cell, we engineer a five dimensional morphological and edge feature vector comprising grayscale mean, minimum, standard deviation, ink fill ratio, and Sobel gradient edge density where Sobel edge density uniquely distinguishes hand drawn cross outs from filled marks. Crucially, a strict stratified document level splitting protocol isolates entire student sheets to eliminate feature leakage. Trained via H2O AutoML, the champion Gradient Boosting Machine (GBM) model achieved a validation log loss of 4.57 ×10^(-8). Evaluated on an independent, strictly isolated test set of 1,575 cells (1,556 empty, 8 filled, and 11 crossed out), the model achieved 100.00% accuracy, a 1.00 macro average F1 score, and a perfect ROC AUC, alongside a 0.00% False Negative and False Positive Rate, establishing a secure, fair, and deployment ready educational grading system................... Keywords:.................. Optical Mark Recognition, YOLO, H2O AutoML, Truncated Thresholding, Sobel Edge Density, Stratified Split, Student Fairness.