Home < Articles < Article Details
A Proof-of-Concept Lightweight MediaPipe and ExtraTrees-Based Framework for Potential Suspicious Gaze and Head-Pose Cue Detection Using the Columbia Gaze Dataset
| Researcher(s): | - Rafea Mohammed Almejrab
- Mofeda Abdelrrazik Abdelwakil Madhi
- Nourah Mohammed Abdulmjid
- Fatima Mohamed Hassn
|
| Institution: | College of Computer Technology - Benghazi, Libya |
| Field: | Computer science, expert systems and information technology |
| Published in: | 38th volume - April 2026 |
الملخص
أصبحت المراقبة الإلكترونية للامتحانات مطلباً عملياً في بيئات التعليم عن بعد والتعليم المدمج، إلا أن كثيراً من الأنظمة يعتمد على اتصال مستمر بالإنترنت أو معالجة ثقيلة أو جمع واسع للبيانات. تقدم هذه الورقة إطار إثبات مفهوم خفيفاً لدعم القرار في اكتشاف مؤشرات محتملة للنظر ووضعية الرأس المشبوهة، اعتماداً على ميزات الوجه والقزحية المستخرجة من MediaPipe وطبقة قرار من نوع ExtraTrees. استخدمت الدراسة مجموعة بيانات Columbia Gaze كبيئة مضبوطة لتمثيل مؤشرات النظر بعيداً عن الكاميرا ووضعية الرأس غير الأمامية، ولا تفترض أن هذه المؤشرات وحدها تثبت سوء السلوك الأكاديمي. تم تقييم تمثيل جدولي مكون من تسع ميزات ضمن بروتوكول مستقل حسب الأشخاص، مع اختيار العتبة على مجموعة التحقق فقط. على 1,260 صورة اختبارية حقق نموذج ExtraTrees دقة 79.13%، ودقة متوازنة 76.42%، وMacro F1 مقدارها 62.50%، واستدعاء لمؤشرات الاشتباه 79.69%. وبسبب عدم توازن البيانات، فإن خط أساس يتنبأ دائماً بالفئة المشبوهة يحقق دقة تقليدية أعلى لكنه يفشل كلياً في تمييز الفئة الطبيعية؛ لذلك تُعد الدقة المتوازنة وMacro F1 واستدعاء الفئة الطبيعية ومعدل الإنذار الخاطئ هي المقاييس الأهم في تفسير النتائج. تؤكد النتائج أن الإطار المقترح مناسب كأداة فرز أولية ودعم قرار، وليس كأداة اتهام تلقائي، وأنه يحتاج إلى تحقق زمني ومراجعة بشرية قبل أي تطبيق فعلي...............
الكلمات المفتاحية:.................. المراقبة الإلكترونية؛ MediaPipe؛ ExtraTrees؛ مؤشرات النظر؛ وضعية الرأس؛ التعلم الآلي الخفيف؛ الرؤية الحاسوبية؛
Abstract
Automated online proctoring has become a practical requirement in remote and blended assessment, yet many systems depend on continuous connectivity, heavy processing, or intrusive data collection. This paper presents a proof-of-concept lightweight decision-support framework for detecting potential suspicious gaze and head-pose cues using MediaPipe-derived facial and iris features with an ExtraTrees decision layer. The study uses the Columbia Gaze dataset as a controlled proxy for off-camera gaze and non-frontal head-pose cues; it does not claim that such cues directly prove academic misconduct. A compact nine-feature representation is evaluated under a unified subject-independent protocol with validation-only threshold selection. On 1,260 held-out test images, ExtraTrees achieved 79.13% accuracy, 76.42% balanced accuracy, 62.50% macro F1, and 79.69% suspicious-cue recall. Because the dataset is highly imbalanced, an always-suspicious baseline achieves higher conventional accuracy but fails completely on normal recall; therefore, balanced accuracy, macro F1, normal recall, and false-alarm rate are treated as the primary interpretation metrics. The best model still produced a 26.85% false-alarm rate, confirming that the method should be used only as a triage signal requiring temporal confirmation and human review. The study provides a reproducible low-resource baseline and identifies the main steps needed before deployment: exam-like video validation, camera calibration, threshold calibration, and human-in-the-loop review....................
Keywords: .................online proctoring; MediaPipe; ExtraTrees; gaze cue detection; head pose; lightweight machine learning; computer vision; Columbia Gaze