Διερεύνηση της χρονικής καθυστέρησης μεταξύ βλέμματος και κίνησης δακτύλου ως δείκτη δυσκολίας κατανόησης κειμένου με χρήση νευρωνικών δικτύων
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Πτυχίο στην Εφαρμοσμένη Πληροφορική, Σχολή Οικονομικών Επιστημών και Διοίκησης, Πανεπιστήμιο Νεάπολις Πάφος
Abstract
Η εργασία αυτή εξετάζει αν η σχέση μεταξύ δύο βιομετρικών σημάτων που καταγράφονται κατά την ανάγνωση, της κίνησης του βλέμματος (eye tracking, ET) και της κίνησης του δακτύλου (finger tracking, FT), μπορεί να λειτουργήσει ως αξιόπιστος βιοδείκτης της δυσκολίας κατανόησης κειμένου σε επίπεδο λέξης. Η βασική ιδέα είναι απλή. Όταν ο αναγνώστης συναντά μια λέξη που τον δυσκολεύει, το βλέμμα μένει περισσότερο πάνω της και επιστρέφει συχνά πίσω, ενώ το δάκτυλο συνεχίζει συνήθως πιο σταθερά. Αυτή η ασυμφωνία ανάμεσα στα δύο σήματα φαίνεται να κουβαλά πληροφορία σχετικά με το γνωστικό φορτίο.
Τα δεδομένα προέρχονται από ένα σύνολο δεδομένων που περιλαμβάνει μετρήσεις και από τα δύο είδη tracking. Μια κρίσιμη ιδιαιτερότητα είναι ότι τα features ET και FT δεν διαθέτουν κοινή χρονική αναφορά (timestamp alignment) ανά συμμετέχοντα. Έτσι δεν είναι δυνατή η εφαρμογή κλασικών μεθόδων υπολογισμού χρονικής καθυστέρησης μεταξύ συγχρονισμένων σημάτων. Για να ξεπεραστεί αυτό το εμπόδιο σχεδιάστηκε ένας έμμεσος λειτουργικός δείκτης, ο lag proxy, ο οποίος ορίζεται ως η διαφορά TRT normalized − coverage και αποτυπώνει την ίδια ιδέα της ασυμφωνίας οπτικού και κινητικού σήματος σε επίπεδο λέξης χωρίς να χρειάζεται χρονικός συγχρονισμός.
Για την πρόβλεψη της αναγνωστικής δυσκολίας εκπαιδεύτηκαν και συγκρίθηκαν δύο μοντέλα μηχανικής μάθησης, ένας αλγόριθμος gradient boosting (XGBoost με 300 δέντρα) και ένα πολυεπίπεδο νευρωνικό δίκτυο (Multi Layer Perceptron, MLP, με αρχιτεκτονική 128-64-32). Επειδή η θετική κλάση καλύπτει μόλις το 5 με 6 τοις εκατό των παρατηρήσεων, εφαρμόστηκε η τεχνική SMOTE μόνο στο σύνολο εκπαίδευσης. Η αξιολόγηση έγινε με τις μετρικές F1 score, Precision, Recall και τον confusion matrix, ενώ η ερμηνεία των αποτελεσμάτων στηρίχθηκε στην τεχνική SHAP (TreeExplainer), που ποσοτικοποιεί τη συνεισφορά κάθε χαρακτηριστικού στις προβλέψεις του μοντέλου.
Τα αποτελέσματα δείχνουν ότι ο lag proxy συμβάλλει ουσιαστικά στην πρόβλεψη της δυσκολίας και κατατάσσεται υψηλά στην ιεραρχία σημαντικότητας χαρακτηριστικών. Η σύγκριση μεταξύ XGBoost και MLP αναδεικνύει την υπεροχή του πρώτου σε δομημένα δεδομένα αυτού του τύπου, τόσο στην απόδοση όσο και στην ερμηνευσιμότητα. Τέλος, η εργασία υλοποιήθηκε ως πλήρης διαδικτυακή εφαρμογή με backend FastAPI σε Render και frontend σε Netlify, η οποία εκτελεί ολόκληρη την αναλυτική ροή από τη φόρτωση των δεδομένων έως την παραγωγή των γραφημάτων SHAP.
Description
This thesis investigates whether the relationship between two simultaneous biometric signals recorded during reading, eye-tracking (ET) and finger-tracking (FT), can serve as a reliable biomarker of text comprehension difficulty at the word level. The theoretical foundation rests on the hypothesis that, when cognitive inconsistency arises (elevated cognitive load during the processing of a word), ocular behaviour (prolonged fixation duration, regressions) diverges from the motor flow of the finger. This divergence, referred to in the literature as temporal lag, is the central piece of information that the present study tries to exploit.
The data come from a dataset that contains measurements from both tracking modalities. A critical characteristic is that ET and FT features lack a common temporal reference (timestamp alignment) at the participant level, a condition that prevents the application of classical methods for measuring temporal lag between synchronized signals. To address this constraint, an indirect functional indicator, named lag proxy, was designed. It is defined as the difference TRT normalized − coverage and captures the mismatch between visual and motor signals at the word level without requiring per participant temporal synchronization.
For the prediction of reading difficulty, two machine learning models were trained and compared: a gradient boosting algorithm (XGBoost with 300 estimators) and a multilayer neural network (Multi Layer Perceptron, MLP, with a 128-64-32 architecture). Given the substantial class imbalance (the positive class represents around 5 to 6 percent of observations), the SMOTE technique was applied only to the training set. Evaluation was conducted using F1 score, Precision, Recall and the confusion matrix, while interpretability was addressed through the SHAP framework (TreeExplainer), which quantifies the contribution of each feature to the model's predictions.
The results indicate that lag proxy contributes substantially to the prediction of difficulty, ranking highly in the SHAP feature importance hierarchy. The comparative evaluation between XGBoost and MLP demonstrates the superiority of the former on structured data of this nature, both in terms of performance and interpretability. Finally, the work was deployed as a complete web application (FastAPI backend on Render, frontend on Netlify), which executes the full analytical pipeline from data ingestion to SHAP plots.