Προς μια αυτόματη κατανοητή παρακολούθηση μετρήσεων της συμπεριφοράς και φυσιολογίας της εμπειρίας του χρήστη : εκτίμηση του κεφαλιού και αναγνώριση εκφράσεων προσώπου.

Abstract

Σε αυτή τη διπλωματική εργασία παρουσιάζεται ένα μοντέλο για την κατασκευή, την οπτικοποίηση και τελικά την αξιολόγιση των μετρήσεων της συμπεριφοράς και της φυσιολογίας του χρήστη, όσον αφορά τις αλλαγές στη θέση του κεφαλιού και τις διακυμάνσεις στις εκφράσεις του προσώπου.Το κίνητρο αυτής της εργασίας είναι το να παράγει κατανοητές οπτικές αναπαραστάσεις δυο διαφορετικών συνόλου δεδομένων, τα οποία αποκτώνται χρησιμοποιώντας μια προσιτή 3D τεχνολογία ανίχνευσης (αισθητήρας Microsoft Kinect), στοχεύοντας στην αύξηση του γνωστικού επιπέδου όσον αφορά την ανάλυση των μετρήσεων του χρήστη.Τόσο η εκτίμηση της θέσης του κεφαλιού όσο και η αναγνώριση εκφράσεων προσώπου έχουν προσελκύσει μεγάλο ενδιαφέρον από την βιβλιογραφίας λόγω των τελευταίων εξελίξεων στην υπολογιστική όραση, διεπαφές ανθρώπου υπολογιστή καθώς και τα συστήματα αναγνώρισης της ανθρώπινης δραστηριότητας. Για το σκοπό αυτό, μια προσεέγγιση που βασίζεται σε διακρίνων δάση τυχαίας παλινδρόμησης (Discriminative Random Regression Forests) ακολουθήθηκε προκειμένου να επιτευχθεί γρήγορη, ακριβή και αξιόπιστη εκτίμηση της θέσης του κεφαλιού σε μη ελεγχόμενο περιβάλλον. Πέραν αυτού, η αναγνώριση συναισθημάτων μέσω εκφράσεων του προσώπου (ERFE) υιθετήθηκε προκειμένου να ολοκληρωθεί η διαδικασία αναγνώρισης των τεσσάρων κύριων εκφράσεων συμπεριλαμβανομένης της ευτυχίας, θυμού, θλίψης και έκπληξης. Για το λόγο αυτό, εκμεταλευόμαστε τα χαρακτηριστικά των κινούμενων μονάδων (Features of animation units AUs) , τα οποία παρακολουθούνται από τον Kinect αισθητήρα. Μια ελαφριά μορφή ανταλλαγής δεδομένων (JavaScript Object Notation-JSON) χρησιμοποιείται για τη συλλογή και αποθήκευση των δεδομένων από τα προαναφερθέντα σύνολα. Αυτός ο μηχανισμός μπορεί να αποτελέσει μια πλατφόρμα για την αντικειμενική και εύκολη αξιολόγιση των δράσεων της συμπεριφοράς του χρήστη καθώς επίσης και της στάσης της φυσιολογίας του, στα πλαίσια διαφορετικών εφαρμογών, όπως η ανάπτυξη παιχνιδιών και η αξιολόγιση τους.

In this thesis a model for building, visualizing and ultimately assessing behavioral and physiological metrics of user experience in terms of head pose changes and facial expression variations is presented. The motivation of this work is to produce comprehensible visual representations of two different sets of data, which are acquired using an affordable 3D sensing technology (Microsoft Kinect sensor), with a view to raise the cognitive level in terms of analyzing user metrics. Both head pose estimation and facial expression recognition have attracted a great deal of interest in literature due to recent advances in computer vision, human computer interfaces and human activity recognition systems. To that end, an approach build on discriminative random regression forests was followed in order to achieve fast, accurate and reliable estimation of head pose in uncontrolled environment In addition to that, emotion recognition via facial expressions (ERFE) was adopted in order to complete the process of recognizing four main expressions including happiness, anger, sadness and surprise. For this reason, the features of animation units (AUs), tracked by the Kinect sensor, are exploited. A lightweight data exchange format (JavaScript Object Notation-JSON) is utilized for collecting and storing the data from the aforementioned sets. Such mechanism can yield a platform for objective and effortless assessment of user behavioral actions and physiological attitude within the context of different applications, such as game development and evaluation.