Αναγνώριση συναισθημάτων από εκφράσεις του προσώπου.

Abstract

Ο ψυχολόγος Paul Ekman, μετά από εκτενείς έρευνες πάνω στις εκφράσεις του προσώπου που έγιναν σε διάφορους πληθυσμούς σε όλο τον κόσμο, κατέληξε στο συμπέρασμα ότι έξι βασικά συναισθήματα είναι καθολικά, δηλαδή γίνονται κατανοητά και αναγνωρίζονται παγκόσμια ανεξάρτητα από πολιτισμικούς παράγοντες. Τα συναισθήματα αυτά είναι αυτά της ευτυχίας, της λύπης, του φόβου, του θυμού, της έκπληξης και της αηδίας. Ενώ, για τους ανθρώπους, κάτι απλό όπως η ανίχνευση του προσώπου επιτυγχάνεται αυτόματα και η ερμηνεία των συναισθημάτων γίνεται σχετικά εύκολα. Για έναν υπολογιστή ή ένα υπολογιστικό σύστημα που πρέπει αυτόματα να εντοπίζει και να αναγνωρίζει με επιτυχία τις εκφράσεις του προσώπου, σε πραγματικό χρόνο, είναι δύσκολη υπόθεση. Στα πλαίσια αυτής της πτυχιακής εργασίας αναπτύχθηκαν 5 αυτόματα συστήματα για την αναγνώριση των έξι βασικών συναισθημάτων και της ουδέτερης έκφρασης. Για τον σκοπό αυτό δύο διαφορετικές μέθοδοι υλοποιήθηκαν και δοκιμάστηκαν στη ευρέως διαδεδομένη βάση Cohn-Kanade [1]. Στην πρώτη μέθοδο υλοποιήθηκε ο αλγόριθμος των J. Kalita και K. Das [2] που έκαναν χρήση ιδιοτιμών και ιδιοδιανυσμάτων για την εξαγωγή χαρακτηριστικών από περιοχές του προσώπου και χρήση της Ευκλείδειας απόστασης σαν τεχνική λήψης αποφάσεων, καθώς και μία δεύτερη υλοποίηση της ίδιας μεθόδου που έκανε χρήση του μέσου ιδιοδιανύσματος. Στην δεύτερη μέθοδο χρησιμοποιήθηκαν τεχνητά νευρωνικά δίκτυα για να γίνει η αναγνώριση των εκφράσεων για τρεις διαφορετικούς τρόπους επεξεργασίας της εικόνας. Αρχικά χωρίς κάποια περαιτέρω επεξεργασία, εκτός από της ακριβή αναγνώριση του προσώπου, μετά με την χρήση και εφαρμογή τράπεζας φίλτρων Gabor και τέλος με την χρήση της αφαίρεσης της ουδέτερης έκφρασης από τις υπόλοιπες εκφράσεις σαν φίλτρο. Ενώ για την πρώτη μέθοδο τα αποτελέσματα δεν ήταν αυτά που θα περιμέναμε σε σχέση με αυτά που παρουσίασαν οι J. Kalita και K. Das [2], η μέθοδος που έκανε χρήση τεχνητών νευρωνικών δικτύων και εφαρμογή φίλτρων Gabor έδωσε ποσοστό επιτυχούς αναγνώρισης ίσο με 88% για τις δοκιμαστικές εικόνες.

Psychologist Paul Ekman, after extensive research on the facial expressions made in different populations around the world, concluded that six basic emotions are universal, meaning that they are understood and globally recognized regardless of cultural factors. These emotions are those of happiness, sadness, fear, anger, surprise and disgust. While, for people, something as simple as the detection of the face is achieved automatically and interpretation of emotions is relatively easy, for a computer or a computing system to automatically identify and recognize successfully facial expressions in real time, is a difficult task. The purpose of this thesis is to develop 5 automatic systems for the identification of the six basic emotions and the neutral expression. For this purpose, two different methods were implemented and tested for the widespread Cohn-Kanade database [1]. In the first method the algorithm proposed by J. Kalita and K. Das [2], that uses eigenvalues and eigenvectors for feature extraction from areas of the face and Euclidean distance as a decision-making technique, is implemented, and also a second variation of the same method that makes use of a “mean” eigenvector. The second method used artificial neural networks to recognize facial expressions for three different image processing techniques. Initially, without any further processing other than the accurate identification of the face, then creating and applying on the face image a Gabor filter bank and finally by using the subtraction of the neutral expression from the other expressions as a filter. While for the first method, the results were not as good as οι J. Kalita and K. Das [2] presented in their paper, the recognition rate for the second method, that uses artificial neural networks and Gabor filters equals to 88% for the test images.