Gesture based human-computer interaction using Kinect.

Abstract

This thesis introduces the design and the implementation of a gesture based human-computer interaction system which gives to the user the ability to do basic computer operations without input devices such as computer mouse or keyboard, but by performing gestures with his hand in the air. The proposed system is based on the FORTH Hand Tracker (FHT) which models the human hand and provides real-time information about its pose in 3D space. To replicate the mouse operation the proposed system uses as input the hand’s position taken by the FHT and transforms it to a coordinate system aligned with the computer screen. This way the user can reposition the cursor by moving his hand in front of the desirable position on the screen. Furthermore the system recognizes several gestures that are assigned to specific commands that are typically given by standard input devices (i.e. mouse, keyboard). Gesture recognition is based on features extracted from the FHT pose and concern distances between individual hand parts, such as fingertips, in the 3D space. The temporal evolution of the recognized gestures is modeled using Hidden Markov Models (HMM). Each gesture corresponds to a different HMM while the optimal HMM/gesture is calculated using the Viterbi Algorithm. The gestures that the system recognizes correspond to the following commands: left-right-double click, drag and drop, zoom in and out, volume up and down. Experiments with data taken by a group of users in real conditions are showing the efficiency of the proposed method, with 90% success in the total sample population.

Στην παρούσα εργασία παρουσιάζεται ο σχεδιασμός και η υλοποίηση συστήματος για την Αλληλεπίδραση Ανθρώπου-Υπολογιστή βασισμένη στην κίνηση του χεριού με την χρήση του Kinect. Το σύστημα βασίζεται στον “FORTH Hand Tracker” που έχει αναπτυχθεί στο ΙΤΕ για την παρακολούθηση του ανθρώπινου χεριού. Χρησιμοποιεί ως είσοδο την θέση του χεριού που δίνει ο “FORTH Hand Tracker” επιτρέποντας στον χρηστή να μετακινεί τον κέρσορα κουνώντας το χέρι του σε αυτή τη θέση. Επιπλέον αναγνωρίζει ένα σύνολο χειρονομιών που αντιστοιχούν με συγκεκριμένες εντολές που τυπικά δίνονται με χρήση του ποντικιού ή του πληκτρολογίου. Έτσι ο χρήστης μπορεί πραγματοποιώντας τις συγκεκριμένες χειρονομίες να εκτελέσει βασικούς χειρισμούς στον Η/Υ. Τα οπτικά δεδομένα εισάγονται στην εφαρμογή από τον αισθητήρα Kinect που είναι συνδυασμός RGB κάμερας και αισθητήρα βάθους (RGB-D Sensor). Η θέση του χεριού μετασχηματίζεται σε σύστημα αναφοράς με βάση τη θέση της οθόνης και οι χειρονομίες μοντελοποιούνται με χρήση Hidden Markov Models (hmm). Πειράματα με δεδομένα από ένα σύνολο χρηστών σε πραγματικές συνθήκες δείχνουν την αποτελεσματικότητα της προτεινόμενης μεθόδου.