Δημιουργία φυσικής διεπαφής χρήστη και ενός context information manager (CIM), με τη χρήση του Microsoft Kinect.

Abstract

Σε αυτή την πτυχιακή εργασία παρουσιάζεται μια πολυτροπική φυσική διεπαφή χρήστη, δηλαδή ένα σύστημα αλληλεπίδρασης ανθρώπου-υπολογιστή, όπου ο χρήστης λειτουργεί μέσω φυσικών κινήσεων που σχετίζονται με την καθημερινή ανθρώπινη συμπεριφορά. Ο κύριος σκοπός αυτού του έργου εστιάζει στη διευκόλυνση αυτής της αλληλεπίδρασης, διατηρώντας τον ανθρώπινο παράγοντα κατά νου. Επιπροσθέτως, σε αυτή την εργασία γίνεται η βελτίωση του ήδη υπάρχοντος προγράμματος MIDAS (Multimodal Interface Directed by Action Sentences)Error! Reference source not found. , χρησιμοποιώντας το Microsoft Kinect πολυαισθητήρα που παρέχει σαν είσοδο δεδομένων εικόνα από έγχρωμη κάμερα , κάμερα βάθους και ήχο, λαμβάνοντας όλα τα πλεονεκτήματα των τριών βασικών λειτουργιών του Kinect SDK, που είναι : αναγνώριση ομιλίας, εντοπισμός σκελετού και αναγνώριση χειρονομίας.

Τhis thesis presents a multimodal Natural User Interface (NUI), meaning a system for human-computer interaction that the user operates through intuitive actions related to natural, everyday human behavior. The main purpose of this project focuses on facilitating this interaction by keeping the human actor in mind. In addition, this work contributes to the improvement of the project MIDAS (Multimodal Interface Directed by Action Sentences)Error! Reference source not found. sing Microsoft Kinect multi-sensor which provides RGB, depth and sound input, through all the advantages of the three basic Kinect’s SDK functions, Speech-Recognition – Gesture Recognition – Skeleton Tracking.