Ανάπτυξη εφαρμογής με τη χρήση του Microsoft Kinect Sensor.

Abstract

Σε αυτήν την εργασία παρουσιάζεται μια πολύ-τροπικη φυσική διεπαφή χρήστη με όνομα MIDAS (Multimodal Interface Directed by Action Sentences). Το MIDAS χρησιμοποιεί κινήσεις, φωνητικές εντολές κι άλλους τρόπους ανθρώπινης επικοινωνία, εντοπίζοντάς τους με τεχνολογίες όπως αναγνώριση κίνησης του σώματος, φωνής, έκφρασης – κίνησης προσώπου, ερμηνεύοντας τους ως λέξεις Με τις λέξεις αυτές σχηματίζει προτάσεις με τις οποίες ο χρήστης μπορεί να διαχειριστεί τις τρέχουσες εφαρμογές του υπολογιστή. Η πολύ-τροπικότητα στις εισόδους επιτυγχάνεται με τη χρήση του Microsoft Kinect το οποίο παρέχει εικόνα χρώματος, χάρτη βάθους και ήχο. Το MIDAS βασίζεται σε ένα general container το οποίο τρέχει στο παρασκήνιο λειτουργώντας ως ενδιάμεσος μεταξύ της πολύ-τροπικής εισόδου και των εφαρμογών που τρέχουν σε ένα υπολογιστή.. Εξηγούμε την αρχιτεκτονική του συστήματός μας και παρουσιάζουμε παραδείγματα χρήσης του.

In this work we represent a multimodal natural user interface called MIDAS (Multimodal Interface Directed by Action Sentences). MIDAS uses body motion, voice commands and other modals of human communication, detecting them with technologies such as gesture, voice and facial expression recognition, interpreting them as words. Users can manipulate the running applications on the computer by constructing action sentences with the words. The device utilized for achieving multimodal input is the Microsoft Kinect which provides RGB, depth and sound input. MIDAS is based on a generic container which runs at the background and serves as an intermediate between multimodal input and active applications running on a computer. We describe the architecture of the system and its representative example using two PC applications.