Ανάπτυξη διαδραστικής εφαρμογής: “αόρατα κρουστά” με την χρήση της συσκευής Kinect και της γλώσσας προγραμματισμού Processing.

Abstract

Σε αυτήν την πτυχιακή εργασία αναπτύξαμε εφαρμογές που εκμεταλλεύονται την τεχνολογία ανίχνευσης χώρου και κίνησης του Kinect με αποτέλεσμα να δίνεται στον χρήστη η δυνατότητα να αντλεί δεδομένα από το περιβάλλον γύρω του καθώς και από τις κινήσεις του, αλληλεπιδρώντας έτσι με το πρόγραμμα χωρίς να χρειάζονται άλλες συσκευές εισόδου. Έτσι ο χρήστης ενεργοποιώντας για παράδειγμα την κεντρική εφαρμογή της πτυχιακής θα μπορεί να παίξει κρουστά αγγίζοντας με τα χέρια και τα πόδια του συγκεκριμένες ομάδες σημείων στο αέρα γύρω του. Η άντληση των δεδομένων από τη συσκευή Kinect, η ερμηνεία, η επεξεργασία, η προβολή τους όπως και ο προσδιορισμός της διαδραστικότητας είναι βασικές διαδικασίες που πραγματοποιήθηκαν προγραμματίζοντας με την γλώσσα Processing και τις βιβλιοθήκες OpenNI και SimpleOpenNI. Συγκεκριμένα πήραμε ως είσοδο στο πρόγραμμά μας την σάρωση του πραγματικού χώρου τον οποίο “βλέπει” η υπέρυθρη κάμερα της Kinect και με την κατάλληλη ερμηνεία δημιουργήσαμε ένα μοντέλο αναπαράστασης του χώρου στην οθόνη ικανό να ανιχνεύει την θέση και την κίνηση αντικειμένων και χρηστών στις τρεις διαστάσεις με ακρίβεια εκατοστών. Επιπλέον με την βοήθεια τον εντολών της Processing, κατασκευάσαμε τεχνικές και μεθόδους που επιτρέπουν εικονική πλοήγηση μέσα στο μοντέλο μας. Τέλος εμπλουτίσαμε το μοντέλο αυτό με ομάδες σημείων οι οποίες τροφοδοτούν το πρόγραμμα σε περίπτωση που κάποιο πραγματικό αντικείμενο περάσει μέσα στην οριοθετημένη περιοχή τους. Πάνω σε αυτό το τρισδιάστατο σύστημα έγιναν μαθηματικές πράξεις, δοκιμές και διορθώσεις προκειμένου να βαθμονομηθούν σωστά οι τιμές των μεταβλητών και οι θέσεις των αντικειμένων του προγράμματος αλλά και να ελαχιστοποιήσουμε την καθυστέρηση που δημιουργείται λόγω της αυξημένης υπολογιστικής ισχύς που απαιτούν οι συνεχόμενες καταγραφές και τρισδιάστατες αναπαραστάσεις του χώρου. Σκοπός της πτυχιακής αυτής ήταν η μελέτη της πρωτότυπης διαδικασίας ανίχνευσης-καταγραφής χώρου, προσώπων και των αντικειμένων που παρέχει η συσκευή Kinect και η εξοικείωση με την ανάπτυξη εφαρμογών Processing που χρησιμοποιούν τις δυνατότητες αυτές και προσφέρουν στους χρήστες νέους τρόπους αλληλεπίδρασης.

In this dissertation we have developed applications that exploit the space and motion detection technology of the Kinect device. By giving the user the ability to pull data from the environment around him and from his own moves and gestures he can interact with the program without the need of other input devices. So the user for example by activating the basic application of the dissertation he can play percussion by tapping his hands and feet at specific point-groups in the air around him. The extraction of the data from the Kinect device, their interpretation, editing and displaying are essential procedures that were performed with the programming language Processing and the libraries OpenNI and SimpleOpenNI. We took as input to our program the scan of real space which the infrared camera of Kinect captured and with the proper interpretation we created a model representation of space that can detect the position and movement of objects and users in three dimensions with the accuracy of a centimeter. Moreover, with the help of Processing commands, we constructed techniques and methods that allow virtual navigation in our model. Finally we have enriched the model with point groups that give a feedback to the program whenever a real object pass within the demarcated area. Over this three-dimensional system we made math tests and corrections to properly calibrate the variable's values and the positions of the objects in the program and to minimize the delay created by the increased computational power that the consecutive recordings and 3-dimensional representations of space required. The aim of this dissertation was to study this scanning process of space, persons and objects provided by the Kinect device and to increase the familiarity with the development of Processing applications that offer users new ways of interacting.