A toolset for physical interaction in augmented reality environments.

Abstract

Augmented reality nowadays is constantly expanding, and its applications become widely known. This technology combines the real world with the virtual, allowing virtual content to be placed on top of the real world in real time, enhancing or even altering the real world. As this technology evolves, new methods of interaction are currently researched to provide a better and more organic behavior in such environments. One of these methods is the ability to track and identify the pose of the hands of the user in the environment. Using such techniques allows to simulate the hand behavior which describes the interaction with real objects into the virtual world. As the research on these technologies progresses, tools are required to provide the means for building applications taking advantage of such technologies. Most of these of tools are targeted towards a specific device or method and therefore cannot work if those are changed. Another limitation of these tools is that it is hard to expand their functionality if it is required. In this master thesis a toolset is developed to enable the interaction between the physical hand and virtual objects in augmented reality environments using the Unity game engine. This toolset provides basic functionalities of interactions and it is made in such a way that allows for the developers to expand the capabilities and the range of interactions as they see fit. Furthermore, the toolset has the ability to adapt to different technologies for hand tracking, making it more flexible on what methods will be used each time. It is also important to mention that given the technology is always moving forward, the ability to continuous integrate the latest methods into this toolset is a significant feature. The resulting toolset enables the development of applications using the aforementioned technologies with a few basic steps.

Η επαυξημένη πραγματικότητα μέρα με τη μέρα αναπτύσσεται και οι εφαρμογές της γίνονται ευρέος γνωστές. Αυτή η τεχνολογία συνδυάζει τον πραγματικό κόσμο με τον ψηφιακό, επιτρέποντας την τοποθέτηση εικονικού περιεχομένου πάνω στον πραγματικό κόσμο σε πραγματικό χρόνο, ενισχύοντας ή ακόμα και αλλάζοντας τον πραγματικό κόσμο. Καθώς αυτή η τεχνολογία εξελίσετε, νέες μέθοδοι διάδρασης ερευνώνται ώστε να προσφέρουν μια καλύτερη και πιο οργανική συμπεριφορά σε τέτοια περιβάλοντα. Μια από αυτές τις μεθόδους είναι η δυνατότητα της παρακολούθησης και αναγνώρισης της στάσης του χεριού του χρήστη στο περιβάλλον. Η Χρήση αυτών των τεχνικών επιτρέπει στην προσομοίωση της συμπεριφοράς του χεριού που περιγράφει την αλληλεπίδραση με πραγματικά αντικείμενα στον ψηφιακό κόσμο. Όσο η έρευνα προοδεύει σε αυτές τις τεχνολογίες, εργαλεία χρειάζονται για να παρέχουν τα μέσα στην δημιουργία εφαρμογών όπου εκμεταλεύονται τέτοιες τεχνολογίες. Τα περισσότερα από αυτά τα εργαλεία απευθύνονται σε συγκεκριμένες συσκευές ή μεθόδους με αποτέλεσμα να μην μπορούν να δουλέψουν χωρίς αυτά. Άλλος ένας περιορισμός από αυτά τα εργαλεία είναι η δυσκολία της επέκτασης της λειτουργικότητας τους σε περίπτωση που αυτή χρειαστεί. Σε αυτήν την εργασία έχει αναπτυχθεί ένα εργαλείο όπου επιτρέπει την αλληλεπίδραση με ψηφιακά αντικείμενα χρησιμοποιόντας τα χέρια με φυσικό τρόπο σε περιβάλοντα επαυξημένης πραγματικότητας, με την χρήση της μηχανής Unity. Το εργαλείο αυτό προσφέρει βασικές λειτουγίες αλληλεπίδρασης, και έχει αναπτυχθεί με τέτοιο τρόπο ώστε να επιτρέπει στους προγραμματιστές να επεκτήνουν της δυνατότητες και το εύρος των αλληλεπιδράσεων. Επιπλέον, το εργαλείο έχει την δυνατότητα να προσαρμόζετε σε διάφορες τεχνολογίες παρακολούθησης χεριού, όπου αυτό το καθιστά πιο ευέλικτο στο ποιες μεθόδους μπορεί να χρησιμοποιήσει κάθε φορά. Είναι σημαντικό να αναφερθεί ότι καθώς η τεχνολογία συνεχώς αναπτήσετε, η δυνατότητα συνεχούς ενσωμάτωσης των πιο πρόσφατων τεχνικών στο εργαλείο είναι ένα σημαντικό χαρακτηριστικό. Το αποτέλεσμα της κατασκευής αυτού του εργαλείου επιτρέπει την δημιουργία εφαρμογών με την χρήση των προαναφερθέντων τεχνολογιών σε λίγα βήματα.