Σύστημα αναγνώρισης χειρονομιών της νοηματικής γλώσσας με χρήση αισθητήρα Microsoft Kinect.

Abstract

Η Ελληνική Νοηματική Γλώσσα από το 2000 αποτελεί επίσημη γλώσσα της κοινότητας των Ελλήνων Κωφάλαλων. Οι κωφάλαλοι είναι άτομα με ειδικές ανάγκες, που πάσχουν από εκ γενετής ή επίκτητη απουσία της ικανότητας της ακοής και της ομιλίας. Στις μέρες μας η τεχνολογία έχει αναπτυχθεί πάρα πολύ και μπορεί να προσφέρει υπηρεσίες για την βοήθεια συνανθρώπων μας και κυρίως ατόμων με ειδικές ανάγκες. Αντικείμενο της πτυχιακής εργασίας είναι η κατασκευή μιας εφαρμογής για την αναγνώριση χειρονομιών στην ελληνική νοηματική γλώσσα με την χρήση της γλώσσας προγραμματισμού C# και του αισθητήρα Microsoft Kinect. Ο αισθητήρας Kinect έχει τη δυνατότητα απεικόνισης του βάθους με το οποίο μπορούμε να κάνουμε την αναγνώριση των χειρονομιών. Αρχικά για να πραγματοποιηθεί η αναγνώριση πρέπει να προηγηθεί η εκπαίδευση του συστήματος μας μέσω της καταγραφής ενός συνόλου χειρονομιών. Οι χειρονομίες αποθηκεύονται σε αρχεία τοπικά στον υπολογιστή μας. Στη συνέχεια το σύστημα προσπαθεί να αναγνωρίσει την χειρονομία που κάνει ο χρήστης μπροστά στο Kinect και να την ταυτίσει με τις πληροφορίες που έχουν διαβαστεί από τα αρχεία. Σαν περιορισμός του συστήματος για την επιτυχή αναγνώριση των χειρονομιών είναι οι χειρονομίες να είναι στατικές δηλαδή να μην αλλάζουν στο χρόνο. Τέλος το σύστημα προσφέρει στους χρήστες την δυνατότητα επικοινωνίας με άλλους χρήστες που δεν γνωρίζουν την Ελληνική Νοηματική Γλώσσα.

Greek Sing Language (GSL) has been the official language of the Greek Deaf since 2000. The deaf can be people who are either deaf from birth due to congenital causes or have acquired hearing loss and lack of speech later in their life. Nowadays, technology has been developed to such an extent offering its services to provide assistance to our fellows and mainly to people with special needs. The main objective of our thesis is to design an application which will be able to recognize gestures in the Greek Sing Language using the written C# (programming language) and Microsoft Kinect sensor. The Kinect sensor enables advanced gesture recognition. Initially, the system has to be trained via the recording of an amount of gestures in order to achieve successfully the recognition of movements. Gestures are stored in files locally in our personal computer. Then, the system tries to detect the user’s gestures in front of the Kinect and to identify them retrieving information from the stored files. One limitation of the system, in order to be successful, is that the gestures should be static. Specifically, the person is required to remain still. Finally, the system offers users the potential to communicate with others who do not know the Greek Sign Language.