Πλατφόρμα πραγματικού χρόνου φυσικής αποκατάστασης βάση σκελετού.

Abstract

Η παρούσα διπλωματική εργασία αναπτύσσει μια πλατφόρμα πραγματικού χρόνου ως λογισμικό ικανό να υποστηρίξει ασκήσεις για φυσική αποκατάσταση προσαρμοσμένη σε ασθενείς που πάσχουν από την νόσο Πάρκινσον. Ασκήσεις γυμναστικής κατάλληλες για ασθενείς Πάρκινσον αντλήθηκαν από την βιβλιογραφία, συμπεριλαμβανομένου και του αντίστοιχου βίντεο οδηγιών, με σκοπό να εκτελούνται σε ημερήσια βάση. Ο αισθητήρας (sensor) Microsoft Kinect v1 και το OpenNI v2 πλαίσιο λογισμικού (framework) με ενδιάμεσο λογισμικό (middleware) το Nite χρησιμοποιήθηκαν για να εφαρμόσουν τεχνικές ανίχνευσης ανθρώπινου σώματος εξάγοντας το σκελετικό μοντέλο του ασθενούς. Ο ασθενής στέκεται μπροστά στη συσκευή Kinect, και μόλις αναγνωριστεί από το σύστημα ως χρήστης της πλατφόρμας, το βίντεο οδηγιών επιδεικνύει την ορθή εκτέλεση της κάθε άσκησης, προσφέροντας έτσι καθοδήγηση πραγματικού χρόνου. Κατά τη διάρκεια της εκτέλεσης μιας άσκησης, μέσω εικονικού περιβάλλοντος που δημιουργήθηκε με το πρόγραμμα Unity3D, εμφανίζονται ακριβή ανθρωπομετρικά δεδομένα που προσδιορίζουν την θέση του σκελετικού μοντέλου του ασθενούς στον τρισδιάστατο χώρο τα οποία και αποθηκεύονται καρέ-καρέ (frame-by-frame), έτσι ώστε ο γιατρός να είναι σε θέση να επιβλέψει μακροπρόθεσμα την πρόοδο του ασθενούς. Επαναληπτικές κινήσεις, είτε σε κυκλική είτε σε ευθεία τροχιά, της κάθε άσκησης ανιχνεύονται σε πραγματικό χρόνο και καταγράφονται τόσο στην δεξιά όσο και στην αριστερή πλευρά του σώματος. Όταν εκτελεστούν οι ζητούμενες επαναλήψεις, η άσκηση θεωρείται επιτυχώς ολοκληρωμένη και υπολογίζεται ένας βαθμός εκτέλεσης για να εκτιμήσει την κινησιολογία του ασθενούς στην εκτέλεση κάθε άσκησης. Τότε ο ασθενής ενθαρρύνεται να συνεχίσει στην επόμενη άσκηση, μέχρις ότου να ολοκληρωθεί όλο το ημερήσιο σετ ασκήσεων. Οραματιζόμαστε να προσφέρουμε ένα βοηθητικό εργαλείο στην διάγνωση του Πάρκινσον παρέχοντας χρήσιμες μετρήσεις και λειτουργίες στην ιατρική με αυτήν την πλατφόρμα τεχνητής όρασης, η οποία μπορεί εύκολα να εγκατασταθεί είτε σε κλινικές εγκαταστάσεις είτε στο σπίτι του ασθενούς.

The present thesis develops a virtual real-time physical rehabilitation platform tailored to Parkinson’s Disease (PD) patients. Proper exercises for PD patients are drawn from references, including also the corresponding instruction video, in order to be executed in a daily routine exercises set. The Microsoft Kinect v1 sensor and OpenNI v2 framework with Nite middleware are employed to implement body-tracking techniques detecting the skeleton model of an individual patient. The patient stands in front of a Kinect device, and by the time he is recognized as a platform user, the instruction video demonstrates the correct performance of corresponding exercise offering real-time guidance. While the patient performs an exercise through a virtual environment created with Unity3D game engine, accurate 3D skeletal joint data are extracted in space measurements and stored frame-by-frame, so that the doctor would be able to supervise the patient’s progress in a long-time manner. Movement repetitions, either in a cyclic or straight movement pattern, of each exercise are recognized in real-time and counted on both the right and left side of the patient’s body. When the required repetitions of an exercise are executed, the exercise is considered as successfully performed and a grade estimation of patient’s mobility is calculated in order to estimate each performance. Then the patient is encouraged to continue to the next exercise until all the daily set of exercises is completed. We envision assisting PD diagnosis by offering medically useful measurements and functionalities with this accurate computer vision platform, capable to be easily installed either in clinic or at home.