Αναγνώριση ανθρώπινης δραστηριότητας με χρήση έξυπνων τηλεφώνων.

Abstract

Η παρούσα εργασία επικεντρώνεται στη μελέτη συστημάτων αναγνώρισης της ανθρώπινης δραστηριότητας με τη χρήση «έξυπνων» φορητών συσκευών. Το κύριο ερευνητικό ερώτημα το οποίο καλούμαστε να απαντήσουμε είναι: «Ποιο είναι η βέλτιστη πειραματική διάταξη η οποία βελτιώνει την απόδοση ενός συστήματος αναγνώρισης της ανθρώπινης δραστηριότητας;» Το ερευνητικό αυτό ερώτημα μπορεί να απαντηθεί αφού απαντηθούν επιμέρους ερωτήματα που προκύπτουν και είναι τα παρακάτω: α) Ποιοι αλγόριθμοι ταξιθέτησης ή ταξινόμησης παράγουν τα βέλτιστα αποτελέσματα σε ευαισθησία και ακρίβεια; β) Ποιο είναι το βέλτιστο σύνολο χαρακτηριστικών που εξάγονται από το αρχικό σήμα και βελτιώνει την απόδοση ενός συστήματος αναγνώρισης της ανθρώπινης δραστηριότητας; και γ) Ποιοι είναι γενικά οι παράγοντες και πώς αυτοί μπορούν να επηρεάσουν την υλοποίηση ενός συστήματος αναγνώρισης της ανθρώπινης δραστηριότητας σε μία «έξυπνη» φορητή συσκευή; Με σκοπό να απαντηθούν τα ερευνητικά ερωτήματα που τίθενται παραπάνω ήταν απαραίτητο να επιλεχθούν κάποιες βάσεις δεδομένων ή αλλιώς σύνολα δεδομένων που έχουν συλλεχθεί με χρήση «έξυπνων» φορητών συσκευών. Η πρώτη βάση δεδομένων που επιλέχθηκε και είναι διαθέσιμη δημοσίως ήταν η βάση δεδομένων του WISDM (Wireless Sensor Data Mining) που δημιουργήθηκε από το πανεπιστήμιο του Fordham της Νέας Υόρκης. Αυτό το σύνολο δεδομένων έχει συλλεχθεί με τη χρήση των αισθητήρων επιτάχυνσης ή αλλιώς επιταχυνσιόμετρα που περιλαμβάνουν οι φορητές συσκευές. Τα δεδομένα αυτά αφορούν τις παρακάτω έξι καθημερινές δραστηριότητες: περπάτημα, τρέξιμο, ανάβαση σκάλας, κατάβαση σκάλας, κάθισμα και ορθοστασία. Για το παραπάνω επιλεγμένο σύνολο δεδομένων επικεντρωθήκαμε στην αναπαραγωγή της πιο πρόσφατα δημοσιευμένης υλοποίησης που αφορά τη συγκεκριμένη βάση δεδομένων καθώς και των αποτελεσμάτων που υπάρχουν σε αυτή τη δημοσίευση. Στη συνέχεια χρησιμοποιήσαμε το επίσης δημοσίως διαθέσιμο σύνολο δεδομένων «MOBIFALL». Το MOBIFALL δημιουργήθηκε από το εργαστήριο Βιοϊατρικής Πληροφορικής του Τμήματος Μηχανικών Πληροφορικής του ΤΕΙ Κρήτης το οποίο περιλαμβάνει σήματα που έχουν καταγραφεί από το επιταχυνσιόμετρο και το γυροσκόπιο φορητών συσκευών. Αυτή η βάση δεδομένων περιλαμβάνει σήματα για τέσσερις διαφορετικές πτώσεις και εννέα διαφορετικές δραστηριότητες της καθημερινής ζωής. Τα βέλτιστα (εξαγόμενα από τα αρχικά δεδομένα) χαρακτηριστικά τα οποία οδηγούν στην καλύτερη δυνατή απόδοση των αλγορίθμων αναγνώρισης διερευνήθηκαν διεξοδικά. Αυτά προήλθαν από τη σύγκριση των αποτελεσμάτων που επιτεύχθηκαν από τα παραπάνω επιλεγμένα σύνολα δεδομένων (WISDM, MOBIFALL). Τα χαρακτηριστικά αυτά ελέγχθηκαν και αξιολογήθηκαν ώστε να ευρεθεί το μικρότερο δυνατό σύνολο χαρακτηριστικών που εγγυάται το σαφή προσδιορισμό των εξεταζόμενων δραστηριοτήτων. Παράλληλα έγινε προσπάθεια ώστε να μπορεί να πραγματοποιηθεί αναγνώριση δραστηριοτήτων «σχεδόν» σε πραγματικό χρόνο. Η σύγκριση των αποτελεσμάτων των αλγορίθμων που εφαρμόστηκαν στα παραπάνω σύνολα δεδομένων οδήγησαν στο να προσδιοριστεί η επίδραση του μεγέθους του συνόλου δεδομένων που χρησιμοποιείται κατά τη διαδικασία «εκπαίδευσης» των αλγορίθμων, στην ποιότητα των αποτελεσμάτων. Επίσης πέντε διαφορετικοί αλγόριθμοι «ταξιθέτησης» αξιολογήθηκαν με βάση την ευαισθησία και την ακρίβεια των αποτελεσμάτων που παρέχουν. Τα αποτελέσματα που εξήχθησαν από την έρευνα, μας επιτρέπουν να καταλήξουμε σε συμπαγή συμπεράσματα λαμβάνοντας υπόψη και τις επιτρεπτές παραμετροποιήσεις των χρησιμοποιούμενων αλγορίθμων «ταξιθέτησης». Με την παραπάνω μεθοδολογία καταλήγουμε στη δημιουργία ενός συστήματος αναγνώρισης ανθρώπινων δραστηριοτήτων καθημερινής ζωής το οποίο θα είναι εφικτό να υλοποιηθεί για σε «έξυπνες» φορητές συσκευές.

Many countries are facing an increasing elderly population. Consistently low birth rates and higher life expectancy is transforming the shape of the EU-28’s age pyramid; probably the most important change will be the marked transition towards a much older population structure. As a result, the concept of “aging in place” has become an important problem to solve. To solve this problem, and allow the elderly to live a normal life within the community, the need arises for more intelligent infrastructures within the home. Specifically, there is a need for systems that can monitor the day to day tasks of the elderly and also recognize when something has gone wrong. In monitoring a person’s behavior, it can be useful to first establish normal patterns of behavior. In a home setting, this behavior can be decomposed into a number of essential activities, known as Activities of Daily Living (ADLs). The term “activities of daily living” refers to a set of common, everyday tasks, performance of which is required for personal self-care and independent living. Human Activity Recognition (HAR) through computational methods is the process of identifying the actions and goals of one or more humans from a series of observations on the human’s actions. Surveillance systems, human-computer interaction systems, ubiquitous smart health care systems and gaming systems are only a few examples of applications of HAR. Existing approaches typically use vision sensors, inertial sensors or a mixture of both. Machine learning and threshold-based algorithms are often applied for the classification and recognition task. The present thesis focuses on the study of HAR using smartphones. The main research question we are seeking to answer can be expressed as follows: “Which is the optimal setup to improve the performance of a HAR system implemented on a “smart” mobile device?” The main research question can be decomposed into a number or related sub-questions. The sub-questions can be expressed as a) Which algorithms generate the best classification results, in terms of sensitivity and specificity?, b) Which is the optimal feature set to improve the performance of an implementation of a HAR system on mobile devices? and c) What are the factors and how they affect the performance of an implementation of a HAR system on mobile devices? In achieving answers to the above questions, we have selected a public data set, namely WISDM (Wireless Sensor Data Mining), which includes data collected from accelerometer sensors of mobile devices for six ADLs, namely: walking, jogging, (walking) up-the-stairs, (walking) down-the-stairs, sitting and standing. We focused on reproducing the most recent results published using this dataset. Then we have subsequently employed the MOBIFALL dataset, developed by the Biomedical Informatics Laboratory of the Department of Informatics Engineering at TEI Crete, which incorporates signals recorded from the accelerometer and gyroscope sensors for four different falls and nine different activities of daily living (ADLs). The optimal set of features providing best performance was extensively explored, resulting in the minimal possible set of features that guarantee unambiguous identification of activities whilst on the other hand allowing for near real-time classification. A range of algorithms were also evaluated with respect to the sensitivity and specificity they provide. The results allow us to draw confident conclusions with respect to the best available configuration of algorithms, feature set and size of training set required for the implementation of a real time or near real time Human Activity Recognition system running on smartphones.