Γρήγορος εντοπισμός αντικειμένων, υπολογισμός του πραγματικού τους μεγέθους και αναγνώριση με τη χρήση του αισθητήρα Microsoft Kinect.

Abstract

Αυτή η εργασία παρουσιάζει ένα αποδοτικό και ολοκληρωμένο σύστημα για τον εντοπισμό πολλαπλών αντικειμένων από μια τρισδιάστατη σκηνή και την κατηγοριοποίηση τους κάνοντας χρήση του αισθητήρα Microsoft Kinect. Χρησιμοποιεί μια νέα και γρήγορη μέθοδο για τον εντοπισμό των αντικειμένων που βασίζεται στους χάρτες βάθους που παράγει το ο αισθητήρας Kinect και στη συνέχεια εφαρμόζει τον αλγόριθμο ταξινόμησης Γραμμικής Χωρικής Ταύτισης Πυραμίδας (Linear Spatial Pyramid Matching[1]) που προτάθηκε από τον Jianchao Yang και τους συνεργάτες του (CVPR09)για να κάνει κατηγοριοποίηση των αντικειμένων. Η επιτυχής ανίχνευση και κατηγοριοποίηση των αντικειμένων μιας τρισδιάστατης σκηνής είναι κρίσιμος παράγοντας της Υπολογιστικής Όρασης. Ο κύριος στόχος της Υπολογιστικής Όρασης είναι να κατασκευαστούν μηχανές οι οποίες θα βλέπουν αλλά και θα κατανοούν τα αντικείμενα όπως και ο άνθρωπος. Προς αυτή την κατεύθυνση, το Kinect μπορεί να χρησιμοποιηθεί αφού έχει την δυνατότητα να παράγει σε πραγματικό χρόνο χάρτες βάθους που περιέχουν τη τρισδιάστατη πληροφορία και μαζί με τις αντίστοιχες RGBεικόνες που επιστρέφει μπορούν να χρησιμοποιηθούν για τον στόχο μας. Στο σύστημα μας χρησιμοποιούμε αποτελεσματικές μεθόδους για την επεξεργασία του χάρτη βάθους σε συνδυασμό με ανίχνευση ακμών, εντοπισμό συνδεδεμένων στοιχείων και τεχνικές φιλτραρίσματος με σκοπό την υλοποίηση ενός αλγορίθμου που μπορεί να ανιχνεύει πολλαπλά αντικείμενα από μία μόνο σκηνή, ακόμα και σε πολύπλοκες σκηνές με πολλά και αλληλεπικαλυπτόμενα αντικείμενα. Επιπλέον χρησιμοποιούμε τον αλγόριθμο LSPM για την αποδοτική κατηγοριοποίηση των αντικειμένων που εντοπίζονται. Η ανίχνευση αντικειμένων με την προτεινόμενη μέθοδο παρουσιάζει πολλά πλεονεκτήματα σε σχέση με τις παραδοσιακές μεθόδους ανάμεσα στα οποία είναι η αποτελεσματικότητα, η ακρίβεια στον εντοπισμό των ορίων, η εκτίμηση του πραγματικού μεγέθους των αντικειμένων και η μεγάλη ταχύτητα ανίχνευσης. Η κατηγοριοποίηση αντικειμένων όταν έχει προηγηθεί ανίχνευση βοηθάει στην καλύτερη αναγνώριση των αντικειμένων, καλύτερη αξιοποίηση της επεξεργαστικής ισχύος του συστήματος και κάνει δυνατή την αναγνώριση πολλαπλών αντικειμένων που προέρχονται από την ίδια εικόνα.

This work presents an efficient and complete system for multiple object detection and classification in a 3D scene using the Microsoft Kinect sensor. It employs a new and fast detection method based on the depth map generated by the Kinect sensor and then applies the Linear Spatial Pyramid Matching [1] classification algorithm proposed by Jianchao Yang et al for the classification task. Successful 3D scene’s object detection and classification are crucial features in computer vision. The main goal is making machines that see and understand objects like humans do. To this goal, the Kinect sensor can be utilized since it provides real-time depth map generation which can be used along with the RGB images for our tasks. In our system we employ effective depth map processing techniques, along with edge detection, connected components detection and filtering approaches, in order to design a complete algorithm for efficient object detection of multiple individual objects in a single scene, even in complex scenes with many objects. Besides, we use the LSPM algorithm for the efficient classification of the detected objects. This method provides many benefits over traditional object detection and classification methods; among others is the high detection rate, the accurate detection of boundaries, the real size estimation of objects and fast detection speed. Object classification when preceded by detection can provide better recognition rates, computational efficiency and multiple object classification from a single scene image.