Model-based 3D hand tracking using the lighting information as a visual cue.

Abstract

The goal of this thesis is to exploit lighting as a visual cue for the development of a 3D hand tracking system. The proposed method follows the hypothesize and testing paradigm. Under this paradigm, the hand pose estimation boils down to comparing the RGB hand observation with several rendered hand hypotheses. An objective function calculates the discrepancy between the real hand pose and a rendered hand pose. In this thesis, we propose to use lighting information and a simple RGB sensor to build the objective function. This approach compares favorably with previous state of the art methods that require depth sensors and RGB-D observations to build the objective function. Under the assumption of a known single light source we are able to photo-realistically render the hand model. To do so we use the principles of the Phong reflection model usually used in computer graphics to develop a lighting model. Also, an object detection technique able to extract the foreground information of the RGB images is developed. Several objective functions with different properties are created and tested. The experiments showed which lighting objective functions are the most efficient and that under certain lighting conditions the use of the lighting information can be used to build a robust 3D hand tracking system which overcomes depth ambiguities in complex cases were the real hand pose either rotates or the fingers are bending.

Ο στόχος αυτής της εργασίας είναι η εκμετάλλευση του φωτισμού σαν οπτικό χαρακτηριστικό για την ανάπτυξη ενός 3D συστήματος παρακολούθησης χεριού. Η προτεινόμενη μέθοδος ακολουθεί την τεχνική της υπόθεσης-επαλήθευσης που συναντάται σε συστήματα παρακολούθησης με χρήση 3D μοντέλων. Η τεχνική αυτή επιτυγχάνει την εκτίμηση της πόζας του χεριού συγκρίνοντας την παρατήρηση (RGB εικόνα) με ένα πλήθος υποθέσεων που παράγονται με το 3Δ μοντέλο. Η σύγκριση αυτή γίνεται με χρήση μίας αντικειμενικής συνάρτησης. Στην παρούσα εργασία, προτείνουμε την χρήση της πληροφορίας του φωτισμού και ένα απλό RGB αισθητήρα για να κατασκευάσουμε την αντικειμενική συνάρτηση. Αυτή η προσέγγιση πλεονεκτεί σε σχέση με προηγούμενες μεθόδους οι οποίες απαιτούν αισθητήρες βάθους και RGB-D παρατηρήσεις για την κατασκευή της αντικειμενικής συνάρτησης. Με την υπόθεση μιας γνωστής μοναδικής πηγής φωτός είμαστε σε θέση να δημιουργήσουμε φωτορεαλιστικά το μοντέλο χεριού. Για να γίνει αυτό, χρησιμοποιούμε τις αρχές του μοντέλου ανάκλασης Phong που χρησιμοποιείται συνήθως στα γραφικά υπολογιστών για την ανάπτυξη ενός μοντέλου φωτισμού. Επίσης, αναπτύσσεσαι μία τεχνική ανίχνευσης αντικειμένων ικανή να διαχωρίσει το προσκήνιο των RGB εικόνων. Διάφορες αντικειμενικές συναρτήσεις με διαφορετικές ιδιότητες δημιουργούνται και δοκιμάζονται. Τα πειράματα έδειξαν ποιες αντικειμενικές συναρτήσεις είναι πιο αποτελεσματικές και ότι κάτω από ορισμένες συνθήκες φωτισμού η χρήση της πληροφορίας του φωτισμού μπορεί να χρησιμοποιηθεί για την κατασκευή ενός εύρωστου συστήματος 3D παρακολούθησης χεριού το οποίο ξεπερνάει τις αδυναμίες της χρήσης του βάθους σε περίπλοκες περιπτώσεις όπου η πραγματική πόζα του χεριού περιστρέφεται ή τα δάχτυλα του χεριού κάμπτονται.