Ταυτοποίηση ατόμου με συνδυασμό βίντεο, εικόνας και ήχου.

Abstract

Στον 21ο αιώνα όπου διανύουμε, ο τομέας της ασφάλειας είναι αναμφισβήτητα ένα από τα κατεξοχήν θέματα απασχόλησης και έρευνας κρατικών υπηρεσιών, επιχειρηματικών ομίλων αλλά και ιδιωτών όπου θέλουν να προστατεύσουν την ακεραιότητα δεδομένων, την ακεραιότητα φυσικών προσώπων και οτιδήποτε μπορεί να θεωρηθεί ότι χρίζει προστασίας. Μία από τις πλέον αναπτυσσόμενες τεχνολογίες στον κλάδο της ασφάλειας είναι η βιομετρία. Πλέον, η βιομετρία θεωρείται η πιο προηγμένη μέθοδος ταυτοποίησης και πιστοποίησης της ταυτότητας ενός ατόμου. Ο λόγος για τον οποίο την καθιστά υπερέχουσα έναντι άλλων μεθόδων είναι η χρήση φυσικών ή γενετικών χαρακτηριστικών των ίδιων των ατόμων όπως τα δακτυλικά αποτυπώματα, η ίριδα του ματιού, τα χαρακτηριστικά του προσώπου, το DNA κα. Ένας επιπλέον δευτερεύων λόγος, για τον οποίο η βιομετρία προτιμάται είναι η ευκολία με την οποία μπορεί να εφαρμοσθεί και να χρησιμοποιηθεί σε εμπορικά συστήματα όπως κινητά τηλέφωνα, και φορητοί ηλεκτρονικοί υπολογιστές σε σχέση με μεθόδους όπως είναι οι κωδικοί ή τα μοτίβα. Η παρούσα πτυχιακή εργασία, μελετά δύο από τις βιομετρικές μεθόδους ταυτοποίησης, που είναι η αναγνώριση προσώπου και η αναγνώριση φωνής. Στο κομμάτι του εντοπισμού προσώπου χρησιμοποιήθηκε η ανοιχτού κώδικα εργαλειοθήκη OpenFace, στο κομμάτι της αναγνώρισης προσώπου η μέθοδος της ανάλυσης κυρίων συνιστωσών (PCA) και στο κομμάτι της αναγνώρισης φωνής οι συντελεστές συχνότητας Ceptrum του Mel (Mel-Frequency Ceptrum Coefficients, MFCC). Η εργασία εστιάζει στην μελέτη και σύγκριση μεθόδων που βασίζονται σε δύο μονοτροπικά μοντέλα ταυτοποίησης (unimodal model), αναγνώρισης προσώπου και αναγνώρισης φωνής και σε ένα πολυτροπικό μοντέλο ταυτοποίησης (multimodal model) όπου συνδυάζει τα δύο παραπάνω. Επίσης γίνεται ανάπτυξη δύο διαφορετικών αλγοριθμικών μεθόδων αναγνώρισης προτύπων, του ταξινομητή ομοιότητας και του νευρωνικού δικτύου.

In the 21st century, security is undoubtedly one of the main issues of employment and research of government agencies, business groups and individuals where they want to protect data integrity, the integrity of people and anything that can be considered as requiring protection. One of the most advanced technologies in the security industry is biometrics. Now, biometrics is considered to be the most advanced method of identifying and certifying the identity of a person. The reason why it renders it superior to other methods is the use of natural or genetic features of people like fingerprints, eye iris, facial features, DNA, and others. An additional secondary reason for which biometrics is preferred is the convenience with which it can be applied and used in commercial systems such as mobile phones and laptops in relation to methods such as codes or motifs. This diploma thesis explores two of the biometric identification methods, namely facial recognition and voice recognition. In the part of face detection was used the open source code toolkit OpenFace, in the part of face recognition the method of principal component analysis (PCA) and in the part of voice recognition the Mel-Frequency Ceptrum Coefficients (MFCC). The paper focuses on the study and comparison of methods based on two unimodal models, face recognition and voice recognition, and a multimodal model combining the two above. It also develops two different algorithmic pattern recognition methods, the similarity classifier and the neural network.