Ανάπτυξη πλατφόρμας μετατροπής τρισδιάστατης εικόνας σε ήχο (3D Image-to-Sound Mapping).

Abstract

Η πτυχιακή αυτή αποσκοπεί στη δημιουργία μίας πολυμεσικής διαδραστικής εφαρμογής για μετατροπή -σε πραγματικό χρόνο- δεδομένων τρισδιάστατης εικόνας, σε ήχο. Χρησιμοποιώντας μια κάμερα με αισθητήρα βάθους, ο χρήστης, μέσω της εφαρμογής, μπορεί να πραγματοποιήσει διαφορετικές ενέργειες σχετικές με τον ήχο. Πιο συγκεκριμένα θα υπάρξει μία λειτουργία σύνθεσης ήχου, στην οποία τα δεδομένα από τον αισθητήρα θα μετατρέπονται σε ηχητικά κύματα. Μία δεύτερη λειτουργία, θα δέχεται ένα ηχητικό σήμα και κατόπιν αντιστοίχησης των 3D δεδομένων θα έχει σαν έξοδο το σήμα, επεξεργασμένο, ανάλογα με τις κινήσεις του χρήστη. Η τρίτη και τελευταία λειτουργία που θα εξεταστεί, θα χρησιμοποιεί την πλατφόρμα σαν διερμηνέα, ο οποίος θα μεταφράζει τις κινήσεις του χρήστη και θα στέλνει αντίστοιχα σήματα σε εξωτερική εφαρμογή σχετική με ήχο. Κατά τη διάρκεια του σταδίου της ανάλυσης, θα μελετηθούν και θα αξιολογηθούν διάφορες υπάρχουσες τεχνολογίες ανάπτυξης οπτικοακουστικών εφαρμογών. Κατόπιν, αφού γίνει η μελέτη της εφαρμογής, θα παρουσιαστούν νέες προοπτικές οι οποίες ξεκλειδώνονται, με βάση τη πτυχιακή αυτή εργασία. Παρόλο που το θέμα είναι ερευνητικού χαρακτήρα, οι λειτουργίες της πλατφόρμας είναι ψυχαγωγικές και το περιβάλλον της απλό και λιτό - προσβάσιμο σε χρήστες με μηδενική εμπειρία. Κατ αυτόν τον τρόπο, πέρα από τις επικείμενες προοπτικές που θα αναλυθούν, έχουμε έτοιμη για χρήση μια ολοκληρωμένη πολυμεσική εφαρμογή. Για να γίνει η εφαρμογή ακόμη πιο εύκολα προσβάσιμη , η κάμερα η οποία επιλέχθηκε είναι ευρέως διαδεδομένη (Microsoft΄s Kinect) και η γλώσσα προγραμματισμού Processing, στην οποία έγινε η ανάπτυξη, ανεξάρτητη λειτουργικού (platform indepented).

This Diploma Thesis aims at creating an interactive multimedia application for real-time 3D image data-to-sound mapping. Utilizing a depth-sensor camera, the user, through the application can perform various sound-oriented actions. To be more specific, there will be a sound synthesis mode, in which the data obtained from the sensor will be transformed into soundwaves. A second mode, will reproduce a sound signal, and after the 3D data mapping the signal will be sent to the output, edited according to the user's movements. The third -and final- mode is going to utilize the platform as an interpreter that will translate the user's movements into signals and then send them to an external audio program. Throughout the analysis stage, various current audiovisual application development techniques will be studied and evaluated. Then, after the application study, new prospects will be presented. Prospects that are based and became feasible by this Thesis. Despite the research-oriented nature of the project, the functions offered by the platform are entertaining and the environment plain and simple – accessible to users with no previous experience. This way, besides the new prospects that will be examined, we are going to have a complete multimedia application, ready to use. In order for the application to be even more accessible, the camera device selected is widely used (Microsoft΄s Kinect) and the programming language Processing, is platform indepented.