Διαδραστική ψηφιακή τέχνη, θεωρία και πράξη.

Abstract

Η πτυχιακή έχει σαν σκοπό την έρευνα πάνω στη διαδικασία μετατροπής ηχητικών δεδομένων σε εικόνα και τη δημιουργία μιας πολυμεσικής διαδραστικής εφαρμογής πραγματικού χρόνου που θα μετατρέπει δεδομένα ήχου σε εικόνα. Η εφαρμογή αυτή θα λειτούργει όπως ένα media player(πλατφόρμα αναπαραγωγής μουσικών κομματιών) η οποία θα συμπεριλαμβάνει και το αντίστοιχο οπτικό υλικό που συναντάμε σχεδόν σε όλες τις εφαρμογές τέτοιου τύπου(όπως winamp, windows media player, i-tunes κ.α.).Πιο συγκεκριμένα μέσω μίας κάμερας με αισθητήρα βάθους θα ανιχνεύεται ό χρήστης από τη στιγμή που θα εισέρχεται στο οπτικό της πεδίο. Με την ολοκλήρωση της ανίχνευσης ο χρήστης θα μπορεί να χειρίζεται διαφορετικές λειτουργίες της εφαρμογής μέσω κάποιων καταστάσεων (modes) με τις κινήσεις των χεριών του (όπως αυξομείωση της έντασης ή αλλαγή του κομματιού).Πέρα από αυτές τις βασικές λειτουργίες, η διεπαφή της εφαρμογής θα περιέχει, επιπρόσθετες πληροφορίες για το κομμάτι που θα λαμβάνονται από τα ID3 tags των αρχείων, αναφορά στην επιλεγμένη κατάσταση(mode), στην οποία θα βρίσκεται ο χρήστης καθώς και buttons(κουμπιά), που μέσω αυτών θα εναλλάσσονται οι καταστάσεις αυτές. Η εφαρμογή ολοκληρώνεται με τη προσθήκη φίλτρων, που θα επιτρέπουν στο χρήστη να επεμβαίνει ηχητικά στο κάθε κομμάτι. Πέρα από το πρακτικό κομμάτι η πτυχιακή έχει σαν σκοπό , να αναλύσει τις διαφορετικές τεχνικές που χρησιμοποιούνται ευρέως πάνω στο τομέα οπτικοποιήσης του ήχου(ή πιο σωστά μετατροπής ήχου σε εικόνα).Ποιοι τομείς επωφελούνται από τη τεχνική αυτή, τι πληροφορίες αντλούν και πως τις εκμεταλλεύονται. Στη συνέχεια θα αναφερθούν οι πιο πρόσφατες εφαρμογές στο χώρο των φορητών συσκευών(tablets και smartphones) και πως τις χειρίζεται ο χρήστης μέσω της οθόνης αφής. Τέλος για την δημιουργία της εφαρμογής θα χρησιμοποιηθεί ο αισθητήρας βάθους(depth sensor) kinect της Microsoft ,για τη διαδραστικότητα του χρήστη με την εφαρμογή και η γλώσσα προγραμματισμού processing η οποία επιτρέπει σε χρήστες να προγραμματίσουν εικόνα, animation και ήχο, παρέχοντας μία πληθώρα επιλογών μέσω των βιβλιοθηκών ήχου που μας παρέχει. Ένα βίντεο με την ολοκληρωμένη εφαρμογή βρίσκεται εδώ https://vimeo.com/84955671

The thesis aims to research the process of converting audio data into visual data and to create a multimedia interactive application. This application will function as a media player which will include the corresponding visual material found in almost all applications of this type ( like winamp, windows media player, i-tunes , etc. ) . More specifically, through a depth sensor, it will detect the user from the moment he/she enters the field of view. With the completion of the user tracking, it will be able to handle different functions of the application through some situations (modes) with gestures (such as modulating the intensity or change the track). Besides these basic functions , the interface of the application will contains additional information of the track to be taken from the ID3 tags of the files , a reference to the selected mode, in which the user is located and buttons ,which will rotate these situations . The application is completed with the addition of a digital bandpass filter , which allow the user to intervene at every sound track. Beyond the practical part the thesis aims to analyze the different techniques that are widely used on field of visualization (or more correctly converting audio to image). Which sectors benefit from this technique, what information are derived and how do we use the to our advantage. Also what are the latest applications in the field of portable devices (tablets and smart phones) and how the user operates them via the touch screen. Finally to create the application Microsoft’s kinect sensor is used, on the interactivity with the app and the programming language processing enables users to program image, animation and sound, providing a plethora of options through its audio libraries. A demo video of the platform can be found at: https://vimeo.com/84955671