Ανάπτυξη διαδραστικού συστήματος ομαδικής μουσικής εκτέλεσης.

Abstract

Ο σκοπός της εργασίας αυτής είναι η δημιουργία ενός ομαδικού διαδραστικού μουσικού συστήματος, το οποίο θα μεταφράζει την κίνηση και την εκφραστικότητα των ολόσωμων κινήσεων των χρηστών του σε ήχο και μουσική. Εκτός από την απευθείας διάδραση του κάθε χρήστη με το ψηφιακό σύστημα η εφαρμογή ευελπιστεί να ενθαρρύνει και την μεταξύ των χρηστών αλληλεπίδραση. Για το σκοπό αυτό χρησιμοποιείται στην εφαρμογή ένα επιπλέον άτομο, ως άτομο αναφοράς. Ο κάθε χρήστης/εκτελεστής της ομάδας ελέγχει ένα ξεχωριστό μουσικό ηλεκτρονικό όργανο με της κινήσεις του σώματός του, ενώ ο τρόπος που σχετίζονται μεταξύ τους στο χώρο σε συνδυασμό με τις κινήσεις του "χρήστη αναφοράς" επιτρέπει τον έλεγχο στο συνολικό ηχητικό αποτέλεσμα. Στη συγκεκριμένη εφαρμογή έχει δοθεί βαρύτητα στην ελαχιστοποίηση παρεμβολών από τη χρήση αισθητήρων απευθείας στο σώμα των χρηστών, οι οποίοι συχνά παρεμποδίζουν την κίνησή τους λόγω καλωδίων και άλλων εξαρτημάτων. Για το λόγο αυτό γίνεται χρήση βιντεοκάμερας τοποθετημένης απέναντι από τη σκηνή, η οποία και οριοθετεί την περιοχή λειτουργίας της εγκατάστασης. Στη συνέχεια, η μετάφραση των κινήσεων των χρηστών σε παραμέτρους εκφραστικότητας γίνεται χρησιμοποιώντας τεχνικές ψηφιακής ανάλυσης δισδιάστατης (κινούμενης) εικόνας βίντεο σε πραγματικό χρόνο. Η υλοποίηση της εργασίας αφορά στην ανάπτυξη ενός προγράμματος με την ονομασία “Bread”, που αποτελείται από τους αλγορίθμους υπολογισμού ενός πλήθους χαρακτηριστικών μεγεθών κίνησης (σε πραγματικό χρόνο) που αντιπροσωπεύουν στοιχεία εκφραστικότητας των χρηστών, τους αλγορίθμους σύνθεσης των πρωτότυπων παραγόμενων ήχων, καθώς και το αντίστοιχο γραφικό περιβάλλον χρήσης του προγράμματος.

The current dissertation aims to the creation of a collaborative interactive music system, which will translate motion and the expressional content of its users’ full body movements to sound and music. Beside the direct interaction between each individual user and the computer, the system aims to encourage group interaction too, i.e. the interaction between the users themselves. This is facilitated by the use of an additional user/performer, who acts as a reference. Thus, each user of the group controls an electronic instrument with his individual motion, while an additional user, the “reference user”, will have control over the total sound outcome. In this application we have paid attention on minimizing the interference problems related to placing sensors directly onto the users’ bodies, which often impede their movement due to cables and other accessories. For this reason we choose the use of a video camera placed across the scene, which thus frames the working space of the installation. Consequently, the translation of the users’ movements to parameters of artistic expression is succeeded by using real-time two-dimensional digital image analysis methods from streaming video. The implementation in this project involves the development of a software called “Bread”, which includes algorithms for the calculation of a number of movements parameters (in real-time) which represent the users’ expressional elements, the algorithms for original audio synthesis, as well as the appropriate G.U.I. for handling the program.