Design and development of an interaction surface (Audio Tablet) for musical expression and performance.

Abstract

Σκοπός της παρούσας εργασίας είναι η ανάπτυξη και ο σχεδιασμός μίας επιφάνειας αλληλεπίδρασης ως εναλλακτικό μέσο ελέγχου παραμέτρων ηχητικών δειγμάτων σε πραγματικό χρόνο. Στοχεύουμε στη δημιουργία ενός μέσου ελέγχου του ήχου, αλλά και παραμέτρων αυτού, από έναν ή περισσότερους χρήστες που έχουν το ρόλου του εκτελεστή, αλλά μπορούν και να παρέμβουν στα ηχητικά δείγματα που χρησιμοποιούν χωρίς να κρίνεται αναγκαία η γνώση ηχοληψίας. Το πρακτικό μέρος της εργασίας μας περιλαμβάνει την κατασκευή μιας επιφάνειας εργασίας, στην οποία ο χρήστης θα μετακινεί μικρούς κύβους, οι οποίοι θα αντιστοιχούν σε αυτόνομα αρχεία ήχου. Η μετακίνησή τους πάνω στην επιφάνεια θα αντιστοιχεί σε αλλαγή κάποιων ηχητικών παραμέτρων και α ανιχνεύεται με τη χρήση μίας απλής web κάμερας. Πιθανή εφαρμογή αυτής της ιδέας θα αφορά στην αλλαγή της χωροτοποθέτησης του ήχου και στην επιλογή των audio samples που αντιστοιχούν στους κύβους, καθώς και σε άλλες παραμέτρους τους, όπως η αλλαγή της έντασης κάθε ηχητικού δέιγματος ξεχωριστά ή η προσθήκη reverb για καλύτερη αίσθηση του χώρου.

The aim of my project will be to develop an alternative interface for musical expression and performance, which will be intended for non-expert users, i.e. with no sound engineering or music background. In specific, one or more users (the audience) that will act as the performer/s will be able to select audio samples and control their parameters in real-time. In this way, we encourage the individual- or multiple-users’ music creation. I believe that the haptic element for the control of the audio parameters and the acoustic and visual feedback are able to create an effective, for this purpose, interactive system. The practical part of my project will include the creation of an interaction surface (audio tablet). On the surface area the user will be able to move small cubes. Each cube will be connected to a single sampler and the user will have the opportunity to load each cube with different audio samples. Their movement on the surface area will correspond to the modification of certain sound parameters and will be detected with the use of one simple web camera. A possible application of this basic idea may concern the samples’ diffusion in space, as well as the control of other parameters, such as volume, or reverb for a better representation of the space. The aim of this project is to develop a low-cost system, which will be easy to use also by non-expert people. The possible use of this system by children and people with special needs (kinetic or mental limitations) remains an open issue.