A stereo sonic interaction system triggered by impact sounds.

Abstract

Sonic interaction is an active research field with applications in video games, smart homes and music performance. It allows for both tangible and intangible control through a wide variety of electroacoustic transducers that lend themselves to use in such systems. Traditionally, sonic interaction systems rely on machine learning methods to recognise the gestural stimuli, and thus require a large database for the training phase which sometimes may burden the end user. In this Thesis, the problem of sonic interaction is studied from the perspective of a system that has a stereo audio capturing system, e.g. two microphones. Particularly, a system comprised of an energy detector and a Time-Difference-of-Arrival (TDoA) estimator is implemented and tested, assuming a user that produces impulsive gestures, at different locations, as stimuli. The Thesis presents the theoretical background of several energy detectors and TDoA estimators and presents simulation and real-data results obtained under different noise conditions and physical setups. A sonic interaction system with a complete signal processing pipeline is implemented to demonstrate the control of a virtual digital musical instrument with its technical aspects showing excellent results.

Τα συστήματα ηχητικής διάδρασης αποτελούν ένα ενεργό πεδίο έρευνας με εφαρμογές στα βιντεοπαιχνίδια, τα «έξυπνα σπίτια» και την μουσική εκτέλεση. Η διάδραση μέσω ήχου επιτρέπει απτή και άυλη διάδραση με την χρήση πλήθους ηλεκτροακουστικών μετατροπέων που μπορούν να χρησιμοποιηθούν σε τέτοιου είδους συστήματα. Συνήθως, τέτοιου τύπου διαδραστικά συστήματα βασίζονται σε μεθόδους μηχανικής μάθησης για την αναγνώριση των ήχων που παράγονται από το χρήστη, επομένως υπάρχει η ανάγκη εκπαίδευσης του συστήματος πριν από τη χρήση. Σε αυτή την διπλωματική εργασία, το πρόβλημα της ηχητικής διάδρασης εξετάζεται από την σκοπιά ενός συστήματος δύο μικροφώνων. Συγκεκριμένα, υλοποιήθηκε και δοκιμάστηκε ένα σύστημα αποτελούμενο από έναν ανιχνευτή ενέργειας και έναν εκτιμητή διαφοράς χρόνου άφιξης ανάμεσα στα δύο μικρόφωνα, θεωρώντας πως ο χρήστης θα παράγει κρουστικούς ήχους σαν μέσο διέγερσης. Παρουσιάζεται το θεωρητικό υπόβαθρο για διάφορους ενεργειακούς ανιχνευτές και εκτιμητές διαφοράς χρόνου άφιξης καθώς και αποτελέσματα προσομοιώσεων και πραγματικών μετρήσεων όπως αυτά προέκυψαν για διάφορες συνθήκες θορύβου και διατάξεις μικροφώνων. Με βάση κάποιες από αυτές τις τεχνικές υλοποιήθηκε εν τέλει ένα ολοκληρωμένο σύστημα ηχητικής διάδρασης για τον χειρονομιακό έλεγχο ενός ψηφιακού μουσικού οργάνου, με πολύ καλά αποτελέσματα στο τεχνικό κομμάτι.