Αυτόματη μίξη ηχογραφήσεων παραγόμενες από χρήστες που παρακολουθούν το ίδιο δημόσιο γεγονός.

Abstract

Η εργασία αυτή προτείνει τρόπους για τη συνδυαστική αξιοποίηση της ακουστικής πληροφορίας από καταγραφές παραγόμενες από χρήστες φορητών συσκευών (User Generated Recordings – UGRs) που παρακολουθούν το ίδιο δημόσιο γεγονός. Μέχρι σήμερα, έχει προταθεί ένα πλήθος από τεχνικές για την ομαδοποίηση αυτών των καταγραφών και για την τοποθέτησή τους σε ένα κοινό χρονικό άξονα. Η παρούσα εργασία εστιάζει στο μετέπειτα κομμάτι επεξεργασίας, αυτό της μίξης των ηχογραφήσεων, με σκοπό την παραγωγή ενός νέου ηχητικού αρχείου που συνδυάζει την ακουστική πληροφορία από όλες τις διαθέσιμες ηχητικές καταγραφές. Το πρώτο βήμα πριν τη μίξη είναι η κανονικοποίηση των ηχογραφήσεων, η οποία αποσκοπεί στο να φέρει το πρωτογενές υλικό σε μία κοινή στάθμη σήματος. Αφού τα αρχεία κανονικοποιηθούν, ακολουθεί η διαδικασία της μίξης. Για να αντιμετωπιστεί το γεγονός ότι το πλήθος των διαθέσιμων ηχογραφήσεων μεταβάλλεται με το χρόνο, είναι απαραίτητος ο προσδιορισμός χρονικά μεταβαλλόμενων βαρών μίξης, τα οποία προσαρμόζονται ανάλογα με το πλήθος των ηχογραφήσεων που συμμετέχουν στη μίξη ανά πάσα χρονική στιγμή. Προτείνουμε μια μεθοδολογία για τον αυτόματο προσδιορισμό αυτών των βαρών η οποία βασίζεται στην υπόθεση της ανεξαρτησίας των ηχητικών καταγραφών από διαφορετικούς χρήστες. Η αξιολόγηση της όλης υλοποίησης έγινε μέσα από ειδικά σχεδιασμένο ακουστικό τεστ το οποίο σχεδιάστηκε έχοντας ως βάση πραγματικές ακουστικές καταγραφές χρηστών από διάφορα δημόσια γεγονότα. Τα αποτελέσματα του τεστ αναδεικνύουν την αποτελεσματικότητα της προτεινόμενης τεχνικής.

This thesis presents a technique for the synergistic exploitation of the audio recordings that are produced by users of mobile devices (User Generated Recordings – UGRs) attending the same public event. Until today, several techniques have been presented on how to group UGRs from the same event and how to align then along the same temporal axis. Assuming a collection of correctly synchronized UGRs, the focus of this thesis is on how to mix the available recordings with the scope to produce a new audio stream of increased duration and improved quality. A first step before mixing is the normalization of the recordings, which aims to bring the audio signals at a common level. After normalization, the mixing process follows. As UGRs start and stop at arbitrary time instants, a mixing technique based on time-varying gains is proposed, derived as a function of the number of UGRs that participate in the mixing process at each point in time. We propose a methodology for the automatic calculation of these gains based on the assumption of independence between the UGRs. A specially designed listening test was designed based on real UGRs from different public events. The results of the test verify the suitability of the presented approach for automatic mixing of UGRs.