Οπτικοποίηση εκφραστικών αποκλίσεων κατά τη μουσική εκτέλεση.

Abstract

Η μουσική ερμηνεία αφορά στη εκ προθέσεως απόκλιση της μουσικής εκτέλεσης από το σχεδιασμό του συνθέτη όπως αυτός καταγράφεται και διανέμεται μέσω σημειογραφίας, για παράδειγμα μέσω της παρτιτούρας ενός μουσικού έργου. Για την περίπτωση της μουσικής που είναι προσημειωμένη και δεν βασίζεται στον αυτοσχεδιασμό, η μουσική έκφραση εκδηλώνεται με τη χρήση ανεπαίσθητων αποκλίσεων στο tempo, τη δυναμική και την άρθρωση κατά τη διάρκεια της μουσικής εκτέλεσης. Η παρούσα εργασία παρουσιάζει μία εφαρμογή που ονομάζεται FlameCens και η οποία, δοθέντων δύο ηχογραφήσεων του ίδιου μουσικού έργου, κατά κανόνα εκτελεσμένων από διαφορετικούς εκτελεστές, οπτικοποιεί τις αποκλίσεις στο tempo και τη δυναμική κατά τη διάρκεια της αναπαραγωγής του έργου. Η εφαρμογή μπορεί επίσης να συγκρίνει μία συγκεκριμένη ερμηνεία με την αντίστοιχη παρτιτούρα (δοσμένη σε μορφή MIDI). Καθώς η παρτιτούρα θεωρείται ως η εκφραστικά ουδέτερη αναπαράσταση ενός μουσικού έργου, η εφαρμογή σε αυτή την περίπτωση απεικονίζει τις εκφραστικές αποκλίσεις που υιοθετούνται από συγκεκριμένους ερμηνευτές. Η εφαρμογή FlameCens χρησιμοποιεί τον αλγόριθμο DTW (Dynamic Time Warping – Αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης) για να συγκρίνει δύο ηχητικές ακολουθίες, με χρήση των ηχητικών χαρακτηριστικών που στη βιβλιογραφία αναφέρονται ως CENS features (Chroma Energy distribution Normalized Statistics). Οι αποκλίσεις αυτές αναπαρίστανται γραφικά με τη μορφή μίας κινούμενης φλόγας, η οποία διαμορφώνεται με χρήση ενός πλήθους σωματιδίων (particles). Το μέγεθος της φλόγας απεικονίζει την απόκλιση στη δυναμική, ενώ η κλίση της φλόγας απεικονίζει την απόκλιση στο tempo έτσι ώστε γρηγορότερο tempo να προκαλεί αλλαγή στην κλίση προς τα δεξιά και αργότερο tempo να προκαλεί αλλαγή στην κλίση προς τα αριστερά. Σταθερή κλίση της φλόγας υποδηλώνει μηδενική απόκλιση στο tempo. Οι αποκλίσεις στο tempo και στις δυναμικές που ανιχνεύονται κατά την αναπαραγωγή, καταγράφονται επιπρόσθετα σε ένα αρχείο κειμένου, επιτρέποντας έτσι την περαιτέρω μουσικολογική διερεύνηση. Επιπλέον, στην περίπτωση της μονοφωνικής μουσικής, ο τόνος των νοτών οπτικοποιείται μέσω του χρώματος των σωματιδίων. Η εφαρμογή FlameCens υλοποιήθηκε στη γλώσσα προγραμματισμού Python και διατίθεται ως λογισμικό ανοιχτού κώδικα στο αποθετήριο GitHub. H εφαρμογή αξιολογήθηκε πειραματικά σε διάφορα μουσικά είδη, όπως στην κλασσική μουσική, στη σύγχρονη, στη jazz και στην pop. Τα αποτελέσματα των πειραμάτων καταδεικνύουν ότι, καθώς η εφαρμογή FlameCens επιτρέπει τη διερεύνηση των εκφραστικών τακτικών που υιοθετούνται από διαφορετικούς εκτελεστές, μπορεί να αποτελέσει ένα χρήσιμο εργαλείο, τόσο για εξειδικευμένο κοινό (μουσικούς και μουσικολόγους), όσο και για τον απλό ακροατή ενισχύοντας την εμπειρία της μουσικής ακρόασης με οπτικά μέσα.

Music interpretation accounts to the way musicians shape their performance by deliberately deviating from composers’ intentions, which are commonly communicated via some form of music transcription, such as a music score. For transcribed and non-improvised music, music expression is manifested by introducing subtle deviations in tempo, dynamics and articulation during the evolution of performance. This paper presents an application, named FlameCens, which, given two recordings of the same piece of music, presumably performed by different musicians, allow visualising deviations in tempo and dynamics during playback. The application may also compare a certain performance to the music score of that piece (i.e. MIDI file), which may be thought of as an expression-neutral representation of that piece, hence depicting the expressive queues employed by certain performers. FlameCens uses the Dynamic Time Warping algorithm to compare two audio sequences, based on CENS (Chroma Energy distribution Normalized Statistics) audio features. Expressive deviations are illustrated in a moving flame, which is generated by an animation of particles. The length of the flame is mapped to deviations in dynamics, while the slope of the flame is mapped to tempo deviations so that faster tempo changes the slope to the right and slower tempo changes the slope to the left. Constant slope signifies no tempo deviation. The detected deviations in tempo and dynamics can be additionally recorded in a text file, which allows for offline investigation. Moreover, in the case of monophonic music, the color of particles is used to convey the pitch of the notes during performance. FlameCens has been implemented in Python and it is openly available via GitHub. The application has been experimentally validated for different music genres including classical, contemporary, jazz and popular music. These experiments revealed that FlameCens can be a valuable tool for music specialists (i.e. musicians or musicologists) to investigate the expressive performance strategies employed by different musicians, as well as for music audience to enhance their listening experience.