Οπτική σημασιολογική ανάλυση βίντεο μουσικών κομματιών με πιάνο.

Abstract

Σκοπός της Πτυχιακής Εργασίας είναι η ανάπτυξη ενός συστήματος που μπορεί να εξάγει πληροφορίες από ένα ήδη καταγεγραμμένο βίντεο το οποίο παρουσιάζει την εκτέλεση ενός μουσικού κομματιού από έναν πιανίστα. Οι πιο σημαντικές από αυτές είναι: ποιο πλήκτρο πατιέται, πότε, για πόσο χρονικό διάστημα και από ποιο δάχτυλο. Ο συνδυασμός εικόνας και πληροφορίας μπορεί να βοηθήσει σημαντικά στην εκμάθηση πιάνο εξ’ αποστάσεως, η οποία γίνεται όλο και πιο δημοφιλής με την εξέλιξη της τεχνολογίας. Μέχρι στιγμής αυτό επιτυγχάνεται με τη χρήση βιντεοκάμερας ή μιας συσκευής εγγραφής midi. Στην πρώτη περίπτωση ο μαθητής έχει μόνο την εικόνα από το βίντεο, ενώ στη δεύτερη μόνο την πληροφορία για τις νότες. Σε γενικές γραμμές, ο κύριος στόχος της πτυχιακής εργασίας είναι η παραγωγή όλων των απαραίτητων πληροφοριών, για την εξ’ αποστάσεως εκμάθηση πιάνο, από την οπτική ανάλυση του βίντεο, χωρίς την ανάγκη υποστήριξης από την τεχνολογία midi.

The purpose of this thesis is to develop a system that can extract information from an already recorded video which presents a piano performance. The most important of these are: which key is played, when, for how long and from which finger. The combination of the image and the information can significantly help to distant piano learning, which becomes increasingly popular with the development of technology. So far this can be achieved using a video camera or a midi recorder. In the first case the student has only the image from video, while in the second only information about the notes. In this context, the main goal of this paper is to produce all of the information required, for distant piano learning, from the visual analysis of the video feed, without any need of midi support.