Σύνθεση ήχου μέσω φασματικών επεξεργασιών σε πραγματικό χρόνο: πάγωμα φάσματος και χρονική/συχνοτική αναδόμηση φάσματος.

Abstract

Η εργασία έχει σαν στόχο να προσφέρει νέες δυνατότητες στη σύνθεση και επεξεργασία του ήχου. Η προσέγγιση στη σύνθεση γίνεται αποκλειστικά σε φασματικό επίπεδο και η λογική της λειτουργίας που εφαρμόζεται είναι ανάλυση – επεξεργασία – ανασύνθεση ήχου σε πραγματικό χρόνο. Έχουν κατασκευαστεί δύο εφαρμογές με αυτή τη μεθοδολογία όπου και στις δυο γίνετε χρήση του αλγορίθμου γρήγορου μετασχηματισμού Φουριέ (FFT) συνδυαστικά με αλγόριθμους επεξεργασίας γραφικών δεδομένων. Το περιβάλλον που αναπτύχτηκαν οι εφαρμογές είναι το πρόγραμμα Max/MSP Jitter 6.0 που υποστηρίζονται όλες οι απαραίτητες υποδομές για την μελέτη και υλοποίηση των αλγορίθμων και των μέσων διεπαφής για την ανάλυση, την επεξεργασία και την ανασύνθεση σε πραγματικό χρόνο. Στην πρώτη εφαρμογή με τίτλο Φασματικό Πάγωμα (spectral freeze), επιλέγονται στιγμιαίες φασματικές πληροφορίες από ένα ηχητικό σήμα ως πάγωμα του φάσματος του στο χρόνο. Στόχος είναι ο μουσικός/χρήστης να μπορεί να συλλέγει κατά την επιθυμία του χροιές από ήχους που θα εισάγει στον αλγόριθμο και έπειτα να τις διαχειρίζεται ελεύθερα δημιουργώντας ένα ηχητικό αποτέλεσμα. Στην δεύτερη εφαρμογή με τίτλο Χρονική/Συχντοική Αναδόμηση Φάσματος (spectral offset) επεξεργάζονται τα φασματικά δεδομένα απευθείας ως προς την χρονική και συχνοτική διάσταση τους. Ο μουσικός/χρήστης θα μπορεί να πραγματοποιεί μεταβολές επάνω στο πλαίσιο ενός φασματογραφήματος με μια ελευθερία κινήσεων. Οι μεταβολές και οι κινήσεις θα τροποποιούν το περιεχόμενο του φασματογραφήματος και ταυτόχρονα το σύστημα συνθέτει το ηχητικό αποτέλεσμα σε πραγματικό χρόνο.

This study aims to offer new capabilities in sound synthesis and sound processing. Approaching the issue entirely on spectral level, the systematic logic that is implemented by the applications is analysis-process-resynthesis. There have been developed two applications that functioning with the methods and properties of the Fast Furrier Transform (FFT) accompanied with graphical data processing algorithms. The applications were developed in the programming environment of Max/MSP and Jitter 6.0. The software provides all the necessary infrastructures to study and develop the algorithms and the interfaces that execute the analysis, the processing and the resynthesis in real time. On the first application, titled Spectral Freezing, the user can select instant spectral frames as a time sustained spectrum. Providing the option to the musician/user to collect timbres from sounds of his choice and conduct them to a final sound result. On the second application titled Spectral Offset, the user can edit the spectral data directly on their time and frequency dimension with live output. The musician/user will be able to modify directly the frame of a spectrogram, this modifications will recreate the contents of the spectrum while the system synthesizes in real time the sound output.