Metoda transformowania muzyki na efekty oświetleniowe

W czasach kiedy koncerty muzyczne oprawione są często wystrojem sceny, migającymi reflektorami, układami choreograficznymi tancerzy, samo wysłuchanie utworu muzycznego z głośników nie zawsze dostarcza wystarczającej satysfakcji. Wielu słuchaczy przyzwyczajonych jest do wideoklipów, w których muzyce towarzyszą atrakcyjne obrazy, zdjęcia, filmy itp. Przedstawiony w tej pracy system automatycznie generuje wizualizacje w przestrzeni 3D w formie efektów oświetleniowych na podstawie plików muzycznych. Tworzone w czasie rzeczywistym przestrzenne figury dodatkowo urozmaicają odbiór muzyki, pozwalają słuchaczowi na odbiór muzyki dodatkowym kanałem przekazu, przez co odbiór ten staje się bogatszy i pełniejszy.

Odbiór muzyki jest w dużej części subiektywny. Zależy od predyspozycji słuchacza, od jego możliwości słuchowych jak i rozwiniętej wyobraźni muzycznej. Zaproponowany system wizualizacji muzyki dostarcza nowej – wizualnej informacji o muzyce, odkrywa to co nie zawsze może być usłyszane. Przekształca muzykę w treść wizualną, która ułatwia i przybliża jej odbiór słuchaczowi.

Poprzednie prace

Wizualizacja muzyki ma różne podejścia, które skupiają się na elementach muzycznych jak wysokość dźwięków, rytm, dynamika, harmonia, barwa dźwięku lub też podejmują próby całościowej analizy formy utworu muzycznego [1], [2]. Smith i Williams [3] do wizualizacji muzyki używają do kolorowanych sfer, które umieszczają w przestrzeni 3D. Charakterystyka tych wizualnych obiektów zależy od cech opisujących dźwięki: wysokości, głośności i barwy. Foote [4] zaprezentował metodę wizualizacji struktury muzyki w czasie. Akustyczne podobieństwo pomiędzy dwoma odcinkami muzycznego nagrania zostało wyliczone i zaprezentowane w dwuwymiarowej przestrzeni. Whitney [5] przy budowie wizualizacji odwołuje się do antycznych zasad harmonii stworzonych przez Pitagorasa, opierających się na stosunkach liczb naturalnych. Próbuje on znaleźć związek między harmonią w brzmieniu i jej wizualizacją. Do przedstawienia muzycznego konsonansu i dysonansu w formie wizualnej używa poruszających się w przestrzeni punktów, których prędkość jest zależna od stosunków liczbowych jednocześnie brzmiących dźwięków. Praca ta była kontynuowana przez Alvesa [6]. Bergstrom, Karahalios i Hart [7] skupiają się na analizie harmonicznych aspektów muzyki. Przy pomocy figur o nazwie isochords, wizualizują muzyczne akordy w przestrzeni 2D (Tonnetz coordinate system), która podkreśla konsonans interwałów i akordów. Również Ciuha, Klemenc i Solina [8] podjęli próbę wizualizacji harmonicznej relacji pomiędzy dźwiękami. Stworzona wizualizacja używa trzywymiarowej przestrzeni z liniami przypominającymi perforowaną taśmę papierową, w której kolor zależy od jednocześnie brzmiących dźwięków. Konsonansowe współbrzmienia przedstawiane są kolorami nasyconymi a dysonansowe kombinacje dźwiękowe barwami nienasyconymi. Isaacson w swojej pracy [9] przedstawił zestawienie wybranych metod wizualizacji muzyki zarówno prezentujących zawartość plików dźwiękowych jak i służących do analizy formy muzycznej.

Wizualizacja z użyciem AKWETów

W niniejszej pracy przedstawiono nowe podejście do tworzenia wzorców potrzebnych do wizualnej analizy treści muzycznych. Główne kryterium syntezy tych wzorców stanowi treść harmoniczna. Oprócz tego, że jest ona w ścisłym merytorycznym związku z treścią utworu muzycznego, bardzo istotnym elementem tej koncepcji jest odwzorowanie podstawowych elementów treści harmonicznej w przestrzennych figurach. Zostały one nazwane przez autora AKWETami. Nadano im rolę wzorców do rozpoznawania i wizualnej analizy treści muzycznych. Warto zwrócić uwagę na to, że kolejność zidentyfikowanych w danej frazie muzycznej wzorców tworzy sensowną sekwencję wizualną, powiązaną czasowo z pierwowzorem muzycznym.

Metoda tworzenia figury AKWET

Na treść harmoniczną utworu składają się akordy, przyporządkowane kolejnym odcinkom utworu muzycznego. Rozpatrzmy akord składający się z trzech dźwięków. Ponieważ każdy ton muzyczny można przedstawić – w uproszczeniu – jako idealną sinusoidę o częstotliwości f, opisujemy każdy składnik akordu Ak funkcją sinusoidalną Si(t) o częstotliwość fi Przyporządkowując każdą z otrzymanych funkcji jednej z osi X, Y i Z układu kartezjańskiego {U}, budujemy figurę przestrzenną, odpowiadającą akordowi Ak:

Dla tak otrzymanej figury przyjmujemy nazwę: AKWET = AkkordWertETalon. Nazwa AKWET powstała ze złożenia następujących słów: akord (niem. Akkord), wartość (niem. Wert) i wzorzec (fr. Etalon).

Można opisać powstanie każdego AKWETu jako wynik ruchu punktu P, którego przestrzenne położenie określają wartości funkcji Si(t), podane odpowiednio na osiach X, Y i Z (Rys. 1).

Każdej osi układu {U} (X, Y i Z) przyporządkowujemy sygnał sinusoidalny Si(t) o częstotliwości fi, gdzie i=1,2,3. Sygnały te odwzorowują poszczególne składniki wzorca. Jeżeli poddamy równocześnie dyskretyzacji sygnały Si(t) za pomocą częstotliwości próbkowania F >> fi, otrzymamy ciąg próbek, którego każdy element rozpatrujemy jako trzyskładnikowy wektor, determinujący pozycję punktu Pj. Współrzędne pojedynczego punktu Pj, które są wyliczane na podstawie wspólnego czasu t i funkcji sygnałów Si(t), można zapisać następująco:

Rys.1. Tworzenie obrazu przykładowego wzorca muzycznego

AKWET jest figurą przestrzenną i okresową (Rys. 1), a jej okres zależny jest od wartości sygnałów składowych. Budowa AKWETu, opiera się na zasadzie podobnej do tej, na podstawie której budowane są figury Lissajous [10]. Jednak istotną różnicą w tym podejściu jest fakt, że: po pierwsze, otrzymane figury są przestrzenne, a po drugie, służą one do wizualizacji i analizy harmonicznych treści muzycznych.

Wizualizacja akordów 4-dźwiękowych

W przypadku akordów 4-dźwiekowych danymi wejściowymi są 4 częstotliwości f1, f2, f3, f4 odpowiadające czterodźwiękowemu akordowi (np. E1 G1 B1 D2, Rys. 3). Z danych wejściowych utworzono 4 różne 3-elementowe kombinacje. Każda z nich została wykorzystana do utworzenia odrębnego AKWETu. Rezultatem wizualizacji jest obraz składający się z 4 figur trójwymiarowych A1, A2, A3, A4 typu AKWET.

Z tego względu, iż każda z figur A1-A4 jest figurą przestrzenną do zaprezentowania całego obrazu zastosowano również przestrzeń 3D, w której umieszczono poszczególne AKWETy. Rozmieszczenie figur A1-A4 w przestrzeni 3D przedstawia Rys. 2. Wszystkie płaszczyzny XZ układów współrzędnych poszczególnych figur są umieszczone we wspólnej dla wszystkich figur płaszczyźnie XZ, a ich wierzchołki tworzą kwadrat w tej płaszczyźnie. Punkt widzenia obserwatora obrazu jest w dodatniej przestrzeni całego układu XYZ. Figury rysowane są z użyciem perspektywy sprawiającej, że obiekty położone dalej od obserwatora są mniejsze a bliżej – większe. Dzięki temu przedstawienie całego układu AKWETów jest bardziej realistyczne.

Poniżej został zaprezentowany kompleks figur otrzymany za pomocą wyżej przedstawionej metody (Rys. 4). Danymi wyjściowymi były dźwięki akordu C91: E1 G1 B1 D2, które przedstawione zostały w zapisie nutowym (Rys. 3).

Wizualizacja akordów 5-dźwiękowych

Analogiczną metodę jak przy wizualizacji akordów 4-dźwiękowych zastosowaną w przypadku budowy figur z akordów 5-dźwiękowych. Z danych wejściowych (5 częstotliwości) utworzono 10 różnych 3-elementowych kombinacji. Każda z nich została wykorzystana do utworzenia odrębnego AKWETu. Rezultatem wizualizacji jest obraz składający się z 10 figur trójwymiarowych A1-A10 typu AKWET. Rozmieszczenie figur A1-A10 w przestrzeni 3D przedstawia Rys. 5.

Rysunek 7 prezentuje kompleks figur otrzymany za pomocą wyżej przedstawionej metody. Danymi wyjściowymi były dźwięki akordu C9: C1 E1 G1 B1 D2, które przedstawione zostały w poniższym zapisie nutowym (Rys. 6).

Rys.5. Przestrzeń do budowania 10 AKWETów

Korelacje między kształtem AKWETów a brzmieniem akordów

Klasyczna teoria muzyki używa dwóch podstawowych tonacji (durowej i molowej) do określenia typu skali, w jakim utwór muzyczny został napisany. Reprezentowane są one przez akord durowy i molowy, których brzmienie różni się znacząco i w uproszczeniu można powiedzieć, że durowy jest wesoły a molowy smutny [11]. Powyższe daje uzasadnienie, aby uznać te dwa akordy jako podstawowe wzorce AKWETu.

Okazuje się, iż figury odpowiadające akordom durowym i molowym różnią się od siebie w sposób zasadniczy. Forma durowego akordu (Rys. 8a) jest zdecydowanie prostsza, czystsza i przejrzysta. Akord molowy (Rys. 8b) natomiast odwzorowuje się formą skomplikowaną, wielopłaszczyznową i mimo prawidłowego kształtu, trudniej ją skojarzyć ze spokojem.

Podsumowanie

Przedstawiona w niniejszej pracy metoda wizualizacji muzyki poprzez zaproponowaną formę i kształt figur umożliwiła słuchaczowi obserwację treści akustycznych. Zaproponowany wizualny konsonans i dysonans wyrażony został w złożoności generowanych przestrzennych figur - AKWETów. Ich kształt i regularność odzwierciedla napięcia w brzmieniu odpowiadających im akordom. Im więcej dysonansu w muzyce, tym bardziej skomplikowane i „zamazane” są wizualne obrazy. Im bardziej brzmienia są konsonansowe, tym figury są prostsze i przejrzyste. Powtarzalność fraz, motywów i akcentów w muzyce odzwierciedlona jest powtarzającymi się przestrzennymi figurami, które tworzą motywy i frazy.

LITERATURA

[1] Sapp, C., Visual Hierarchical Key Analysis, ACM Computers in Entertainment, Vol. 4 (2005), No. 4
[2] Wu, H., Bello, J.P., Audio-based music visualization for music structure analysis, Sound and Music Computing Conference, Barcelona (2010)
[3] Smith, S.M., Williams, G.N., A visualization of music. In VIS'97: Proceedings of the 8th conference on Visualization (1997), 499-503
[4] Foote, J., Visualizing music and audio using self-similarity. In ACM Multimedia99 (1999), 77-80
[5] Whitney, J., Digital Harmony: On the Complementarity of Music and Visual Art, New York: Byte Books (1980)
[6] Alves, B., Digital Harmony of Sound and Light. Computer Music Journal, Vol.29 (2005), No.4, Massachusetts Institute of Technology
[7] Bergstrom, T., Karahalios, K., Hart. J. C., Isochords: Visualizing structure in music, In GI'07: Proceedings of Graphics Interface (2007), 297-304
[8] Ciuha, P., Klemenc, B., Solina, F., Visualization of concurrent tones in music with colour, ACM Multimedia 2010 International Conference, Firenze (2010)
[9] Isaacson, E. J., What you see is what you get: on visualizing music, In ISMIR (2005), 389-395
[10] Shatalov, M.I., Calculation of errors in comparing frequencies by means of Lissajous figures, Measurement Techniques, Vol. 2 (1959), No. 3, 215-218
[11] Sikorski, K., Harmonia, Polskie Wydawnictwo Muzyczne, Krakow (1965)

Autor: dr inż. Jacek Grekow

Politechnika Białostocka, Wydział Informatyki, e‑mail: [email protected]