Kategorien-Archiv Lehre

VonEveline Vervliet

Conductor Gesture Recognition via ML techniques

Abstract: Beschreibung des Inertial Motion Tracking Systems Bitalino R-IoT und dessen Software

Verantwortliche: Prof. Dr. Marlon Schumacher, Eveline Vervliet


In this blog, I will explain how we can use machine learning techniques to recognize specific conductor gestures sensed via the the BITalino R-IoT platform in Max. The goal of this article is to enable you to create an interactive electronic composition for a conductor in Max.

For more information on the BITalino R-IoT, check the previous blog article.


This project is based on research by Tommi Ilmonen and Tapio Takala. Their article ‚Conductor Following with Artificial Neural Networks‘ can be downloaded here. This article can be an important lead in further development of this project.

Demonstration Patches

In the following demonstration patches, I have build further on the example patches from the previous blog post, which are based on Ircam’s examples. To detect conductor’s gestures, we need to use two sensors, one for each hand. You then have the choice to train the gestures with both hands combined or to train a model for each hand separately.

Detect static gestures with 2 hands combined

When training both hands combined, there are only a few changes we need to make to the patches for one hand.

First of all, we need a second [bitalino-riot] object. You can double click on the object to change the ID. Most likely, you’ll have chosen sensor 1 with ID 0 and sensor 2 with ID 1. The data from both sensors are joined in one list.

In the [p mubu.gmm] subpatch, you will have to change the @matrixcols parameter of the [mubu.record] object depending on the amount of values in the list. In the example,  two accelerometer data lists with each 3 values were joined, thus we need 6 columns.

The rest of the process is exactly the same as in previous patches: we need to record two or more different static postures, train the model, and then click play to start the gesture detection.

Download Max patch

Download Max patch with training example
Download training data

Detect static gestures with 2 hands separately

When training both hands separately, the training process becomes a bit more complex, although most steps remain the same. Now, there is a unique model for each hand, which has to be trained separately. You can see the models in the [p mubu.gmm-left] and [p mubu.gmm-right] subpatches. There is a switch object which routes the training data to the correct model.

Download Max patch

Download Max patch with training example
Download training data

In the above example, I personally found the training with both hands separate to be most efficient: even though the training process took slightly longer, the programming after that was much easier. Depending on your situation, you will have to decide which patch makes most sense to use. Experimentation can be a useful tool in determining this.

Detect dynamic gestures with 2 hands

The detection with both hands of dynamic gestures follow the same principles as the above examples. You can download the two Max patches here:

Download Max patch mubu.hhmm with two hands combined
Download Max patch mubu.hhmm with two hands separate


The mentioned tools can be used to detect ancillary gestures in musicians in real-time, which in turn could have an impact on a musical composition or improvisation. Ancillary gestures are „musician’s performance movements which are not directly related to the production or sustain of the sound“ (Lähdeoja et al.) but are believed to have an impact both in the sound production as well as in the perceived performative aspects. Wanderley also refers to this as ‘non-obvious performer gestures’.

In a following article, Marlon Schumacher worked with Wanderley on a framework for integrating gestures in computer-aided composition. The result is the Open Music library OM-Geste. This article is a helpful example of how the data can be used artistically.

Links to articles:

  • Marcelo M. Wanderley – Non-obvious Performer Gestures in Instrumental Music download
  • O. Lähdeoja, M. M. Wanderley, J. Malloch – Instrument Augmentation using Ancillary Gestures for Subtle Sonic Effects download
  • M. Schumacher, M. Wanderley – Integrating gesture data in computer-aided composition: A framework for representation, processing and mapping download

Detecting gestures in musicians has been a much-researched topic in the last decades. This folder holds several other articles on this topic that could interest.

Links to documentation

Demonstration videos and Max patches made by Eveline Vervliet

Official R-IoT documentation

Max patches by Ircam and other software

The folder with all the assembled information regarding the Bitalino R-IoT sensor can be found here.

This link leads to the official Data Sheet from Bitalino.


VonEveline Vervliet

Inertial Motion Tracking mit BITalino R-IoT

Abstract: Beschreibung des Inertial Motion Tracking Systems BITalino R-IoT und dessen Software

Verantwortliche: Prof. Dr. Marlon Schumacher, Eveline Vervliet

Introduction to the BITalino R-IoT sensor

The R-IoT module (IoT stands for Internet of Things) from BITalino includes several sensors to calculate the position and orientation of the board in space. It can be used for an array of artistic applications, most notably for gesture capturing in the performative arts. The sensor’s data is sent over WiFi and can be captured with the OSC protocol.

The R-IoT sensor outputs the following data:

  • Accelerometer data (3-axis)
  • Gyroscope data (3-axis)
  • Magnetometer data (3-axis)
  • Temperature of the sensor
  • Quaternions (4-axis)
  • Euler angles (3-axis)
  • Switch button (0/1)
  • Battery voltage
  • Sampling period

The accelerometer measures the sensor’s acceleration on the x, y and z axis. The gyroscope measures the sensor’s deviation from its ’neutral‘ position. The magnetometer measures the sensor’s relative orientation to the earth’s magnetic field. Euler angles and quaternions measure the rotation of the sensor.

The sensor has been explored and used by the {Sound Music Movement} department of Ircam. They have distributed several example patches to receive and use data from the R-IoT sensor in Max. The example patches mentioned in this article are based on these.

The sensor can be used with all programs that can receive OSC data, like Max and Open Music.


Max patches by Ircam and other software
│    README.md

Demonstration Videos

In the following demonstration videos and example patches, we use the Mubu library in Max from Ircam to record gestures with the sensor, visualise the data and train a machine learning algorithm to detect distinct postures. The ‚Mubu for Max‘ library must be downloaded in the max package manager.

Mubu.gmm example patch

Detect static gestures with mubu.gmm

First, we use the GMM (Gaussian mixture model) with the [mubu.gmm] object. This model is used to detect static gestures. We use the accelerometer data to record three different hand postures.

Download Max patch


Detect dynamic gestures with mubu.hhmm

The HHMM (hierarchical hidden Markov model) can be used through the [mubu.hhmm] object to detect dynamic (i.e. moving) hand gestures.

Download Max patch


Detect dynamic gestures with Mubu Gesture Follower

The Gesture Follower (GF) is a separate tool from the Mubu library that can be used in gesture recognition applications. In the following video, the same movements are trained as in the Mubu.hhmm demonstration so we can easily compare both methods.

Download Max patch


Gesture detection and vocalization with Mubu in Max for the Bitalino R-IoT

The [mubu.xmm] object uses hierarchical multimodel hidden Markov models for gesture recognition. In the following demonstration video, gestures and audio is recorded simultaneously. After training, a gesture will trigger its accompanying audio recording. The sound is played back via granular or concatenative synthesis.

Download Max patch with granulator
Download Max patch with concatenative synthesis

Download static training data
Download dynamic training data


Links to documentation

Demonstration videos and Max patches made by Eveline Vervliet

Official R-IoT documentation

The folder with all the assembled information regarding the Bitalino R-IoT sensor can be found here.

This link leads to the official Data Sheet from Bitalino.

Videos from Ircam

An example of an artistic application from Ircam on YouTube

VonJakob Schreiber

Spatiale Transformation des Stückes »Ode An Die Reparatur«

Abstract: Der Eintrag beschreibt die Spatialisierung des Stückes »Ode An Die Reparatur« (2021) und dessen Transformation in eine Higher Order Ambisonics Version. Ein binauraler Mix des fertigen Stückes ermöglicht es, den Arbeitsprozess anhand des Ergebnisses nachzuvollziehen.

Betreuer: Prof. Dr. Marlon Schumacher

Ein Beitrag von: Jakob Schreiber


Das Stück »Ode An Die Reparatur« (2021) besteht aus vier Sätzen, von denen jeder sich auf einen anderen Aspekt einer fiktiven Maschine bezieht. Interessant an diesem Prozess war es, den Übergang von Maschinenklängen in musikalische Klänge zu untersuchen und über den Verlauf des Stückes zu gestalten.


Die Produktions-Ressourcen des Stückes waren einerseits ein UHER-Tonbandgerät, welches einfache Repitch-Veränderungen ermöglicht und durch seine Funktionsweise mit Motoren und Riemen für die Umsetzung dieses an mechanische Maschinen angelehnten Stückes prädestiniert war. Außerdem kam SuperCollider als digitale Klangsynthese- und Verfremdungsumgebung zum Einsatz.


Das Stück besteht aus vier Sätzen.

Erster Satz

Das Tonmaterial des Beginns setzt sich aus verschiedenen Aufnahmen eines Tonbandgerätes zusammen, über welches neben Stille klar hörbare, synthetisierte Motoren-Klänge abgespielt werden.

Zweiter Satz

Die zu manchen Teilen an Vogelgezwitscher erinnernden Klangobjekte treten teils unvermittelt aus steriler Stille in den Vordergrund.

Dritter Satz

Die perforative Charakteristik im inneren eines Zahnradgetriebes transformiert sich im Verlauf des Satzes zu tonal ausgebildeten Resonanzen.

Vierter Satz

Im letzten Satz spielen die Motoren eine monumental anmutende Abschluss-Hymne.


Angelehnt an die kompositorische Form des Stückes halten sich die Spatialisierungs-Entwürfe an die Unterteilung in Sätze.


Der Arbeitsprozess lässt sich, ähnlich wie der OM-Patch, in verschiedene Bereiche aufteilen. Im Labor-Abschnitt erforschte ich verschiedene Spatialisierungsformen auf ihre Ästhetische Wirkung hin und untersuchte deren Übereinstimmung mit der kompositorischen Form des bereits bestehenden Stückes.

Um verschiedene Trajektorien, oder feste Positionen von Klangobjekten zu ermitteln spielte neben der auditiven Wirkung auch die visuelle Einschätzung der jeweiligen Trajektorien eine wichtige Rolle.

Letztendlich wurden die Paramter der bereits vorausgewählten Trajektorien mit einem Streuungsverlauf ergänzt, fein justiert und schließlich über eine Kette aus Modulen in ein Higher Order Ambisonics Audiofile fünfter Ordnung transformiert.

In Iterativer Weise werden die synthetisierten Mehrkanal-Dateien in REAPER in das Gesamtgefüge eingepflegt und deren Wirkung untersucht, bevor sie mit einem optimierten Set an Parametern und Trajektorien noch einmal den Syntheseprozess durchlaufen.

Näheres zu den einzelnen Sätzen

Zunächst kann hier die binaurale Version des spatialisierten Stückes als ganzes angehört werden. In der Folge werden kurz die Herangehensweisen der einzelnen Teile beschrieben

Alex Player - Best audio player


Erster Satz

Die lange gezogenen, wie Schichten übereinander liegenden Klanwolken bewegen sich im ersten Teil dem Grundtempo des Satzes entsprechend. Die Trajektorien liegen dabei in der Summe U-förmig um den Hör-Bereich, wobei sie nur die Seiten und Vorderseite abdecken.

Zweiter Satz

Einzelne Klang-Objekte sollen aus sehr verschiedenen Positionen zu hören sein. Nahezu perkussive Klänge aus allen Richtungen des Raumes lassen die Aufmerksamkeit der Hörer*in springen.

Dritter Satz

Das klangliche Material des Teiles ist eine an den Klang von Zahnrädern, oder eines Getriebes angelehnte Klangsynthese. Das Augenmerk hierbei lag in der Immersion in die fiktive Maschine. Aus eben diesem Klangmaterial entstehen durch Resonanzen und andere Veränderungen liegetöne, die sich zu kurzen Motiven aneinander reihen.

Das Spatialisierungskonzept für diesen Teil setzt sich aus beweglichen und teilweise statischen Objekten Zusammen. Die beweglichen erschaffen zu Beginn des Satzes eine Anmutung von Räumlichkeit Immersion. Zum Ende des Satzes kommen zwei verhätnismäßig statische Objekte links und rechts der Stereobasis hinzu, die vor allem die melodie-haften Aspekte des Klanges hervorheben und an ihrer jeweiligen Position lediglich flüchtig auf der vertikalen Achse oszillieren.

Vierter Satz

Die Instrumentierung dieses Teiles des Stückes setzt sich aus drei Simulationen eines Elektromotors zusammen, die jeweils eine Eigene Stimme verfolgen. Um die einzelnen Stimmen noch etwas besser voneinander zu trennen, entschied ich mich dazu, jeden der vier Motoren als einzelnes Klangobjekt zu behandeln. Um den monumentalen Charakter des Schlussteils zu unterstützen, bewegen sich die Objekte dabei nur sehr langsam durch den fiktiven Raum.


VonMila Grishkova

Komposition in 3D Audio (Ambisonics 5. Ordnung)

In diesem umfassenden Artikel werde ich den Schaffensprozess meiner Komposition beschreiben, um meine Erfahrung im Zuge der Mehrkanal-Bearbeitungen zu präsentieren. Die Komposition habe ich im Rahmen des Seminars „Visuelle Programmierung der Raum/ Klangsynthese (VPRS)“ bei Prof. Dr. Marlon Schumacher an der HFM Karlsruhe produziert.


Betreuer:: Prof. Dr. Marlon Schumacher
Eine Studie von Mila Grishkova
Somersemester 2022
Hochschule für Musik, Karlsruhe

Das Ziel

Das Ziel meiner Projektarbeit war es, eine komplette Erfahrung mit der Mehrkanal-Bearbeitung zu bekommen.

Ich benutze Klänge um Komposition zu bauen.
Dann realisiere ich das Stück im Format 3D Ambisonics 5. Ordnung (36-Kanal Audiodatei). Ich benutze Mehrkanal-Bearbeitungen mit OM-SoX Spatialisierung/Rendering in Ambisonics mit OMPrisma, hierbei: Dynamische Spatialisierung (hoa.continuous). Die resultierenden Audio Dateien importiere ich in ein entsprechendes Reaper Projekt (Template wird zur Verfügung gestellt (s. Fig 7)). Innerhalb Reaper sind die Ambisonics Audiospuren mit Plugins bearbeitet.

1. Figur & 1. Sound

In der 1. Figur kann man einen OpenMusik Patch erkennen. In dem Patch „Sound1“ befindet sich die Methode Sound1 zum bearbeiten. Ich benutze Sound-voice, dann mache ich eine Transposition (OM sox-transpose, OM sox-normalize), dann benutze ich Verzögerungsleitungen (OM sox-tapdelay). Nächster Schritt ist rückwärts (OM sox-reverse). Dann kann man in Patch Transposition sehen und ich benutze die random-Methode (OM sox-random). Das letzte Element dieses Patches ist die Speed-Bearbeitung (OM sox-speed).


Fg. 1 zeigt OpenMusic Patch Sound1: Dieser Patch zeigt transformation des 1.Sounds

Audio I: der erste Klang

Sound 1


✅ 2. Figur & 2. Sound

In der 2. Figur kann man einen OpenMusik Patch sehen. In dem Patch „Sound2“ befindet sich die Methode „Sound2“ zum bearbeiten. Ich mache die gleiche Manipulationen, wie mit dem 1. Sound, um 2.Sound zu bearbeiten. Die Beschreibung kann man oben lesen.

Fg. 2 zeigt OpenMusic Patch Sound2: Dieser Patch zeigt transformation des 2.Sounds

    Audio II: der zweite Klang

Sound 2


✅ 3. Figur & 3. Sound

In der 3. Figur kann man den OpenMusic Patch „Mix“ sehen. In diesem Patch befindet sich der MixProzess „2 Klänge“ (OM sound-mix), die ich in den letzten 2 Patches beschrieben habe. Ich addiere Pausen (OM sound-silence) und dann wiederhole ich das Klangmaterial 3 mal (OM sound-loop).

Fg. 3 zeigt OpenMusic Patch „Mix“: Dieser Patch zeigt Sound-mix (Sound 1 und Sound 2).

    Audio III: der dritte Klang

Sound 3


✅ 4. Figur & 4. Sound

In der 4. Figur befindet sich der Patch 4, in dem man die Bearbeitung der Komposition von Takasugi „Diary of a Lung“ sehen kann.

Der Komponist Steven Kazuo Takasugi hat seine Musikstuck „Diary of a Lung, version for eighteen musicians and electronic playback“ an der Hochschule für Musik Karlsruhe präsentiert und er hat 2 Toningenieure gesucht, die seine Komposition bei dem Konzert live mit mehreren Kanäle abspielen können.

„Takasugi ist heute einer der renommiertesten Komponisten im Bereich Neue Musik. Seine Arbeit konzentriert sich auf elektroakustische Komposition, meist mit musiktheatralischen Elementen: Sein international gefeiertes Werk „Sideshow“ für Live-Oktett, elektronische Verstärkung und Wiedergabe (2009–2015) ist ein gutes Beispiel. Bemerkenswerterweise umfasst sein Œuvre weniger als zwei Dutzend Werke. Oft arbeitet er jahrelang an einem Stück – umso größer ist die Spannung, mit der jedes neue Stück erwartet wird.“(C)
Herr Takasugi entwickelt seine Musiksprache. Als Komponist, hat Herr Takasugi hat seine Komposition mit einer Konzeption verarbeiten. Die Hauptidee war, dass man muss seinen Körper als ein Instrument benutzen.  Takasugis Projekte zeichnen sich durch eine Bezugnahme nicht nur auf den Inhalt des künstlerischen Ausdrucks (zum Beispiel den Inhalt eines musikalischen Werks), sondern auch auf den Ausdrucksakt (die Tatsache, dass Musik gespielt wird, den Körper des Interpreten, der Atem des Darstellers).
Körperkonzept spielt eine große Rolle in Takasugis Philosophie. Der Körper bringt in dem Prozess die Zeit und hilft in dem Moment (hier und jetzt) sich zu fokussieren. Der Körper hilft, diesen Prozess als meditativen Prozess wahrzunehmen. Um dieses Musikstuck zu produzieren, hat Herr Tahasugi sich und verschiedene Klänge von seinem Körper aufgenommen.
Die Tonregie muss große Verantwortung übernehmen und muss als Instrumentalist die Musik abspielen. Deswegen können diese Arbeit, das Audiosignal an mehrere Kanäle zu schicken, weder eine Machine noch Computer oder Code (lautet Herr Takasugi) übernehmen.
Als Tonregie habe ich dieses Musikstuck gespielt. Genau deswegen war es für mich (als Musikinformatikerin) interessant zu testen, was man in dieser Musik algorithmisieren kann.

Deswegen, habe ich als Teil meines Materials Takasugi’s Musikstuck genommen.

Als Bearbeitungsmethode benutze ich delay (OM sox-tapdelay), dann mache Stereo zu Mono. In Patch „FX“ befinden sich OM sox-phaser, OM sox-tremolo (s. Fg 5).

Fg. 4 zeigt OpenMusic Patch „Takasugi“: Dieser Patch zeigt Bearbeitung des Materials vom Audio Takasugi „Diary of a Lung“

In der nächsten Figur (Fig. 5) kann man den Patch „FX“ sehen.

Fg. 5 zeigt OpenMusic Patch „FX“: Dieser Patch zeigt OM sox-phaser, OM sox-tremolo

    Audio IV: der vierte Klang

Sound 4


✅ 1.Ergebnis

In der 6. Figur sieht man die letzte Bearbeitung. Ich mache einen Mix mit einem Audiomaterial (Mix 2 Sound + Takasugi) und meinem Projekt, welches ich im Rahmen von SKAS realisiert habe. Die Beschreibung des Projekts kann man hier finden.

Fg. 6 zeigt OpenMusic Patch „FinalMix“: Dieser Patch zeigt die letzte Transformation mit der Mono-spur

Das Ergebnis der letzen Iteration ist hier zu hören:

Audio V: der fünfte Klang

Sound 5


✅ 2.Ergebnis (OMPrisma)

Dann habe ich die resultierenden Audio Dateien mit OMPrisma bearbeiten (s. Fig 7).

Hauptidee von Herrn Takasugi ist, dass Komponist (und Musiker) muss sehr persönlich Musik zu produzieren. Man muss „sich“ in der Komposition mitbringen.

Die Idee, dass Man „sich“ in der Komposition mitbringen muss, praktisch bedeutet aber auch, dass man irgendwelche zufällige Elemente mitbringt. Zufällige Elemente sind notwendig: als Menschen wir machen Fehler, wir können was übersehen, oder spontan entscheiden. Ich benutze OM-random um diese zufällige Elemente in der Komposition zu integrieren.


Fg. 7 zeigt OpenMusic Patch „OMPrisma“: Dieser Patch zeigt die Transformation mit HOA.Continuous

Als eine Methode um Komposition zu personifizieren benutze ich meine Name (Mila) als Muster für die Bewegung (s. Fig 8).


Fg. 8 zeigt OpenMusic Objekt „BPF“: Dieses Objekt zeigt mein Name als Muster für die Transformationen.

Dann benutze 3D OpenMusic Objekt. Mann kann auch 3D gut sehen (s. Fig. 9).

Fg. 9 zeigt OpenMusic Objekt „3DC“: Dieses Objekt zeigt die Transformationen.

Mit dem traj-separ Objekt kann man x-, y-, z- Koordinate nach HOA.Continuous schicken. Bei HOA.Continuous kann man auch die Länge der Komposition auszuwählen (im Sek). In meinem Fall steht 240, was 4 Minuten bedeutet.

Dann mit hoa-setup kann man auswählen, welche Klas von HOA man braucht. In meinem Fall ist HOA-setup 5, das bedeutet, dass ich High Order Ambisonic benutze.

Mann kann First Order Ambisonic und High Order Ambisonic unterscheiden. First Order Ambisonic ist eine Aufnahmemöglichkeit für 3D-Sound („First Order Ambisonic“ (FOA)), das aus vier Kanälen besteht und kann u.a. auch in verschiedene 2D-Formate exportiert werden (z. B. Stereo-, Surround-Sound).

Mit Ambisonic höherer Ordnung kann man Schallquellen noch genauer lokalisieren. Mann kann eine genauere Bestimmung des Winkels realisieren. Je höher die Ordnung, desto mehr Sphären kommen dazu.

„The increasing number of components gives us higher resolution in the domain of sound directivity. The amount of B-format components in High order Ambisonics (HOA) is connected with formula for 3D Ambisonics: (? + 1)2 or for 2D Ambisonics 2? + 1 where n is given Ambisonics order“. (C)

✅ Ergebnis OpenMusic Projekts mit OMPrisma kann man ? hier ? als Audio downloaded.
✅ Ergebnis OpenMusic Projekts mit OMPrisma kann man ? hier ? als Code downloaded.


✅ Reaper

Dann habe ich die resultierenden Audio Dateien in ein Reaper Projekt importiert und die Ambisonics Audiospuren mit Plugins bearbeitet und neue Manipulationen gemacht.

Nach dem das Audio material ist in Reaper hinzugefügt, muss man Routing machen. Hauptidee ist, dass 36 Kanäle werden beim ausgewählt und gesendet nach Ambisonic Buss (neuer Spur (s. Fig 10)).

Fg. 10 zeigt Reaper Projekt: Schritt Routing (36 Kanäle), sends nach Ambisonic Bus

✅ Mixing & Plugins

Ich habe die Kodierung des vorbereiteten Materials in das B-Format gemacht, automatisierte dynamische spaialisieung verwendet habe. Ich habe auch dynamische Korrektur (Limiter) gemacht.

Mit Plugins kann man den Sound nach Belieben verändert und verbessert. In der Audiotechnik sind Erweiterungen für DAWs, auch die, die veschidene Instrumente simulieren, oder Hall und Echo hinzufugen. Die habe ich Reaper verwendet:

IEM Plug-in Suite.
ambiX v0.2.10 – Ambisonic plug-in suite.

In dem Spur Ambisonic Bus habe ich (s. Fig 11):
VST: EnergyVisualizer (IEM) (64ch) hinzugefügt.

Fg. 11 zeigt Reaper Projekt: Ambisonic Bus VST Plugin (VST: EnergyVisualizer (IEM) (64ch)).

Dann habe ich mit den PlugIn EQ redaktiert (s. Fig 12). Ich habe:
VST: Multi EQ (IEM) (64ch) hinzugefügt.

Fg. 12 zeigt Reaper Projekt: Spur „VPRS-Projekt“ und VST Plugin (VST: Multi EQ (IEM) (64ch)).

Dann habe ich mit den PlugIn DualDelay delay hinzugefügt (s. Fig 13).
VST: DualDelay (IEM) (64ch).

Fg. 13 zeigt Reaper Projekt: Spur „VPRS-Projekt“ und VST Plugin (VST: DualDelay (IEM) (64ch)).

Dann habe ich zum Master Track JS: ATK FOA Decode Binaural hinzugefügt (s. Fig 14).
JS: ATK FOA Decode Binaural.

Fg. 14 zeigt Reaper Projekt: Spur Master Track mit JS: ATK FOA Decode Binaural .

Dann habe ich zum Master Track mit JS: NP1136 Pea Limiter (s. Fig 15).
JS: ATK FOA Decode Binaural.


Fg. 15 zeigt Reaper Projekt: Spur Master Track mit JS: NP1136 Peak Limiter

Dann habe ich Rendering gemacht (s. Fig 16).
Render to File

Fg. 16 zeigt Reaper Projekt: Render to File

✅ Ergebnis Reaper Projekts kann man ? hier ? (Audio, Reaper Project, OM Code) downloaded.







VonZeno Lösch

Erweiterung der akousmatischen Studie – 3D 5th-order Ambisonics

Dieser Beitrag handelt über die vierte Iteration einer akousmatischen Studie von Zeno Lösch, welche im Rahmen des Seminars „Visuelle Programmierung der Raum/Klangsynthese“ bei Prof. Dr. Marlon Schumacher an der HFM Karlsruhe durchgeführt wurden. Es wird über die grundlegende Konzeption, Ideen, aufbauende Iterationen sowie die technische Umsetzung mit OpenMusic behandelt.

Verantwortliche: Zeno Lösch, Master Student Musikinformatik der HFM Karlsruhe, 2. Semester



Um Parameter zum Modulieren zu erhalten, wurde ein Python-Script verwendet.  

  Dieses Script ermöglicht es ein beliebiges Bild auf 10 x 10 Pixel zu skalieren und die jeweiligen Pixel Werte in eine Text Datei zu speichern. „99 153 187 166 189 195 189 190 186 88 203 186 198 203 210 107 204 143 192 108 164 177 206 167 189 189 74 183 191 110 211 204 110 203 186 206 32 201 193 78 189 152 209 194 47 107 199 203 195 162 194 202 192 71 71 104 60 192 87 128 205 210 147 73 90 67 81 130 188 143 206 43 124 143 137 79 112 182 26 172 208 39 71 94 72 196 188 29 186 191 209 85 122 205 198 195 199 194 195 204 “ Die Werte in der Textdatei sind zwischen 0 und 255. Die Textdatei wird in Open Music importiert und die Werte werden skaliert.      

Diese skalierten Werte werden als pos-env Parameter verwendet.      

Reaper und IEM-Plugin Suite


Mit verschiedenen Bildern und verschiedenen Skalierungen erhält man verschiedene Ergebnisse die für man als Parameter für Modulation verwenden kann. In Reaper wurden bei der Postproduktion die IEM-Plugin-Suite verwendet. Diese Tools verwendet man für Ambisonics von verschiedenen Ordnungen. In diesem Fall wurde Ambisonics 5 Ordnung angewendet. Ein Effekt der oft verwendet wurde ist der FDNReverb. Dieses Hallgerät bietet die Möglichkeit einen Ambisonics Reverb auf ein Mulikanal-File anzuwenden.           Die Stereo und Monofiles wurden zuerst in 5th Order Ambisonics Codiert (36 Kanäle) und schließlich mit dem binauralen Encoder in zwei Kanäle umgewandelt.                 Andere Effekte zur Nachbearbeitung(Detune, Reverb) wurden von mir selbst programmiert und sind auf Github verfügbar. Der Reverb basiert auf einen Paper von James A. Moorer About this Reverberation Business von 1979 und wurde in C++ geschrieben. Der Algorythmus vom Detuner wurde von der HTML Version vom Handbuch „The Theory and Technique of Electronic Music“ von Miller Puckette  in C++ geschrieben.     Das Ergebnis der letzen Iteration ist hier zu hören. 


VonLorenz Lehmann

Library „OM-LEAD“


Die Library „OM-LEAD“ ist eine Library für regelbasierte, computergenerierte Echtzeit-Komposition. Die Überlegungen und Ansätze in Joseph Brancifortes Text „FROM THE MACHINE: REALTIME ALGORITHMIC APPROACHES TO HARMONY AND ORCHESTRATION“ sind Ausgangspunkt für die Entwicklung.

Momentan umfasst die Library zwei Funktionen, die sowohl mit CommonLisp, als auch mit schon bestehenden Funktionen aus dem OM-Package geschrieben sind.

Zudem ist die Komposition im Umfang der zu kontollierenden Parametern, momentan auf die Harmonik und die Stimmführung begrenzt. 

Für die Zukunft möchte ich ebenfalls eine Funktion schreiben, welche mit den Parametern Metrik und Einsatzabstände, die Komposition auch auf zeitlicher Ebene erlaubt.

Entwicklung: Lorenz Lehmann

Betreuung und Beratung: Prof. Dr. Marlon Schumacher

Mein herzlicher Dank für die freundliche Unterstützung gilt Joseph Branciforte und 

Prof. Dr. Marlon Schumacher.


Seiten: 1 2 3 4

VonDaniel Fütterer

6DOF Motion Tracking mit Polhemus G4

Abstract: Beschreibung des elektromagnetischen Motion Tracking Systems G4 des Herstellers Polhemus und dessen Software

Verantwortliche: Prof. Dr. Marlon Schumacher, Daniel Fütterer


Das Polhemus G4 System erlaubt das Tracking von Positions- und Orientierungsdaten über magnetisch arbeitende Sensoren. Sender werden im Raum platziert und eingemessen/kalibriert, die Sensoren am zu messenden Objekt befestigt und an kabellose und tragbare Hubs angeschlossen. Diese übertragen die Daten an den PC, der wiederum diese Daten auswerten oder (wie in unserem Anwendungsfall) ins Netzwerk streamt.

Die Software des Herstellers läuft auf Windows und Linux, ist via kodiertem UDP-Export kompatibel mit der Spiele-Engine Unity und besteht jeweils aus mehreren Komponenten für Registrierung, Kalibrierung, Monitoring und Übertragung (z.B. mit Named Pipe oder UDP). Darüberhinaus sind große Teile der Software Open Source, was die Entwicklung individueller Tools ermöglicht.

Unter Linux gibt es eine Suite aus mehreren Programmen:

  • g4devcfg: Proprietäres Tool zur Konfiguration der Polhemus-Hardware (Dongle und Hub)
  • g4track_lib: Bibliotheken zur Verwendung mit den anderen Programmen
  • createcfgfile: Programm zur Erstellung der Config-Files (Aufstellung der Hardware)
  • g4display: Grafische Anzeige der Sensor-Position und -Orientierung
  • g4term: Textuelle Ausgabe der Sensor-Daten
  • g4export (Entwicklung von Janis Streib): Kommandozeilenprogramm zur Übertragung der Sensordaten via OSC

Angewendet wird die Software in Kombination mit Programmen wie Max/MSP oder PureData, die in der Lage sind, den OSC-Stream der Sensordaten auszulesen und zu verarbeiten.

Eine Beispielanwendung wird im Projekt des Studenten Lukas Körfer realisiert: Speaking Objects.

Eigene Software Entwicklungen: Max-Patches

Weitere Entwicklungen von Janis Streib (inkl. Anleitungen):

Für weiterführende Ressourcen, siehe Menüeintrag zu Polhemus unter „Ressourcen“ (Nextcloud)


Vergleich verschiedener Motion Tracking Systeme:

Link (extern)

Demo Videos:

Pilot-Test zur Verwendung der G4export Software (Janis Streib) auf einem Raspberry PI zur Kontrolle eines Virtuellen Mixers über OpenSoundControl.


Proof-of-Concept: Verwendung des G4 Systems zur Kontrolle des Avatars (Headtracking) für die Applikation Binauralix

Offizielle Videos des Herstellers:

Hinweis: externe Links zu YouTube


VonKaspars Jaudzems

BAD GUY: Eine akusmatische Studie


Inspiriert vom „Infinite Bad Guy“ Projekt und all den sehr unterschiedlichen Versionen, wie manche Leute ihre Fantasie zu diesem Song beflügelt haben, dachte ich, vielleicht könnte ich auch damit experimentieren, eine sehr lockere, instrumentale Coverversion von Billie Eilish’s „Bad Guy“ zu erstellen.

Betreuer: Prof. Dr. Marlon Schumacher

Eine Studie von: Kaspars Jaudzems

Wintersemester 2021/22
Hochschule für Musik, Karlsruhe

Zur Studie:

Ursprünglich wollte ich mit 2 Audiodateien arbeiten, eine FFT-Analyse am Original durchführen und dessen Klanginhalt durch Inhalt aus der zweiten Datei „ersetzen“, lediglich basierend auf der Grundfrequenz. Nachdem ich jedoch einige Tests mit einigen Dateien durchgeführt hatte, kam ich zu dem Schluss, dass diese Art von Technik nicht so präzise ist, wie ich es gerne hätte. Daher habe ich mich entschieden, stattdessen eine MIDI-Datei als Ausgangspunkt zu verwenden.

Sowohl die erste als auch die zweite Version meines Stücks verwendeten nur 4 Samples. Die MIDI-Datei hat 2 Kanäle, daher wurden 2 Dateien zufällig für jede Note jedes Kanals ausgewählt. Das Sample wurde dann nach oben oder unten beschleunigt, um dem richtigen Tonhöhenintervall zu entsprechen, und zeitlich gestreckt, um es an die Notenlänge anzupassen.

Die zweite Version meines Stücks fügte zusätzlich einige Stereoeffekte hinzu, indem 20 zufällige Pannings für jede Datei vor-generiert wurden. Mit zufällig angewendeten Kammfiltern und Amplitudenvariationen wurde etwas mehr Nachhall und menschliches Gefühl erzeugt.

Akusmatische Studie Version 1

Akusmatische Studie Version 2

Die dritte Version war eine viel größere Änderung. Hier werden die Noten beider Kanäle zunächst nach Tonhöhe in 4 Gruppen eingeteilt. Jede Gruppe umfasst ungefähr eine Oktave in der MIDI-Datei.

Dann wird die erste Gruppe (tiefste Töne) auf 5 verschiedene Kick-Samples abgebildet, die zweite auf 6 Snares, die dritte auf perkussive Sounds wie Agogo, Conga, Clap und Cowbell und die vierte Gruppe auf Becken und Hats, wobei insgesamt etwa 20 Samples verwendet werden. Hier wird eine ähnliche Filter-und-Effektkette zur Stereoverbesserung verwendet, mit dem Unterschied, dass jeder Kanal fein abgestimmt ist. Die 4 resultierenden Audiodateien werden dann den 4 linken Audiokanälen zugeordnet, wobei die niedrigeren Frequenzen kanale zur Mitte und die höheren kanale zu den Seiten sortiert werden. Für die anderen 4 Kanäle werden dieselben Audiodateien verwendet, aber zusätzliche Verzögerungen werden angewendet, um Bewegung in das Mehrkanalerlebnis zu bringen.

Akusmatische Studie Version 3

Die 8-Kanal-Datei wurde auf 2 Kanäle in 2 Versionen heruntergemischt, einer mit der OM-SoX-Downmix-Funktion und der andere mit einem Binauralix-Setup mit 8 Lautsprechern.

Akusmatische Studie Version 3 – Binauralix render

Erweiterung der akousmatischen Studie – 3D 5th-order Ambisonics

Die Idee mit dieser Erweiterung war, ein kreatives 36-Kanal-Erlebnis desselben Stücks zu schaffen, also wurde als Ausgangspunkt Version 3 genommen, die nur 8 Kanäle hat.

Ausgangspunkt Version 3

Ich wollte etwas Einfaches machen, aber auch die 3D-Lautsprecherkonfiguration auf einer kreativen weise benutzen, um die Energie und Bewegung, die das Stück selbst bereits gewonnen hatte, noch mehr hervorzuheben. Natürlich kam mir die Idee in den Sinn, ein Signal als Quelle für die Modulation von 3D-Bewegung oder Energie zu verwenden. Aber ich hatte keine Ahnung wie…

Plugin „ambix_encoder_i8_o5 (8 -> 36 chan)“

Bei der Recherche zur Ambix Ambisonic Plugin (VST) Suite bin ich auf das Plugin „ambix_encoder_i8_o5 (8 -> 36 chan)“ gestoßen. Dies schien aufgrund der übereinstimmenden Anzahl von Eingangs- und Ausgangskanälen perfekt zu passen. In Ambisonics wird Raum/Bewegung aus 2 Parametern übersetzt: Azimuth und Elevation. Energie hingegen kann in viele Parameter übersetzt werden, aber ich habe festgestellt, dass sie am besten mit dem Parameter Source Width ausgedrückt wird, weil er die 3D-Lautsprecherkonfiguration nutzt, um tatsächlich „nur“ die Energie zu erhöhen oder zu verringern.

Da ich wusste, welche Parameter ich modulieren muss, begann ich damit zu experimentieren, verschiedene Spuren als Quelle zu verwenden. Ehrlich gesagt war ich sehr froh, dass das Plugin nicht nur sehr interessante Klangergebnisse lieferte, sondern auch visuelles Feedback in Echtzeit. Bei der Verwendung beider habe ich mich darauf konzentriert, ein gutes visuelles Feedback zu dem zu haben, was im Audiostück insgesamt vor sich geht.

Visuelles Feedback – video

Kanal 2 als modulations quelle für Azimuth

Dies half mir, Kanal 2 für Azimuth, Kanal 3 für Source Width und Kanal 4 für Elevation auszuwählen. Wenn wir diese Kanäle auf die ursprüngliche Eingabe-Midi-Datei zurückverfolgen, können wir sehen, dass Kanal 2 Noten im Bereich von 110 bis 220 Hz, Kanal 3 Noten im Bereich von 220 bis 440 Hz und Kanal 4 Noten im Bereich von 440 bis 20000 Hz zugeordnet ist. Meiner Meinung nach hat diese Art der Trennung sehr gut funktioniert, auch weil die Sub-bass frequenzen (z. B. Kick) nicht moduliert wurden und auch nicht dafur gebraucht waren. Das bedeutete, dass der Hauptrhythmus des Stücks als separates Element bleiben konnte, ohne den Raum oder die Energiemodulationen zu beeinflussen, und ich denke, das hat das Stück irgendwie zusammengehalten.

Akusmatische Studie Version 4 – 36 channels, 3D 5th-order Ambisonics – Datei war zu groß zum Hochladen

Akusmatische Studie Version 4 – Binaural render

VonMila Grishkova

Akusmatische Studie von Mila Grishkova


In diesem umfassenden Artikel werde ich die 3 Iterationen meiner Komposition beschreiben, um den Schaffensprozess zu präsentieren. Die Komposition habe ich im Rahmen des Seminars „Symbolische Klangverarbeitung und Analyse/Synthese“ bei Prof. Dr. Marlon Schumacher an der HFM Karlsruhe produziert.

Betreuer: Prof. Dr. Marlon Schumacher
Eine Studie vonMila Grishkova
Wintersemester 2021/22
Hochschule für Musik, Karlsruhe

✅ Die erste Phase des Prozesses besteht aus der Schaffung eine Musikstücks. Die Komposition muss als 1-3 min. akusmatische Studie in der Tradition der musique concréte komponiert werden. Um Die Klänge, die man benutzen und transformieren kann, sollen nur Konkrete und keine Klangsynthesealgorithmen (granular, additiv, etc.) sein.

Um eine Musikkomposition zu komponieren, habe ich eine Musikstruktur überlegt: die Musik muss lang genug (laut Aufgabe) sein, und ach Pause zu haben. Um diese Struktur zu realisieren, benutze ich in dieser Übung Techniken wie zum Beispiel: Schnitt (s. F. 1, s. F. 2 Patch Cut), add Silence (s. F. 1 OM sound-seq, OM sound-silence).  

Fig1. zeigt OpenMusic Patch 1. In diesem Patch kann man der erste Schritt der Bearbeitungstehnick sehen. Man kann Sound duration messen und dann den Sound durch eine bestimmte Zahl teilen. Mit der Hilfe eine Schnittmethode, bekommt man einen Soundabschnitt, den man als ein Teil der Kompositionen benutzen kann. Nach dem Schnitt habe ich fade-in/-out gemacht (OM sound-fade). Und als latzte in diesem Patch war Schweigenhinzufügung zum diesen Soundelement, damit dieser Element nicht nur aus dem Sound sondern auch aus dem Schweigen bestehen kann – in der Kompositionen weiter es bringt interesante Effekte.



Fg. 1 zeigt OpenMusic Patch Sound1: Dieser Patch zeigt Transformationen erstes Sounds (sound-cut, sound-fade, sound-silence)

An der Figure 1 kann man noch einen OpenMusik Patch sehen. In dem patch „Cut“ befindet sich die Methode Sound zu schneiden. Als Input kommt in diesen Patch Sound-dur, als Output kommt ein geschnittenen Teil des Sounds.

Das Ziel meiner Komposition ist eine Geschichte zu erzählen. Die Musik muss sich in der Zeit entwickeln, deswegen verwende ich sound-silence, um die Geschichte (wie in der Sprache) zu strukturieren. Aber die Geschichte muss auch frei sein, zu diesem Zweck habe ich in der Komposition sogenannte Random Methode integriert.  


Fg. 2 zeigt OpenMusic Patch „Cut“: Dieser Patch zeigt Sound-Cut

In der erste Phase benutze ich auch Filtrierung, Transposition, Modulationseffekte um neuen Charakter des Klanges zu bekommen.

Nach dem Sound ist geschnitten worden, benutze ich OM sox-lowpass, OM sox-compand (um Dynamikbereich zu angewendet), ich mache bekommt fade-in/-out (OM sound-fade) und speichere den Sound (als Ergebnis des ersten Schritts).


Fg. 3 zeigt OpenMusic Patch 3: Dieser Patch zeigt Sound1, Low-pass, Sound-fade

Mit den anderen Sounds (s. Fg. 4, Fg. 5, Fg. 7) habe ich das gleiche Prozedere gemacht. In der 4.Figure kann man Manipulationen mit dem Sound sehen. In diesem Patch befindet sich auch einen Patch mit „Cut“ Methode (ist gleiche wie bei. Fig 2).

Fg. 4 zeigt OpenMusic Patch Sound2: Dieser Patch zeigt Transformationen zweites Sounds

Mit schneiden, mixing, mit der Hinzufügung der Schweigen baue ich die Kompositionsstruktur.

Audio I ist das Ergebnis der erste Iteration.

    Audio I: die erste Iteration



✅ Die zweite Phase des Prozesses ist eine klangliche Bearbeitung des akusmatischen Stücks, unter Einbezug der folgenden Techniken: EQ, Overdrive, Compression. Ich benutze Verzerrung um letztlich harmonische Obertöne zu erzeugen. Um beim Mixing störende Rückkoppelungen zu vermeiden, habe ich in den Signalweg Equalizer benutzt und damit die betroffenen Frequenzen abgesenkt. 

Mit dem zweiten Sound habe ich das gleiche Prozedere, wie mit dem Sound 1, gemacht. In der 2.Figure kann man Manipulationen mit dem Sound sehen. In diesem Patch befindet sich auch einen Patch mit „Cut“ Methode (vergleiche. Fig 2 mit).

Fg. 5 zeigt OpenMusic Patch Sound3: Dieser Patch zeigt Transformationen drittes Sounds

Eine interessante Möglichkeit den Sound zu bearbeiten findet sich in der sog. „Brauerizing“ Methode, für welche man für bestimmte Instrumentsgruppe (ABCD busses) ihr eigene EQ, Overdrive, Distressor und Compression benutzt.

In meiner Kompositionen benutze ich Klänge im Sinne den Instrumenten (den Klan vom Tür wie Bass, Vogelklänge wie Stimme usw.). 

Vogelklänge. Weiterhin benutzte ich den Compressor um die Vogelklänge zu bearbeiten. Den Klang eines Vogels lässt sich hinsichtlich spektralem Inhalt mit der menschlichen Stimme vergleichen.

Parallele Kompression verwendet (typ. wurde hier der Teletronix LA2A Röhrenkompressor eingesetzt). Deswegen lautet meine Idee: Parallel Compression im Code zu bauen und Parametern aus LA2A im Compressor zu benutzen. Ich greife auf Parallel Kompression zurück, um den Klang des Vogels zu bearbeiten, weil die Vogelstimme im Frequenzbereich der menschlichen Stimme liegt.  


Fg. 6 zeigt OpenMusic Patch 6: Dieser Patch zeigt Sound3 und Parallel Compression.

Audio II ist das Ergebnis der zweite Iteration.

    Audio II: die zweite Iteration


✅ Die dritte Phase des Prozesses basiert auf dem Prinzip einer Mix-Methode, diese heißt “Brauerizing”. Mischingenieur Michael Brauer ist ein Grammy-preisgekrönter Mixing-Ingenieur, der Audio in Kompressoren und Equalizer einspeist, um dem Eingangssignal harmonische Inhalte zu verleihen. Ein großes Problem, das die “Brauerizing” Mix-Methode löst, ist, dass der Kompressor basierend auf dem breiten Spektrum des empfangenen Eingangsmaterials reagiert.  Falls ein Mixing-Ingenieur den Kompressor benutzt, um den gesamten Mix zu komprimieren, um Ton und Attitüde hinzuzufügen oder den Mix zu einem zusammenhängenderen Produkt zusammenzufügen,  kann es sein, dass bestimmte Frequenzen stärker als andere komprimiert werden und dieser Mix beeinträchtigt wird. In meiner Komposition habe ich 4 Audio Materialien, die ich bearbeitet habe. Ich fasse mehrere Instrumente in Subgruppen zusammen und schicke sie in einen Kompressor, der zu der jeweiligen Gruppe gehört. Jedes Audio habe ich mit seinem eigenem Kompressorstyp bearbeitet. Erstes Audio ist Wind Geräusch. Ich benutzte diesen Klang, als Synth-Pads. Synth-Pads sind die verwaschenen Texturen, die dabei helfen, die Atmosphäre eines Tracks aufzubauen, die liefern oft den klanglichen Hintergrund, der eine Komposition zusammenhält. In “Brauerizing” Mix-Methode muss man Synth nach A Gruppe schicken, weil A Gruppe sammelt Instrumenten mit denen bekommt Mix keine schnelle Transienten. Diese Klänge kann man mit Neve 33609 Compressor und EQ benutzen.  

Zum Beispiel es gibt ein Lowpass Filter (s. Fg. 7): ich benutze es um die Höhen zu beschnitten. Klänge entsprechen Instrumenten (Sopran, Alt, etc. oder Melodie, Backing, etc.). Zweites Audio ist Vogel Stimme, das ich korrigieren muss.

Drittes Audio ist das Quietschgeräusch beim Öffnen einer Türe, ähnlich einer Bassstimme oder Tieferen Klängen/Energie in der Komposition. In “Brauerizing” Mix-Methode muss man Bass nach B Group schicken, dann Distressor (sox-contrast) und EQ benutzen. Für meine Ziele kann ich Distressor mit der Parameter den Kompressoren (z.b UREI LN1176) imitieren. Dafür kann man 4 Varianten der Kompression benutzen: 3:1, 4:1, 6:1, 20:1, das wird mit der Parametern LN1176 vergleichen (Werte: 4, 8,  12, 20). Attack muss in den Bereich zwischen 0.3 – 5 sein, Release 0 – 10. Dies ist in OM-SoX umgesetzt durch die Funktionen, wie in Fig. 8 beschriebt.

Fg. 7 zeigt OpenMusic Patch 5 Dieser Patch zeigt Implementierung / Simulation des Distressors.

Drittes Audio ist Vögelklang, das mit dem Parallel Compressor gearbeitet werden. Das schicke ich in Kompressor C. Viertes Audio ist Frosch- und Maus Klick- Klänge. Diese Klänge haben Transiten, deswegen benutze ich gleiche Kompressorparametern aus dem Gruppe B.


Fg. 8 zeigt OpenMusic Patch 5 Dieser Patch zeigt Sound1, Sound2, Sound3 sox-compand


Beim vierten Audio benutze ich OM sox-speed mit om-random. Ich habe es so geplant, dass die Komposition (obwohl die im Voraus strukturiert ist), muss flexibel sein und paar zufällige Elemente haben.

Fg. 9 zeigt OpenMusic Patch 6: Dieser Patch zeigt Transformationen des viertes Sound (Speed-random)

Dann mit der Technik OM sound-mix, OM sound-seq, OM sound-silence baue ich die Struktur und die Länge der Komposition. Zum Schluss benutze ich FX, Drive, Reverb, Compressor um finale Farben der Kompositionen zu bekommen. 

Am Ende der Mastering Kette benutze  ich ein Overdrive, EQ, eine Reverberation und einen „Glue“ Kompressor. Drei Verzerrertypen (Overdrive, Distortion und Fuzz) spielen unterschiedliche Rollen. Ich benutze Overdrive, weil der Overdrive von allen dreien den geringsten Zerrgrad hat. Um beim Mixing störende Rückkoppelungen zu vermeiden, habe ich in den Signalweg  Equalizer benutzt und damit die betroffenen Frequenzen abgesenkt. Eine Reverberation bringt eine Persistenz von Ton, nachdem ein Ton erzeugt wurde, und entsteht, wenn ein Schall oder Signal reflektiert wird, wodurch sich zahlreiche Reflexionen aufbauen und dann wieder abklingen. Die Reverberation verleiht dem aufgezeichneten Ton Natürlichkeit. Ein „Glue“ Kompressor, ist ein Kleber zwischen den einzelnen Elementen, ein Summen-Kompressor,  der auf alle Elemente in dem Mix reagiert und verdichtet ihn. Er senkt laute Signalanteile ab und hebt leise im Verhältnis dazu an. Attack – 0.3; Release – 0.7; Ratio 2/1, Dann mache ich die Komposition in 8 Kanäle.

Fg. 10 zeigt OpenMusic Patch 5 Dieser Patch zeigt finale Transformationen

Die Drive, Reverb, Compressor sind Objekten, die ich nur damit man es leichter in dem Bild sehen kann, in Patch gepackt habe. Und Patch „FX“ sieht man in der Figur 10 .

Fg. 11 zeigt OpenMusic Patch 5 Dieser Patch zeigt „FX“ Patch (s. Fg. 9)

Ich habe 3 Iterationen meinen Komposition gemacht. Mit diesen Iterationen ging ich auf die Themen Musik komponieren, Technik und Mixing tiefer ein. Die finale Version ist auch im 2 Kanal Format verfügbar:

Audio III: die dritte Iteration


Die 8-Kanal Version ist ? HIER verfügbar.



VonAnselm Weber

Spectral Select: Eine akusmatische 3D-Audio Studie

Spectral Select erkundet den spektralen Inhalt des einen, sowie den Amplitudenverlauf eines zweiten Samples und vereinigt diese in einem neuen musikalischen Kontext. Der durch Iteration entstehende meditative Charakter des Outputs wird durch lautere Amplituden-Peaks sowohl kontrastiert, als auch strukturiert.
In einer überarbeiteten Version wurde Spectral Select im Ambisonics HOA-5 Format spatialisiert.

Betreuer: Prof. Dr. Marlon Schumacher

Eine Studie von: Anselm Weber

Wintersemester 2021/22
Hochschule für Musik, Karlsruhe

Zur Studie:
In welchen Ausdrucksformen äußert sich die Verbindung zwischen Frequenz und Amplitude ? Sind beide Bereiche intrinsisch miteinander Verbunden und wenn ja, was könnten Ansätze sein, diese Ordnung neu zu gestalten ?
Derartige Fragen beschäftigen mich bereits seid einiger Zeit. Daher ist der Versuch ebendieser Neugestaltung Kernthema bei Spectral Select.
Inspiriert wurde ich dazu von AudioSculpt von IRCAM, welches wir in unserem Kurs: „Symbolische Klangverarbeitung und Analyse/Synthese“ gemeinsam mit Prof. Dr. Marlon Schumacher und Brandon L. Snyder kennenlernten und zum Teil nachbauten.

Spectral Edit funktioniert nach einem ähnlichen Prinzip, doch anstatt interessante Bereiche innerhalb eines Spektrums eines Samples von einem Benutzer herausarbeiten zu lassen, wurde entschieden, ein zweites Audiosample heranzuziehen. Dieses weitere Sample (im Verlauf dieses Artikels ab sofort als „Amplitudenklang“) bestimmt durch seinen Verlauf, wie das erste Sample (ab sofort als „Spektralklang“) durch OM-Sox verarbeitet werden soll.
Um dies zu erreichen wird mit zwei Loops gearbeitet:
Zunächst werden im ersteren „peakloop“ einzelne Amplitudenpeaks aus dem Amplitudenklang herausanalysiert. Daraufhin dient diese Analyse im Herzstück des Patches, dem „choosefreq“ Loop zur Auswahl interessanter Teilbereiche aus dem Spektralsample. Lautstarke Peaks filtern hierbei schmalere Bänder aus höheren Frequenzbereichen und bilden einen Kontrast zu schwächeren Peaks, welche etwas breiter Bänder aus tieferen Frequenzbereichen filtern.

peakloop – Analyse
choosefreq Loop – Audio Processing

Wie klein die jeweiligen Iterationsschritte sind, wirkt sich dabei sowohl auf die Länge, als auch auf die Auflösung des gesamten Outputs aus. So können je nach Sample-Material sehr viele kurze Grains oder weniger, aber dafür längere Teilabschnitte erstellt werden. Beide dieser Parameter sind jedoch frei und unabhängig voneinander wählbar.

Im beigefügten Stück wurde sich beispielsweise für eine relativ hohe Auflösung (also eine erhöhte Anzahl an Iterationsschritten) in Kombination mit längerer Dauer des ausgeschnittenem Samples entschieden. Dadurch entsteht ein eher meditativer Charakter, wobei kein Teilabschnitt zu 100% dem anderen gleichen wird, da es ständig minimale Veränderungen unter den Peak-Amplituden des Amplitudenklangs gibt.
Das noch relativ rohe Ergebnis dieses Algorithmus ist die erste Version meiner akusmatischen Studie.

Akusmatische Studie Version 1

Der darauffolgende Überarbeitungsschritt galt vor allem einer präziseren Herausarbeitung der Unterschiede zwischen den einzelnen Iterationsschritten. Dazu wurde eine Reihe an Effekten eingesetzt, welche sich wiederum je nach Peak-Amplitude des Amplitudenklangs unterschiedlich verhalten. Um dies zu ermöglichen, wurde die Effektreihe direkt in den Peakloop integriert.

Akusmatische Studie Version 2

Im dritten und letztem Überarbeitungsschritt erfolgte die Spatialisierung des Audios auf 8 Kanäle.
Hierbei klingen die einzelnen Kanäle ineinander und ändern ihre Position im Uhrzeigersinn. Somit bleibt der Grundcharakter des Stückes bestehen, jedoch ist es nun zusätzlich möglich, das „Durcharbeiten“ des choosefreq Loops räumlich zu verfolgen. Damit diese Räumlichkeit erhalten bleibt, wurde der Output anschließend mithilfe von Binauralix für den Upload in binaural Stereo umgewandelt.

Akusmatische Studie Version 3 – Binaural

Spectral Select – Ambisonics

Im Zuge einer weiteren Überarbeitung wurde Spectral Select über die spatialisation class „Hoa-Trajectory“ von OM-Prisma neu spatialisiert und in das Ambisonics Format gebracht.
Damit sich dieser Schritt konzeptionell und klanglich gut in die bisherigen Bearbeitungen eingliedert, soll der Amplitudenklang auch bei der Raumposition eine wichtige Rolle spielen.
Die Möglichkeiten mithilfe von Open-Music und OM-Prisma Klänge zu spatialisieren sind zahlreich. Letzten Endes wurde entschieden, mit Hoa-Trajectory zu arbeiten. Hierbei ist die Klangquelle nicht an eine feste Position im Raum gebunden und kann mit einer Trajektorie beschrieben werden, welche auf die Gesamtdauer des Audio-Inputs skaliert wird.

Spatialisierung mit HOA.TRAEJECTORY

Die Trajektorie wird in Abhängigkeit der Amplituden-Analyse im vorhergehenden Schritt erstellt.
Dabei wird eine simple, dreidimensionale Kreis Bewegung, welche sich in Spiralbewegung nach unten dreht, mit einer komplexeren, zweidimensionalen Kurve perturbiert. Die Y-Werte der komplexeren Kurve entsprechen dabei den herausanalysierten Amplitudenwerten des Amplitudenklanges.
Somit ergeben sich je nach skalierung der Amplitudenkurve mehr oder weniger starke Abweichungen der Kreisbewegung. Höhere Amplitudenwerte sorgen also für ausuferndere Bewegungen im Raum.

Interessant hierbei ist, dass OM-Prisma auch Doppler-Effekte mitberücksichtigt. Dadurch ist zusätzlich hörbar, dass bei höheren Amplitudenwerten extremere Abstände zur Hörposition in der selben Zeit zurückgelegt werden. Dadurch nimmt dieser Arbeitsschritt unmittelbar Einfluss auf die Klangfarbe des gesamten Stückes.
Je nach Skalierung der Trajektorie können schnelle Bewegungen dadurch stark überbetont werden, allerdings können (ab einer zu großen Entfernung) auch Artfakten entstehen.
Damit ein besserer Eindruck Ensteht folgen 2 verschiedene durchläufe des Algorithmus mit unterschiedlichen Abständen zum Hörer.

Version mit extremen Doppler Effekten wodurch Artfakte enstehen können – Binaural Stereo

Version mit näherem Abstand und moderateren Doppler Effekten – Binaural Stereo

Spektralklang sowie Amplitudenklang wurden in diesem Beispiel im Gegensatz zu den vorherigen Klangbeispielen ausgetauscht. Es handelt sich hierbei um ein längeres Soundfile zur Analyse der Amplituden und einen weniger verzerrten Drone als Spektralklang.
Die Idee hinter diesem Projekt ist ohnehin, mit verschiedenen Klangdateien zu experimentieren.
Daher wurde auch der alter Algorithmus noch einmal überarbeitet um mehr Flexibilität bei unterschiedlichen Klangdateien zu bieten:

Überarbeitete skalierbare Version des alten Algorthimus zur Auswahl aus dem Spektralklang

Außerdem wird nun aus dem Spektralklang auf der Zeitachse randomisiert ausgewählt. Dadurch soll jeglicher formgebender Zusammenhang aus der Magnitude des Amplitudenklangs stammen und jegliche Klangfarbe aus dem Spektralklang extrahiert werden.