Immersive Körper

VonVeronika Reutz

Immersive Körper

Die Installation „Immersive Bodies / Immersive Körper“ im Auftrag der GEDOK Karlsruhe ist eine immersive, intermediale Installation, die die Auswirkungen des Klimawandels auf die allgemeine Befindlichkeit der Bevölkerung untersucht. Da das aktuelle Thema von GEDOK der Klimawandel ist, wollte ich mich den anderen Künstlern anschließen, um dieses Thema zu erforschen. Diese Arbeit konzentriert sich jedoch auf die Erforschung einer etwas anderen Perspektive, die sich nicht auf die Auswirkungen der Veränderung auf der Erde konzentriert, sondern auf den mentalen Zustand der Bevölkerung.

Diese Installation bietet den Menschen einen sicheren und entspannenden Raum, den sie genießen können und gleichzeitig ein Bewusstsein dafür verbreiten, wie wir der Erde und uns selbst sowohl physisch als auch mental helfen können. Die Installation wird immersiv sein und alle Sinne der Besucher berühren. Während der Installation werden mehrere Konzerte gespielt, darunter das Eröffnungskonzert am 23.06.2023 um 20 Uhr. Über die Musik, die während der Installation und der Konzerte gespielt wird, werden wir heute sprechen!

Verantwortliche: Veronika Reutz Drobnic, Studentin der HfM Karlsruhe, Master Komposition, 3. Semester

Websites:

https://immersive-bodies.veronikareutz.com/

Viele Veranstaltungen und Kunstwerke zum Klimawandel konzentrieren sich auf die bevorstehende Katastrophe oder einfach nur auf Fakten darüber, ohne die Gefühle der Menschen zu berücksichtigen. Die neuen Studien zeigen aber, dass immer mehr Menschen Angst vor dem Klimawandel haben und mit zunehmender Intensität des Klimawandels noch mehr psychische Probleme haben werden. Hier zitiere ich:

„Wellbeing falters without sound mental health. Scholars have recently indicated that the impacts of climate change are likely to undermine mental health through a variety of direct and indirect mechanisms. Using daily meteorological data coupled with information from nearly 2 million randomly sampled US residents across a decade of data collection, we find that experience with hotter temperatures and added precipitation each worsen mental health, that multiyear warming associates with an increased prevalence of mental health issues, and that exposure to tropical cyclones, likely to increase in frequency and intensity in the future, is linked to worsened mental health. These results provide added large-scale evidence to the growing literature linking climate change and mental health.“ (Obradovich, Nick, et al. “Empirical Evidence of Mental Health Risks Posed by Climate Change.” Proceedings of the National Academy of Sciences of the United States of America, vol. 115, no. 43, 2018, pp. 10953–58.)

Aus diesem Grund wird diese Installation einen komfortablen Ort für den Informationsaustausch bieten, wo die Menschen ihren Geist befreien und in einer positiven Umgebung lernen sollen. Die Installation wird immersiv sein, im Sinne von:

„Künste, die oft situativ und funktionieren statt singulärer Werke ganze Welten schaffen“ (Branca, 2016)

Das Konzept der Immersion fasziniert mich, seit ich in Tokio studiert und dort die immersiven Installationen im TeamLab erlebt habe. Immersive Kunst kann extrem effektiv sein, weil das Publikum die Kunst mit allen Sinnen „spürt“. Daher hat ein Künstler die Möglichkeit, mehrere Medien und viele Motive zu verwenden, um das Publikum mit der Kunst zu verbinden. Gerade für dieses Thema des Klimawandels bietet sich die Möglichkeit, aus der Natur stammende Klänge, Texturen und Motive zu verwenden, um ein positives und einprägsames Lernerlebnis zu schaffen.

TeamLab Tokyo

Für den visuellen Sinn werden Erde, Planeten, Sterne, Himmel und Wasser animiert und projiziert. Für den taktilen Sinn werden viele Materialien von der Decke hängen und Orte zum Sitzen und Anfassen verschiedener Materialien sein. Es wird einen schönen, erdigen Geruch geben und Obst und ähnlichen Snacks für den Geschmack. In der Mitte der Installation, umgeben von den hängenden, durchscheinenden Materialien, wird es einen Platz zum Sitzen, Tasten, Essen und Musizieren geben. Hier sitzen auch die Leute während der Aufführung.

Veranstaltungsort

Veranstaltungsort

 

Die Musik ist in zwei Versionen komponiert: Eine wird live mit der elektronischen Klarinette Sylphio zur Eröffnung der Installation aufgeführt und die ist 13 Minuten lang. Die zweite wird eine längere, 25-minütige Version sein, die während der gesamten Installation geloopt wird. Es beginnt und endet mit dem gleichen Material, was es einfach macht, es problemlos zu loopen.

Die Komposition wurde in Logic Pro X2, Reaper, MaxMSP und Sibelius hergestellt. Und die Videopartitur wurde in Photoshop, Cinema 4D, Red Giant Suite und After Effects animiert. Zuerst habe ich mit Sibelius begonnen, um eine Partitur zu erstellen, aber Versuche haben gezeigt, dass freie Improvisation oder Halbimprovisation mit einer Videopartitur in diesem Fall besser funktioniert. Da sich der Spieler während der Aufführung durch den Raum bewegt, muss es etwas sein, das er sehen kann und das sich nicht von der Installation abhebt. Also habe ich die Elemente einer grafischen Partitur (verschiedene Symbole, Größen-, Farb- und Formänderungen) in die Animation eingebaut, die in den Raum projiziert wird. Das Video dient dem Spieler als Partitur während der improvisierten Teile der Komposition.

Animation-Screenshot

Animation-Screenshot

Auf diese Weise kann der Spieler wählen, ob er diesen folgen möchte und zu welchem Zweck. Ich habe schon früher mit 3D- und VR-animierten Partituren gearbeitet, und mir gefällt immer, wie flexibel sie sind. Die Spieler können vielen Parametern im Detail folgen oder nur der allgemeinen Bewegung folgen oder einfach nur über die allgemeine Stimmung des Videos improvisieren.

Das folgende ist eine 3D-Partitur ‚The Mind-meld‘, die im Auftrag der Musikbiennale Zagreb komponiert wurde. Aufführung am 19.04.2023:

Während meiner Recherchen zu visueller Musik, hat mich die Beziehung zwischen Partituren und dem Klangergebnis fasziniert. Ich begann, den Unterschied zwischen traditionellen und grafischen Partituren zu recherchieren und fand einige interessante Artikel und Theorien. Die Zeitschrift „Perspectives of New Music“ von Sylvia und Stuart Smith, insbesondere der Artikel über visuelle Musik, war sehr inspirierend für die Entstehung meiner Konzepte für die 3D-Partituren. Da ich oft die Verwendung traditioneller Partituren in Frage gestellt habe, war dieser Absatz besonders interessant:

„Unaccustomed to the coexistence of a multitude of notations, many scholars, musicians, and composers are calling for notational standardization. They see our present state of notational diversity as a reflection of mere confusion. Why have different symbols that stand for more or less the same thing? Why not get together at a notation convention and codify that notation that is appropriate for a given situation? This codification process would lead to convenience, communication, and accessibility. At the same time it would strike the death blow to the primary function of art-the expansion of our consciousness. To standardize notation is to standardize patterns of thought and creativity. Our present abundance of notations is as it should be. It makes our differences so clear.” (Smith, Sylvia, and Stuart Smith. „Visual Music.” Perspectives of New Music, vol. 20, no. 1/2, 1981, pp. 75–93.)

Ein weiteres wichtiges Thema bei der Umsetzung meiner Konzepte ist die Korrelation zwischen den visuellen und auditiven Reizen und der Reaktion des Publikums und der Performer. Eine der interessanteren Quellen dazu ist ein Buch mit dem Titel „Lessons in Perception: The Avant-Garde Filmmaker as Practical Psychologist“ von Paul Taberham. Im Kapitel mit dem Titel „Three Dimensions of Visual Music“ erklärt er die Rolle von Cross-modale Verifikation, halluzinatorisches Sehen und Symmetrie im Film und damit auch in der visuellen Musik. Cross-modale Verifikation ist:

„ … a perceptual process employed in everyday life, in which we cross-check the veridicality of our visual experiences with our sonic environment. If a sound and a visual event occur in synchronization, we typically bind both experiences together as part of the same incident“. (Taberham, Paul. „Three Dimensions of Visual Music.“ Lessons in Perception: The Avant-Garde Filmmaker as Practical Psychologist, Berghahn Books, 2018, pp. 169–82.)


Dies ist ein wichtiger Aspekt meiner 3D-Partituren, daher werden die Partituren immer mit einer Cue-Liste geliefert, in der der Spieler alle wichtigen Cues im Video sehen kann, und kann lernen darauf zu reagieren oder nicht zu reagieren. Daher sind die Ereignisse manchmal synchronisiert und manchmal nicht, und die anderen Ereignisse werden vom Ausführenden frei interpretiert. Ich schreibe meine visuellen Partituren so, um alternative Bild-Ton-Beziehungen meiner Kunst genauer zu erforschen. Die Partituren sind daher eine Mischung aus strenger Notation und freier grafischer Notation, die sowohl die Bild-Ton-Beziehung als auch den Einfluss von Improvisation und grafischer Notation auf das Klangergebnis untersucht.

Hier möchte ich auch ein paar Kunstwerke hinzufügen, von denen ich inspiriert wurde:

Herbert Brün, mutatis mutandis

Alexander Calder, Dots and Dashes

 

Die Komposition wird mit einer Sylphio-Klarinette gespielt, einem elektronischen Instrument, das viele MIDI-Informationen in den Computer sendet. Es gibt viele Parameter, die mit diesem Instrument gesteuert werden können:

MIDI Mapping

In dieser Komposition verwende ich den Slider-Regler, um den Cutoff des aktuell gespielten Samples zu steuern; der Roll-Regler für das Sound-Panning und Elevation für die Verzerrung. Die in dieser Komposition verwendeten Samples sind wässrige Plucks, raue Pads und ungleichmäßige Arpeggietoren sowie extrem gestreckte Streicherklänge.

Bewegungsmöglichkeiten

Ich begann dieses Projekt mit der Idee, nur 80er-Jahre-Sounds zu verwenden, dann fing ich an, diese Sounds in MaxMSP zu dehnen und zu komprimieren, und landete schließlich bei den Sounds, die sich von den früher geplanten komplett veränderten. Dann habe ich auch Zupfklänge gemacht, die auf verschiedene Arten arpeggiert und gesteuert werden können, was sie perfekt für die Steuerung mit der Klarinette macht. Die Plucks und Pads haben auch eine Verbindung zum Thema Klimawandel, da die Plucks dem Ticken einer Uhr ähneln und später Wassertropfen; und die Pads sind so gemacht, dass sie industriellen Sounds ähneln.

Die Klarinette spielt die Plucks und ändert die allgemeine Einstellungen der Komposition, wie Distortion, Cutoff und Lautstärke. Ich finde das einen interessanten Aspekt, da wir Instrumente immer als etwas betrachten, das Klänge erzeugt, und nicht als etwas, das die Parameter von Klängen verändert, die schon gemacht sind. Einige Pads und die gestreckten Saitenklänge sind von diesen Änderungen nicht betroffen, da ich glaube, dass es eine Schicht geben muss, die bei jeder Aufführung konstant bleibt.

– – –

Mein Zeitplan für dieses Projekt sah folgendermaßen aus:

– Samples erstellen
– allgemeine Form erstellen
– die Sylphio verschiedenen Parametern zuordnen und damit improvisieren
– die Form fertigstellen und die von Sylphio gesteuerten Parameter und Klänge festlegen
– Partitur schreiben.

Die großen Meilensteine waren die Herstellung der ersten Samples und deren Änderung, dann die Erstellung der Installationsversion der Komposition und schließlich die Verbindung von Sylphio und die Entscheidung, was genau es spielen wird.

Hier ist die Aufnahme der letzten Improvisation: