Das neue künstlerische Forschungsprojekt „Spirits in Complexity“1 ist eine Kooperation der mdw mit der Johannes Kepler Universität (JKU) in Linz, dem KTH Royal Institute of Technology in Stockholm, der University of the Arts in Reykjavík sowie weiterer künstlerischer und wissenschaftlicher Expert_innen. Es wird vom Österreichischen Wissenschaftsfonds FWF durch die Programme PEEK und der AI Mission Austria gefördert.
Hier an der mdw sind wir uns der durch musikalische Praxis erzeugten funktionalen und affektiven Beziehung mit beteiligten Objekten sehr bewusst, seien es akustische Instrumente oder anderes technisches Equipment. Mit der Zeit werden diese Objekte zu zuverlässigen professionellen Partnern, die physische und intellektuelle Interaktionen fordern, aber auch infrage stellen. Solchen nicht-menschlichen Entitäten wird eine sogenannte Thing Power zugeschrieben, mit der Fähigkeit, den Status bloßen Objekt-Seins zu überwinden und Begegnungen mit einem Außer-halb unserer täglichen Erfahrung zu erwirken. Arbeitsbeziehungen mit ihnen können eine reziproke Partnerschaft sein, aber auch von einer mehr verhandelnden oder sogar konfrontativen Natur, sie können aber auch rituelle und spirituelle Formen annehmen. In unserem Projekt wird die Idee der Spirits (Geister) als Metapher für eine undurchsichtige Komplexität verwendet, sie steht für den Eigenwillen von technologischen Systemen. Solche Werkzeuge sind auf eine Art von Messbarkeit angewiesen, welche oft im Kontrast zur Motivation und Praxis künstlerischen Ausdrucks steht, vor allem in der Musik. Wie kann sich also der Einsatz von Technologie in der künstlerischen Praxis ändern, wenn er von einer analytischen Perspektive zu einer Wechselbeziehung zwischen Aushandlung, Konfrontation oder Täuschung wechselt? Welche Wissensformen sind hier impliziert? Was ist die praktische und theoretische Auswirkung der Black-Box-Systeme zeitgenössischer Technologien? Wie kann sich künstlerische Praxis an die unbekannte Komplexität und ihren dazugehörigen Kontext annähern, wie sie steuern und beleben? Das Projekt begann im April mit einem Symposium an der mdw, wo sich alle Projektpartner für interne Sessions, aber auch öffentlichen Diskussionen und Kunstperformances trafen. Als Artistic-Research-Projekt wird das Forschungsthema innerhalb der Künste und vor allem mittels und durch die Künste untersucht, anhand eines vielfältigen Methodensets, oft interdisziplinär und von einer experimentellen oder spekulativen Natur.
An der mdw wird das Projekt von Thomas Grill vom Artistic Research Center geleitet, mit den künstlerischen Forscher_innen Angélica Castelló, Marco Döttlinger, Patrik Lechner and Hui Ye, dem Soziologen Tasos Zembylas und der studentischen Mitarbeiterin Miriam Jochmann. Unser Partner an der JKU ist Arthur Flexer, Experte im Machine Learning. Alle beteiligten Forscher_innen erweitern und beleuchten das Forschungsthema um eine eigene und eigenständige Perspektive bzw. Facette:
Angélica Castelló erforscht das individuelle Leben von Musikmaschinen wie Kassettenrekordern und Synthesizern: Wie sie durch ihre Verwendung geformt wurden, Patina und besondere Eigenschaften erhielten, ob voll funktionsfähig oder „außer Betrieb“. Zerfallsprozesse scheinen besonders enthüllend, da dadurch eine Maschine ihre Materialität und Struktur offenbart.
Patrik Lechner stellt die Körperlichkeit der Materialität und der Umgebung auf die Probe, indem er sie in Virtualisierungen modelliert, wobei grundlegende Parameter verändert werden können. Procedural Modeling ermöglicht die Einbindung von unnatürlichen Änderungen in die Eigenschaften von Musiksystemen und deren Umgebungen, wobei neue Erkenntnisse und kreative Möglichkeiten generiert werden.
Thomas Grill untersucht Audiotechnologie und ihr Umfeld innerhalb eines Rahmens an Feedbackstrategien, wo die anfängliche Audioinformation zugunsten von systemischen Eigenschaften immer weiter in den Hintergrund gedrängt wird, abhängig von der Beziehung von materiellen/strukturellen und kontextuellen Komponenten – mit nur einem kleinen Hauch an menschlichem Einfluss.
KI-(Musik-)Systeme abstrahieren am meisten von physischen und sinnlichen Phänomenen, versprechen jedoch einen gewissen Realismus, den sie mithilfe riesiger musikalischer Korpora gewinnen. Das komplexe Wesen dieser Technologie und die Tatsache, dass ihre Funktionsweise nicht ganz verstanden und erfasst werden kann, machen sie zu einem guten Beispiel für eine Black Box. In diesem Kontext untersucht Hui Ye die Mechanismen von KI-Sprachsynthese mittels Untersuchung nicht-menschlicher „Vokalisation“ der Maschine, während Arthur Flexer generative Musiksysteme mit sogenannten Adversarial Attacks unterwandert. Marco Döttlinger arbeitet wiederum an KI-basierten Kompositionen, die menschliche und nicht-menschliche Teilnehmer_innen als Co-Autor_innen miteinbeziehen.
Zembylas und Jochmann beobachten, dokumentieren, kommentieren und analysieren die umfassenden Forschungsprozesse, die oft nichtlinear oder miteinander verwoben sind, reflektieren diese und lassen die gewonnenen Beobachtungen dann in unsere Teamarbeit zurückfließen.
Insgesamt sind wir der Meinung, dass ein Schritt weg von der Kontrollperspektive gegenüber Technologie in den Künsten und hin zu einer diskursiven, erforschenden Praxis von „Making Kin“ bzw. dem Erschließen von Verwandtschaftsverhältnissen und Partnerschaftsbeziehungen entscheidende und ansonsten unzugängliche Potenziale eröffnet.
Die jüngsten öffentlichen Aktivitäten waren Marco Döttlingers Projekt „points of no return“ bei den Klangspuren Schwaz am 10. September2, Marino Formentis, Thomas Grills und Irena Tomažins Auftritt „My voice my void“ bei den Musiktheatertagen Wien am 18. September3 und eine Quartett-Aufführung von Castelló, Döttlinger, Grill und Lechner beim Speculative Synthesis Symposium am 27. September in Graz4. KI-basierte Kompositionen von Döttlinger für „The Morricone Project“ mit dem Black Page Orchestra werden im Wiener Musikverein am 8. Mai 20255 vorgestellt.
