Musikwissenschaftler_innen, die sich der Interpretationsforschung widmen, sind daran interessiert, Performancemerkmale wie Stil und Ausdruckskraft zu untersuchen. Typischerweise sammelt man mehrere Aufnahmen unterschiedlicher Aufführungen desselben Stücks und vergleicht deren Nuancen. Zum Beispiel werden häufig Aufnahmen desselben Stücks aus unterschiedlichen Jahrzehnten miteinander verglichen, um so historische Trends und Strömungen aufzuspüren. Stammen die Darbietungen von demselben Künstler bzw. derselben Künstlerin, kann man anhand der Aufnahmen auch stilistische Veränderungen und Entwicklungen über den Verlauf einer Karriere beobachten.
Derzeit führen Musikwissenschaftler_innen solche Analysen meist mithilfe manueller Annotationen durch, hierfür werden Parameter wie z. B. metrische Schwerpunkte, Tonhöhen oder Notenanfangszeiten in den Musikaufnahmen gemessen. Das wohl beliebteste Softwaretool dafür ist Sonic Visualiser, mit dem mehrere Annotationen zugleich visualisiert und alle Daten für weitere quantitative Analysen in eine Excel-Datei exportiert werden können. Solche manuellen Annotationen können jedoch äußerst mühsam und nicht besonders effizient sein, und darüber hinaus enthalten die vorhandenen Tools keine Informationen zur Partitur, die für die Analyse musikalischer Darbietungen oft entscheidend sind.
Zur Entwicklung besserer Performance-Analyse-Tools führte Yucong Jiang am Institut für musikalische Akustik – Wiener Klangstil der mdw ein 13-monatiges Forschungsprojekt durch, das durch ein prestigeträchtiges Marie-Sklodowska-Curie-Stipendium für Postdoktorand_innen der EU finanziert wurde. Das wohl wichtigste Ergebnis dieses Projekts, das im Juli erfolgreich abgeschlossen wurde, ist ein Prototyp einer Open-Source-Software namens Piano Precision – ein Tool, das die Analyse von Musikaufnahmen erleichtern soll. Anhand einer musikalischen Aufnahme sowie der dazugehörigen digitalen Partitur generiert die Software automatisch aussagekräftige KI-gesteuerte Annotationen zu Timing auf der Ebene einzelner Noten sowie dem Tempo, die vollständig mit einer digitalen Partitur verknüpft sind. Mit einer einfach zu bedienenden grafischen Benutzeroberfläche visualisiert die Software die Partitur, die Audio-Aufnahme und die generierten Annotationen auf intuitive Weise. Um zum Beispiel schnell zu einer bestimmten Note in der Aufnahme zu gelangen, können Benutzer_innen einfach auf diese Note in der Partitur klicken. Die Abbildung unten zeigt die grafische Benutzeroberfläche von Piano Precision.
Die automatische Annotationsfunktion stützt sich auf eine KI-Komponente, die mithilfe eines Alignment-Algorithmus Audio und Partitur miteinander in Beziehung setzt. Anhand einer digitalen Musikpartitur und der dazugehörigen Aufnahme findet der Algorithmus automatisch für jede Note in der Partitur die Anfangszeit in der Audio-Aufnahme. Ausgehend von diesen Anfangszeiten und der Partiturinformationen berechnet die Software das lokale Spieltempo für jede Note und generiert eine intuitive Tempokurve, die Temposchwankungen der gesamten Aufnahme abbildet.
Natürlich ist kein KI-Algorithmus perfekt; daher ermöglicht die Software den Nutzer_innen, falsch erkannte Anfangszeiten, die mit der tatsächlichen Aufführung nicht übereinstimmen, zu korrigieren, indem sie diese in der Benutzeroberfläche einfach per Drag and Drop verschieben. Dabei werden die hervorgehobenen Noten in der Partitur gemeinsam mit beschrifteten Anfangszeiten in der Aufnahme angezeigt. Anschließend können Nutzer_innen die so validierten Annotationen und Tempoanmerkungen in eine Excel-Datei exportieren, um sie weiter zu analysieren. Diese Annotationen sind für die Forschungsarbeit äußerst wertvoll, da das Timing ein wesentlicher Aspekt musikalischer Ausdruckskraft ist.
Piano Precision wird unter einer gemeinfreien Lizenz bereitgestellt und kann kostenlos genutzt werden; weitere Informationen gibt es auf der Projektseite.
Die Technologie für den Abgleich von Audio und digitaler Partitur stammt aus der Music-Information-Retrieval(MIR)-Forschungscommunity, die führende Musiktechnologien erfindet und entwickelt, wie z. B. die automatische Musiktranskription oder die optische Musikerkennung. Um die Vernetzung und Einbindung mit der MIR-Community zu erleichtern, ist dieser Alignment-Algorithmus in Piano Precision als Plugin konzipiert, wodurch man ihn einfach durch einen anderen Algorithmus aus der MIR-Community ersetzen kann – ganz ohne den zugrundliegenden Code von Piano Precision anzutasten. Dieses Projekt stellt einen bedeutenden Schritt dar, die Kluft zwischen MIR und Performanceanalyseforschung zu verkleinern.
Das digitale Partitur-Format von Piano Precision ist MEI (Music Encoding Initiative), ein unter Musikwissenschaftler_innen zunehmend beliebtes Partiturformat. Da am Institut für musikalische Akustik – Wiener Klangstil mehrere MEI-bezogene Projekte beheimatet sind und dort auch führende Expert_innen auf diesem Gebiet wie Werner Goebl und David M. Weigl wirken, ergeben sich gute Synergieeffekte.
Yucong Jiang führte eine Nutzer_innenstudie zu Piano Precision mit 15 potenziellen Nutzer_innen durch. Die Rückmeldungen waren weitgehend positiv, was den Nutzen dieses Tools für die Forschung im Bereich der Performanceanalyse unterstreicht. Zudem konnten wichtige Erkenntnisse für die Weiterentwicklung solcher Tools gewonnen werden.
