International Audio Laboratories Erlangen

Computer-Assisted Analysis of Harmonic Structures (HARM)

Logo_DFG Teaser_HARM Logo_FAU Logo_UniSaarland

In the HARM project, we explore how computer-assisted methods can be applied in musicological studies for anlayzing harmonic and other musical structures in large-scale music corpora (including the piano sonatas by Ludwig van Beethoven and the tetralogy "Der Ring des Nibelungen" by Richard Wagner). This interdisciplinary project is funded by the German Research Foundation. On this website, we summarize the project's main objectives and provide links to project-related resources (data, demonstrators, websites) and publications.

Project Description

Computer-Assisted Analysis of Harmonic Structures

Teaser_HARM_details

This interdisciplinary project dealt with the development of automated techniques in the analysis of harmonic structures. In so doing, we investigated the more general issue to which extent musicology may benefit from using computer-based methods and, vice versa, to which extent musicological research may introduce new scientific challenges into computer science. In addition to the development of computer-based analysis techniques, our further goal was to explore novel navigation and visualization concepts that allow research to browse, search and analyse large music databases with regard to harmonic structures in an intuitive and interactive way. The musicological relevance of the concepts to be developed were verified by means of two important work cycles: Ludwig van Beethoven's piano sonatas and Richard Wagner's tetralogy 'Der Ring des Nibelungen.' In the piano sonata scenario we investigated to which extent known harmonic structures can be traced and visualized by computer-based methods. In the 'Ring' scenario we expanded the possibilities of musicological research by exploring possibly yet unknown harmonic structures and relationships. Even a partial success in automating the evaluation of large music corpora could lead to a paradigm shift within historical musicology: traditional methods would not become dispensable, but could be confronted with new questions on basis of the derived 'objective' findings – which themselves are to be critically reviewed. In this sense, it was not our aim to replace the field of historical musicology by a however defined field called music processing or music information retrieval. Instead, we pursued a dialogue between historical musicology and computer science based on their very different traditions and methods.

Projektbeschreibung

Computergestützte Analyse harmonischer Strukturen

Teaser_HARM_details

In diesem interdisziplinären Projekt wurde am Beispiel der automatisierten Analyse harmonischer Strukturen erprobt, inwieweit informatische Methoden gewinnbringend im Bereich der Musikwissenschaft eingesetzt werden können und inwieweit musikwissenschaftliche Fragestellungen zu neuen Herausforderungen in der Informatik führen. Neben computer-basierten Methoden und Werkzeugen zur Harmonieanalyse wurden neuartige Visualisierungs- und Navigationskonzepte erforscht, die es erlauben, große Musikdatenbestände hinsichtlich harmonischer Strukturen auf interaktive Weise zu durchsuchen und zu analysieren. Die Verifizierung der musikwissenschaftlichen Relevanz der zu entwickelnden Konzepte erfolgte paradigmatisch anhand der Analyse zweier großer Werkzyklen: der Klaviersonaten von Ludwig van Beethoven und der Tetralogie 'Der Ring des Nibelungen' von Richard Wagner. Während anhand des Klaviersonaten-Szenarios untersucht wurde, inwieweit bekannte harmonische Strukturen maschinell nachvollzogen und visuell dargestellt werden können, wurde insbesondere im Ring-Szenario auch musikwissenschaftliches Neuland bei der Erforschung bisher verborgener harmonischer Strukturen und Bezüge betreten. Eine schon in Teilen automatisierte Auswertung größerer Musikkorpora könnte zu einem Paradigmenwechsel innerhalb der Historischen Musikwissenschaft führen: Bisherige Methoden würden nicht überflüssig, könnten aber auf Grund des 'objektiv' vorgegebenen Befundes - der als solcher kritisch zu überprüfen wäre – mit neuen Fragestellungen konfrontiert werden. Ziel soll dabei nicht die Ablösung der Historischen Musikwissenschaft durch eine wie auch immer zu definierende Musikinformatik sein, sondern vielmehr ein Dialog zwischen Historischer Musikwissenschaft und Informatik auf der Basis ihrer unterschiedlichen Voraussetzungen und Methoden.

Projected-Related Publications

The following publications reflect the main scientific contributions of the work carried out in the SeReCo project.

  1. Stefan Balke, Manuel Hiemer, Peter Schwab, Vlora Arifi-Müller, Klaus Meyer-Wegener, and Meinard Müller
    Die Oper als Multimedia Szenario: Wagners Walküren gehen online
    In Proceedings of the GI Jahrestagung: 75–86, 2017. PDF Demo 
    @inproceedings{BalkeHSAMM17_WagnerMultimedia_GI,
author    = {Stefan Balke and Manuel Hiemer and Peter Schwab and Vlora Arifi-M{\"u}ller and Klaus Meyer-Wegener and Meinard M{\"u}ller},
title     = {{D}ie {O}per als {M}ultimedia {S}zenario: {W}agners {W}alk{\"u}ren gehen online},
booktitle = {Proceedings of the GI Jahrestagung},
address   = {Chemnitz, Germany},
year      = {2017},
url-demo  = {http://mir.audiolabs.uni-erlangen.de/2017-GI-DemoWalkuere/},
pages     = {75--86},
url-pdf   = {2017_BalkeHSAMM_OperWeb_GI.pdf}
}
  2. Stephanie Klauk, Reiner Kleinertz, Christof Weiß, and Meinard Müller
    Seitensatz versus Mittelsatz: Expositionen in Beethovens frühen Klaviersonaten zwischen zeitgenössischer Theorie und computergestützter Analyse
    In Simone Hohmaier (ed.): Jahrbuch 2017 des Staatlichen Instituts für Musikforschung (SIM) — Preußischer Kulturbesitz, Schott Music: 271–300, 2021. 
    @incollection{KlaukKWM21_BeethovenSonata_Jahrbuch,
author    = {Stephanie Klauk and Reiner Kleinertz and Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {{S}eitensatz versus {M}ittelsatz: {E}xpositionen in {B}eethovens fr{\"u}hen {K}laviersonaten zwischen zeitgen{\"o}ssischer {T}heorie und computergest{\"u}tzter {A}nalyse},
booktitle = {{J}ahrbuch 2017 des {S}taatlichen {I}nstituts f{\"u}r {M}usikforschung ({SIM}) -- {P}reu{\ss}ischer {K}ulturbesitz},
pages     = {271--300},
year      = {2021},
editor    = {Simone Hohmaier},
publisher = {{S}chott {M}usic},
ISSN      = {0572-6239},
isbn = {978-3-7957-1005-7}
}
  3. Christof Weiß, Vlora Arifi-Müller, Thomas Prätzlich, Rainer Kleinertz, and Meinard Müller
    Analyzing Measure Annotations for Western Classical Music Recordings
    In Proceedings of the International Society for Music Information Retrieval Conference (ISMIR): 517–523, 2016. PDF 
    @inproceedings{WeissAPKM16_Measure_ISMIR,
author    = {Christof Wei{\ss} and Vlora Arifi-M{\"u}ller and Thomas Pr{\"a}tzlich and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {Analyzing Measure Annotations for Western Classical Music Recordings},
booktitle = {Proceedings of the International Society for Music Information Retrieval Conference  ({ISMIR})},
address   = {New York, USA},
year      = {2016},
pages     = {517--523},
url-pdf   = {2016_WeissAPKM_MeasureAnnotation_ISMIR_ePrint.pdf}
}
  4. Christof Weiß, Rainer Kleinertz, and Meinard Müller
    Möglichkeiten der computergestützten Erkennung und Visualisierung harmonischer Strukturen — eine Fallstudie zu Richard Wagners Die Walküre''
    In Bericht zur Jahrestagung der Gesellschaft für Musikforschung (GfM) 2015 in Halle/Saale, 2016. PDF Details 
    @inproceedings{WeissKM16_Wagner_GfM,
author    = {Christof Wei{\ss} and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {{M}{\"o}glichkeiten der computergest{\"u}tzten {E}rkennung und {V}isualisierung harmonischer {S}trukturen -- eine {F}allstudie zu {R}ichard {W}agners ``{D}ie {W}alk{\"u}re''},
booktitle = {{B}ericht zur {J}ahrestagung der {G}esellschaft f{\"u}r {M}usikforschung ({GfM}) 2015 in Halle/Saale},
editor    = {Wolfgang Auhagen and Wolfgang Hirschmann},
publisher = {{S}chott {C}ampus},
address   = {Mainz, Germany},
year      = {2016},
url-details = {http://schott-campus.com/wp-content/uploads/2016/09/weiss-et-al_wagner-1.pdf},
url-pdf   = {2016_WeissKM_Wagner_GfM-Schott.pdf}
}
  5. Christof Weiß, Matthias Mauch, Simon Dixon, and Meinard Müller
    Investigating Style Evolution of Western Classical Music: A Computational Approach
    Musicae Scientiae, 23(4): 486–507, 2018. PDF DOI 
    @article{WeissMDM18_StyleEvolution_MusicaeScientiae,
author  = {Christof Wei{\ss} and Matthias Mauch and Simon Dixon and Meinard M{\"u}ller},
title   = {Investigating Style Evolution of {W}estern Classical Music: {A} Computational Approach},
journal = {Musicae Scientiae},
volume  = {23},
number  = {4},
pages   = {486--507},
year    = {2018},
doi     = {10.1177/1029864918757595},
url-pdf = {https://doi.org/10.1177/1029864918757595}
}
  6. Christof Weiß and Meinard Müller
    Computergestützte Visualisierung von Tonalitätsverläufen in Musikaufnahmen. Möglichkeiten für die Korpusanalyse
    In Stephanie Klauk (ed.): Instrumentalmusik neben Haydn und Mozart. Analyse, Aufführungspraxis und Edition, Saarbrücker Studien zur Musikwissenschaft 20, Königshausen & Neumann: 107–130, 2021. 
    @incollection{WeissM21_TonalityVisualization_SSM,
author    = {Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {{C}omputergest{\"u}tzte {V}isualisierung von {T}onalit{\"a}tsverl{\"a}ufen in {M}usikaufnahmen. {M}{\"o}glichkeiten f{\"u}r die {K}orpusanalyse},
booktitle = {{I}nstrumentalmusik neben {H}aydn und {M}ozart. {A}nalyse, {A}uff{\"u}hrungspraxis und {E}dition},
pages     = {107--130},
year      = {2021},
editor    = {Stephanie Klauk},
publisher = {Saarbr{\"u}cker Studien zur Musikwissenschaft 20, Königshausen {\&} Neumann},
isbn = {978-3-8260-7021-1}
}
  7. Christof Weiß, Frank Zalkow, Meinard Müller, Stephanie Klauk, and Rainer Kleinertz
    Versionsübergreifende Visualisierung Harmonischer Verläufe: Eine Fallstudie zu Wagners Ring-Zyklus
    In Proceedings of the GI Jahrestagung: 205–217, 2017. PDF 
    @inproceedings{WeissZMKK17_WagnerRing_GI,
author    = {Christof Wei{\ss} and Frank Zalkow and Meinard M{\"u}ller and Stephanie Klauk and Rainer Kleinertz},
title     = {{V}ersionsübergreifende {V}isualisierung {H}armonischer {V}erl{\"a}ufe: {E}ine {F}allstudie zu {W}agners {R}ing-{Z}yklus},
booktitle = {Proceedings of the GI Jahrestagung},
address   = {Chemnitz, Germany},
year      = {2017},
pages     = {205--217},
url-pdf   = {2017_WeissZMKK_Wagner_GI.pdf}
}
  8. Frank Zalkow, Christof Weiß, and Meinard Müller
    Exploring Tonal-Dramatic Relationships in Richard Wagner's Ring Cycle
    In Proceedings of the International Society for Music Information Retrieval Conference (ISMIR): 642–648, 2017. PDF 
    @inproceedings{ZalkowWM17_WagnerHarmony_ISMIR,
author    = {Frank Zalkow and Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {Exploring Tonal-Dramatic Relationships in Richard {W}agne{r's} Ring Cycle},
booktitle = {Proceedings of the International Society for Music Information Retrieval Conference  ({ISMIR})},
address   = {Suzhou, China},
year      = {2017},
pages     = {642--648},
url-pdf   = {2017_ZalkowWM_Wagner_ISMIR.pdf}
}
  9. Frank Zalkow, Christof Weiß, Thomas Prätzlich, Vlora Arifi-Müller, and Meinard Müller
    A Multi-Version Approach for Transferring Measure Annotations Between Music Recordings
    In Proceedings of the AES Conference on Semantic Audio, 2017. Details 
    @inproceedings{ZalkowWPAM17_MultiVersionAnn_AES,
author    = {Frank Zalkow and Christof Wei{\ss} and Thomas Pr{\"a}tzlich and Vlora Arifi-M{\"u}ller and Meinard M{\"u}ller},
title     = {A Multi-Version Approach for Transferring Measure Annotations Between Music Recordings},
booktitle = {Proceedings of the {AES} Conference on Semantic Audio},
address = {Erlangen, Germany},
year      = {2017},
url-details = {http://www.aes.org/e-lib/browse.cfm?elib=18772},
}

Links