International Audio Laboratories Erlangen

Seminar and Lecture: Wie gut können Computer hören? – Über die Anwendung musiktheoretischer Konzepte auf Audiodaten

Teaser_01_MusicRepr Teaser_02_FourierTr Teaser_05_ChordReco Teaser_05_ScaleWalkuere


This is an invited seminar on Music Information Retrieval organized by the Hochschule für Musik Würzburg.

Content [German]

In diesem Seminar werden aktuelle Technologien zur computergestützten Musikverarbeitung vorgestellt und deren Anwendung in der Musiktheorie demonstriert. Im Gegensatz zur "klassischen" Partituranalyse arbeiten diese Technologien auf Basis von Musikaufnahmen (Audiodaten). Ausgehend von einfachen Frequenzmessungen wird die computergestützte Analyse von Tonhöhen, Intervallen, Akkorden und Tonarten bis hin zur automatischen Erkennung von Epochen oder Komponisten gezeigt. Schwerpunkt des Seminars ist die Anwendung der Konzepte auf Musiktheorie, Musikwissenschaft und Analyse. Das Potential der Methoden wird dabei besonders in der Anwendung auf große Musik-Korpora (Wagner's "Ring", Werkzyklen und große Datensätze) verdeutlicht. Neben der gemeinsamen Diskussion der Methoden und Ergebnisse wird auch eine praktische Anwendung grundlegender Technologien mittels frei verfügbarer Software vermittelt.

Inhalte:

  • Frequenzmessung und Spektralanalyse: Die Fourier-Transformation
  • Gemessene Tonhöhen: Chromamerkmale, Akkord- und Skalenvisualisierung
  • Hands-On: Extraktion von Chromamerkmalen mit Sonic Visualizer
  • Programmierbeispiel: Tonart-Visualisierung mit Python
  • Realisierung musiktheoretischer Konzepte: Skalentypen, Pitch Class Sets, Akkordübergänge und tonale Komplexität
  • Historischer Kontext: musiktheoretische Beobachtungen in großen Korpora
  • Anwendung: Automatische Zuordnung zu Epochen und Komponisten

Voraussetzungen:

  • Grundkenntnisse in Tonsatz, Gehörbildung, Analyse und Musikgeschichte
  • keine Programmierkenntnisse nötig!

Einen Eindruck von den Inhalten vermittelt folgendes Video, produziert im Zusammenhang mit dem KlarText-Preis 2018 der Klaus-Tschira-Stiftung:

Playing back this video will transmit data to the service provider. To activate the video player, please press the button below.

Material

  • Seminar
    Slides (PDF), Handouts (6 slides per page) (PDF)
  • Talk
    Slides (PDF), Handouts (6 slides per page) (PDF)

Tools

Dissertation

Christof Weiß
Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings
See [1] for details.

Textbook

Cover_Mueller_FMP_small

Meinard Müller
Fundamentals of Music Processing
Audio, Analysis, Algorithms, Applications
ISBN: 978-3-319-21944-8
Springer, 2015

Further Literature

  1. Christof Weiß
    Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings
    PhD Thesis, Ilmenau University of Technology, 2017. PDF Presentation 
    @PhdThesis{Weiss17_StyleAnalysis_PhD,
author           = {Christof Wei{\ss}},
title            = {Computational Methods for Tonality-Based Style Analysis of Classical Music Audio Recordings},
school           = {Ilmenau University of Technology},
address          = {Ilmenau, Germany},
year             = {2017},
url              = {http://www.db-thueringen.de/receive/dbt_mods_00032890},
url-pdf          = {http://www.db-thueringen.de/servlets/MCRFileNodeServlet/dbt_derivate_00039054/ilm1-2017000293.pdf},
url-presentation = {2017_Weiss_PhD-Defense_TUIlmenau.pdf}
}
  2. Meinard Müller
    Fundamentals of Music Processing — Audio, Analysis, Algorithms, Applications
    Springer Verlag, ISBN: 978-3-319-21944-8, 2015. Details 
    @book{Mueller15_FundamentalsMusicProcessig_SPRINGER,
author    = {Meinard M\"{u}ller},
title     = {Fundamentals of Music Processing -- Audio, Analysis, Algorithms, Applications},
type      = {Monograph},
year      = {2015},
isbn      = {978-3-319-21944-8},
publisher = {Springer Verlag},
url-details={http://www.music-processing.de}
}
  3. Christof Weiß, Matthias Mauch, Simon Dixon, and Meinard Müller
    Investigating Style Evolution of Western Classical Music: A Computational Approach
    Musicae Scientiae, 2018. PDF Details DOI 
    @article{WeissMDM18_StyleEvolution_MusicaeScientiae,
author  = {Christof Wei{\ss} and Matthias Mauch and Simon Dixon and Meinard M{\"u}ller},
title   = {Investigating Style Evolution of Western Classical Music: A Computational Approach},
journal = {Musicae Scientiae},
volume  = {0},
number  = {0},
pages   = {0},
year    = {2018},
doi     = {10.1177/1029864918757595},
url-pdf = {2017_WeissMDM_StyleClustering_MS.pdf},
url-details = {https://www.audiolabs-erlangen.de/resources/MIR/cross-era/}
}
  4. Christof Weiß, Frank Zalkow, Meinard Müller, Stephanie Klauk, and Rainer Kleinertz
    Computergestützte Visualisierung harmonischer Verläufe: Eine Fallstudie zu Wagners Ring
    In Proceedings of the 47. Jahrestagung der Gesellschaft für Informatik (GI): 205–217, 2017. PDF 
    @inproceedings{WeissZMKK_WagnerRing_GI,
author    = {Christof Wei{\ss} and Frank Zalkow and Meinard M{\"u}ller and Stephanie Klauk and Rainer Kleinertz},
title     = {{C}omputergest{\"u}tzte {V}isualisierung harmonischer {V}erl{\"a}ufe: {E}ine {F}allstudie zu {W}agners {R}ing},
booktitle = {Proceedings of the 47. Jahrestagung der Gesellschaft f{\"{u}}r Informatik ({GI})},
pages     = {205--217},
address   = {Chemnitz, Germany},
year      = {2017},
url-pdf   = {https://scholar.google.de/scholar?oi=bibs&cluster=2644185005337595181&btnI=1&hl=de}
}
  5. Christof Weiß, Rainer Kleinertz, and Meinard Müller
    Möglichkeiten der computergestützten Erkennung und Visualisierung harmonischer Strukturen — eine Fallstudie zu Richard Wagners Die Walküre''
    In Bericht zur Jahrestagung der Gesellschaft für Musikforschung (GfM) 2015 in Halle/Saale, 2016. PDF 
    @inproceedings{WeissKM16_Wagner_GfM,
author    = {Christof Wei{\ss} and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {{M}{\"o}glichkeiten der computergest{\"u}tzten {E}rkennung und {V}isualisierung harmonischer {S}trukturen -- eine {F}allstudie zu {R}ichard {W}agners ``{D}ie {W}alk{\"u}re''},
booktitle = {{B}ericht zur {J}ahrestagung der {G}esellschaft f{\"u}r {M}usikforschung ({GfM}) 2015 in Halle/Saale},
editor    = {Wolfgang Auhagen and Wolfgang Hirschmann},
publisher = {{S}chott {C}ampus},
address   = {Mainz, Germany},
year      = {2016},
url-pdf   = {2016_WeissKM_HarmStrukturWalkuere_SchottCampus.pdf}
}
  6. Frank Zalkow, Christof Weiß, and Meinard Müller
    Exploring Tonal-Dramatic Relationships in Richard Wagner's Ring Cycle
    In Proceedings of the 18th International Society for Music Information Retrieval Conference (ISMIR): 642–648, 2017. PDF 
    @inproceedings{ZalkowWM17_WagnerHarmony_ISMIR,
author    = {Frank Zalkow and Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {Exploring Tonal-Dramatic Relationships in {R}ichard {W}agner{'}s {R}ing Cycle},
booktitle = {Proceedings of the 18th International Society for Music Information Retrieval Conference ({ISMIR})},
pages     = {642--648},
address   = {Suzhou, China},
year      = {2017},
url-pdf   = {http://ismir2017.smcnus.org/wp-content/uploads/2017/10/132_Paper.pdf}
}
  7. Christof Weiß, Vlora Arifi-Müller, Thomas Prätzlich, Rainer Kleinertz, and Meinard Müller
    Analyzing Measure Annotations for Western Classical Music Recordings
    In Proceedings of the International Conference on Music Information Retrieval (ISMIR): 517–523, 2016. PDF 
    @inproceedings{WeissAPKM16_Measure_ISMIR,
author    = {Christof Wei{\ss} and Vlora Arifi-M{\"u}ller and Thomas Pr{\"a}tzlich and Rainer Kleinertz and Meinard M{\"u}ller},
title     = {Analyzing Measure Annotations for Western Classical Music Recordings},
booktitle = {Proceedings of the International Conference on Music Information Retrieval ({ISMIR})},
address   = {New York, USA},
year      = {2016},
pages     = {517--523},
url-pdf   = {2016_WeissAPKM_MeasureAnnotation_ISMIR_ePrint.pdf}
}
  8. Christof Weiss and Meinard Müller
    Tonal Complexity Features for Style Classification of Classical Music
    In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP): 688–692, 2015. PDF 
    @inproceedings{WeissM15_TonalComplexity_ICASSP,
author    = {Christof Weiss and Meinard M{\"u}ller},
title     = {Tonal Complexity Features for Style Classification of Classical Music},
booktitle  = {Proceedings of the {IEEE} International Conference on Acoustics, Speech, and Signal Processing ({ICASSP})},
address  = {Brisbane, Australia},
year       = {2015},
pages    = {688--692},
url-pdf   = {2015_WeissMueller_TonalComplexity_ICASSP.pdf}
}
  9. Christof Weiß and Meinard Müller
    Quantifying and Visualizing Tonal Complexity
    In Proceedings of the 9th Conference on Interdisciplinary Musicology (CIM): 184–187, 2014. PDF 
    @inproceedings{WeissM14_TonalComplexity_CIM,
author    = {Christof Wei{\ss} and Meinard M{\"u}ller},
title     = {Quantifying and Visualizing Tonal Complexity},
booktitle = {Proceedings of the 9th Conference on Interdisciplinary Musicology ({CIM})},
pages     = {184--187},
address   = {Berlin, Germany},
year      = {2014},
url-pdf   = {CIM14_WeissMueller_TonalComplexity.pdf}
}
  10. Christof Weiß and Julian Habryka
    Chroma-Based Scale Matching for Audio Tonality Analysis
    In Proceedings of the 9th Conference on Interdisciplinary Musicology (CIM): 168–173, 2014. PDF 
    @inproceedings{WeissH14_LocalKeys_CIM,
author    = {Christof Wei{\ss} and Julian Habryka},
title     = {Chroma-Based Scale Matching for Audio Tonality Analysis},
booktitle = {Proceedings of the 9th Conference on Interdisciplinary Musicology ({CIM})},
pages     = {168--173},
address   = {Berlin, Germany},
year      = {2014},
url-pdf   = {CIM14_WeissHabryka_ScaleMatching.pdf}
}
  11. Julian Habryka and Christof Weiß
    Zum Scherzo aus Hans Rotts 1. Sinfonie
    In Ariane Jeßulat (ed.): Mythos Handwerk?, Königshausen & Neumann: 187–212, 2015. 
    @incollection{HabrykaW15_LocalKey_KOENIGSHAUSEN,
author    = {Julian Habryka and Christof Wei{\ss}},
title     = {{Z}um {S}cherzo aus {H}ans {R}otts 1. {S}infonie},
publisher = {{K}{\"o}nigshausen {\&} {N}eumann},
editor    = {Ariane Je{\ss}ulat},
booktitle = {{M}ythos {H}andwerk?},
pages     = {187--212},
address   = {W{\"u}rzburg, Germany},
year      = {2015}
}
  12. Chris Cannam, Christian Landone, and Mark B. Sandler
    Sonic Visualiser: An Open Source Application for Viewing, Analysing, and Annotating Music Audio Files
    In Proceedings of the International Conference on Multimedia: 1467–1468, 2010. 
    @inproceedings{CannamLS10_SonicVisualizer_ICMC,
author    = {Chris Cannam and Christian Landone and Mark B. Sandler},
title     = {Sonic Visualiser: An Open Source Application for Viewing, Analysing, and Annotating Music Audio Files},
booktitle = {Proceedings of the International Conference on Multimedia},
address   = {Florence, Italy},
month     = {October},
pages     = {1467--1468},
year      = {2010},
}