Research Projects

On this website, you find a short description of the projects I have been involved in over the last years.

DFG-Projekt: GVM [MU 2686/13-1, SCHE 280/20-1] (2018 - 2021)

DFG Teaser_GVM

Computational Analysis of Traditional Georgian Vocal Music (GVM)

Georgia has a rich cultural heritage. Its traditional polyphonic vocal music, which has been acknowledged as Intangible Cultural Heritage by the UNESCO in 2001, is one of the most prominent examples. Being an orally transmitted culture, most of the sources are available as field recordings (often with rather poor audio quality). Musicological research using these sources has usually been conducted on the basis of notated musical scores, which were obtained by manually transcribing the audio material. Such approaches are problematic since important tonal cues and performance aspects are likely to get lost in the transcription process. Furthermore, previous studies often suffer from subjectivity and reproducibility issues. In this context, our general goal for the GVM project is to advance ethnomusicological research with a focus on traditional Georgian vocal music by employing computational methods from audio signal processing and music information retrieval (MIR). More specifically, we have three main objectives. First, we aim at improving the understanding of traditional Georgian vocal music by analyzing a newly-created corpus of (high-quality) field recordings. Second, by developing novel computational tools applied to a concrete music scenario, we want to explore and demonstrate the potential of computer-assisted methods for reproducible and corpus-driven research within the humanities. Third, by systematically processing and annotating a unique multimodal collection of field recordings as well as by implementing tools for accessing and analyzing this data with web-based technologies, our ambition is to contribute to the preservation and dissemination of the rich, yet endangered Georgian musical heritage.

Cooperating Partners

DFG-Transferprojekt: AnChor [MU 2686/12-1] (2017 - 2020)

DFG Teaser_AnChor

Automated Methods and Tools for Analyzing and Structuring Choral Music

Processing musical signals automatically is a major challenge because of the variety of music in form and content. The Metrum project, funded by the DFG from 2012 to 2015, dealt with the development of fundamental computer-assisted methods for analyzing and structuring musical signals. In the transfer project we propose, these automated methods are to be tested in practice, in cooperation with the Carus publishing house—a leading music publisher for religious and secular choral music with headquarters in Stuttgart. We plan to develop web-based prototypes for the interactive navigation and analysis of choral music recordings, which may be used to support music lessons in schools or to train choir directors. Besides realizing the prototypes, the following fundamental questions are in the focus of the project. First, we want to examine the suitability of novel navigation, visualization and sonification methods for musical structures by integrating them into user interfaces. Second, we want to investigate how and to what extent (partially) automated procedures can help simplify the process of linking and analyzing multimedia content - tasks that are often done in a purely manual fashion. In particular, we want to evaluate and adapt automated synchronization and structuring methods considering specific application scenarios. Third, we want to develop personalization strategies embedded into interactive tools that allow users to structure and analyze music recordings according to their specific needs, expectations, and requirements. Such strategies are not only of great practical relevance, but raise new scientific questions on how to develop adaptive strategies for analyzing and modifying musical signals. Through the close collaboration with the Carus publishing house, the project offers numerous cross-connections to fields such as music education and musicology, which will stimulate further interdisciplinary cooperations.

DFG-Projekt: ISAD [MU 2686/11-1, AB 675/2-1] (2017 - 2020)


Informed Sound Activity Detection in Music Recordings

In music information retrieval, the development of computational methods for analyzing, segmenting, and classifying music signals is of fundamental importance. One prominent task is known as singing voice detection. The objective is to automatically locate all sections of a given music recording where a main singer is active. Although this task seems to be simple for human listeners, the detection of the singing voice by computational methods remains difficult due to complex superpositions of sound sources that typically occur in music where the singing voice interacts with accompanying instruments. Extending this scenario, the goal of automatic instrument recognition is to identify all performing instruments in a given music recording and to derive a segmentation into sections with homogeneous instrumentation. Other related problems deal with finding all monophonic sections, identifying all solo parts or sections with a predominant melody, or locating sections with a specific timbre. In this project, motivated by these segmentation problems, we want to adopt a comprehensive perspective. Our goal is to explore fundamental techniques and computational tools for detecting sound sources or characteristic sound events that are present in a given music recording. To cope with a wide range of musical properties and complex superpositions of different sound sources, we want to focus on informed approaches that exploit various types of additional knowledge. Such knowledge may be given in the form of musical parameters (e.g., number of instruments, score information), sound examples (e.g., instrument samples, representative sections), or user input (e.g., annotations, interactive feedback). By combining audio segmentation, detection, and classification techniques, one main objective is to develop novel approaches that can efficiently adapt to requirements within specific application scenarios. To test and evaluate our activity detection algorithms, we consider various challenging music scenarios including Western classical music, jazz music, and opera recordings.

Cooperating Partners

DFG-Projekt: SeReCo [MU 2686/10-1] (2016 - 2019)

DFG Teaser_DrumSeparation

Source Separation and Restoration of Drum Sound Components in Music Recordings

The general goal of music source separation is to decompose a music recording into its constituent signal components. One of the main problems is that the separated signals may suffer from severe audible artifacts. Considering the challenging scenario of percussive and non-harmonic sound sources, this project aims at the development of techniques and tools for separating and restoring drum sound events in a perceptually convincing way. We want to systematically approach this general source separation problem by considering a number of more specific objectives. A first goal is to develop cascaded techniques for decomposing a music mixture into (mid-level) harmonic, percussive, transient, and residual components. A second goal is to decompose drum tracks into individual drum sound events by exploiting specific properties of drum instruments. In particular, by adapting and extending Non-Negative Matrix Factor Deconvolution (NMFD) used as a central methodology of this project, we want to systematically study how audio- and score-based side information can be generated, integrated, and exploited to guide the decomposition. To improve the perceptual quality of the separated drum events, a third goal is to research data-driven restoration approaches for reducing crosstalk and other undesired artifacts. Finally, we want to test and evaluate our decomposition and restoration approaches by considering two different application scenarios: an audio editing application (decomposition and remixing of breakbeats) and a music analysis problem (swing ratio analysis of jazz music). Exploring novel algorithmic approaches for sound source separation within concrete application scenarios, this project aims at contributing to fundamental research of practical relevance.



DFG-Projekt: Harmonic Structures [MU 2686/7-1, KL 864/4-1] (2014 - 2018)


Computergestützte Analyse harmonischer Strukturen

In diesem interdisziplinären Projekt soll am Beispiel der automatisierten Analyse harmonischer Strukturen erprobt werden, inwieweit informatische Methoden gewinnbringend im Bereich der Musikwissenschaft eingesetzt werden können und inwieweit musikwissenschaftliche Fragestellungen zu neuen Herausforderungen in der Informatik führen. Neben computer-basierten Methoden und Werkzeugen zur Harmonieanalyse sind neuartige Visualisierungs- und Navigationskonzepte zu erforschen, die es erlauben, große Musikdatenbestände hinsichtlich harmonischer Strukturen auf interaktive Weise zu durchsuchen und zu analysieren. Die Verifizierung der musikwissenschaftlichen Relevanz der zu entwickelnden Konzepte soll paradigmatisch anhand der Analyse zweier großer Werkzyklen erfolgen: der Klaviersonaten von Ludwig van Beethoven und der Tetralogie Der Ring des Nibelungen von Richard Wagner. Während anhand des Klaviersonaten-Szenarios untersucht werden soll, inwieweit bekannte harmonische Strukturen maschinell nachvollzogen und visuell dargestellt werden können, soll insbesondere im Ring-Szenario auch musikwissenschaftliches Neuland bei der Erforschung bisher verborgener harmonischer Strukturen und Bezüge betreten werden. Eine schon in Teilen automatisierte Auswertung größerer Musikkorpora könnte zu einem Paradigmenwechsel innerhalb der Historischen Musikwissenschaft führen: Bisherige Methoden würden nicht überflüssig, könnten aber auf Grund des ‚objektiv‘ vorgegebenen Befundes – der als solcher kritisch zu überprüfen wäre – mit neuen Fragestellungen konfrontiert werden. Ziel soll dabei nicht die Ablösung der Historischen Musikwissenschaft durch eine wie auch immer zu definierende Musikinformatik sein, sondern vielmehr ein Dialog zwischen Historischer Musikwissenschaft und Informatik auf der Basis ihrer unterschiedlichen Voraussetzungen und Methoden.

Cooperating Partners


DFG-Projekt: SIAMUS [MU 2686/6-1] (2014 - 2017)


Notentext-Informierte Audioparametrisierung von Musiksignalen

Dieses Projekt widmet sich der Erforschung und Umsetzung von robusten und praktikablen Verfahren zur automatisierten Parametrisierung von Musiksignalen. Hierbei geht es insbesondere um die Erfassung und Rekonstruktion von Signalkomponenten, die einzelnen Notenereignissen oder ganzen Melodie- und Instrumentalstimmen entsprechen – eine Aufgabenstellung, die im übergeordneten Bereich der Audiosignalverarbeitung einen engen Bezug zum Quellentrennungsproblem hat. Im Fall von Musik besteht eine wesentliche Herausforderung darin, komplexe Überlagerungen von in enger Beziehung stehenden musikalischen Stimmen zu erlauben (z.B. Gesangsstimmen, Instrumentalstimmen und Begleitstimmen in Klavierliedern oder Opern). Ohne Zusatzwissen ist eine Zerlegung einer ein- oder zweikanaligen Audioaufnahme in solche Stimmen kaum lösbar. Daher soll in diesem Projekt ein informierter Ansatz verfolgt werden, bei dem zusätzlich ein Notentext für die Audioparametrisierung herangezogen wird. Auf Basis von automatisiert berechneten Verknüpfungen zwischen Notentext und Signal soll dabei die Notentextinformation zur Spezifikation und Steuerung des Parametrisierungsprozesses sowie zur Unterstützung der Signalanalyse und -rekonstruktion zum Einsatz kommen. Neben grundsätzlichen Fragestellungen der Signalmodellierung und Parameteroptimierung, sollen auch neuartige Anwendungen zur Audioeditierung realisiert werden, um somit den Praxisbezug und die Nachhaltigkeit des Projekts sicherzustellen.

BMBF-Projekt: Freischütz Digital [01UG1239C] (2012 - 2016)

BMBF Teaser_FreiDi

Freischütz Digital - Paradigmatische Umsetzung eines genuin digitalen Editionskonzepts

Im Anschluss an den Entwurf eines an Frans Wierings Multidimensional Model angelehnten Konzepts genuin digitaler Musikeditionen soll am Beispiel von Webers Freischütz ein proof of concept sowohl für die Möglichkeiten neuartiger Editionsmethoden als auch damit verbundener neuer Fragestellungen geliefert werden. In den von vier Projektpartnern gemeinsam bearbeiteten sechs Arbeitspaketen stehen die graphische, logische und die akustische (bzw. performative) Domäne des Werks im Zentrum. Zugleich wird auf eine umfassende und detaillierte Kontextualisierung der Daten und die dafür notwendigen formalisierten Verknüpfungskonzepte Wert gelegt. Da erstmals der Musik-Codierungsstandard MEI für ein umfangreiches Werk der Common Western Notation angewendet und mit einer TEI-Codierung der Textanteile verbunden wird, eröffnen sich für das Prozessieren, Anreichern und Wiederverwenden der Daten völlig neue Möglichkeiten. Mit der Exploration der Möglichkeiten zur Verknüpfung mit Audio- (und ggf. Video-)Aufnahmen und deren Segmentierung wird das Projekt im akustischen Bereich zur Lösung generischer Fragestellungen beitragen, mit der Demonstration des Potentials seines neuartigen digitalen Editionsmodells die Diskussion über künftige Editionsformen befördern und mit exemplarischen Untersuchungen zum Aspekt der Varianz weitere Grundlagenforschungen anregen.

Cooperating Partners


DFG-Projekt: METRUM [MU 2686/5-1] (2011 - 2015)


Mehrschichtige Analyse und Strukturierung von Musiksignalen

Bei der automatisierten Verarbeitung von Musiksignalen steht man aufgrund der Vielfältigkeit von Musik in Form und Inhalt vor großen Herausforderungen. Im METRUM-Projekt sollen robuste und adaptive Analyse- und Strukturierungsalgorithmen für Musiksignale mit dem Ziel entwickelt werden, akustisch und musikalisch begründete Variabilitäten in den Griff zu bekommen. Die wesentliche Innovation des METRUM-Projekts besteht in einer mehrschichtigen Analyse und Strukturierung unter simultaner Berücksichtigung unterschiedlicher Aspekte wie z.B. Zeit, Rhythmus, Dynamik, Harmonie und Klangfarbe. Neben diesen Aspekten soll ausgenutzt werden, dass ein Musikstück oft in zahlreichen Interpretationen vorliegt. Das simultane Einbeziehen dieser Aspekte und Interpretationen wird zu einer wesentlichen Stabilisierung der automatischen Analyse- und Segmentierungsergebnisse führen. Um Praxisrelevanz und Nachhaltigkeit sicherzustellen, sollen in Kooperation mit dem Beethoven-Haus Bonn und der Hochschule für Musik Saar Benutzerschnittstellen zur multimodalen Navigation in Musikdatenbeständen anhand unterschiedlicher Strukturierungskriterien entwickelt werden. Diese sollen dann für das Digitale Beethoven-Haus implementiert und sowohl dem breiten Museumspublikum als auch einem Fachpublikum zugänglich gemacht werden.

Cooperating Partners


  • Winterreise: Music Structure Analysis for the song cycle "Die Winterreise" (D911) by Franz Schubert
  • SM Toolbox: MATLAB Toolbox for computing and enhancing similarity matrices


DFG-Projekt: REKOBA [MU 2686/3-1] (2008 - 2011)


Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensor- und Kontrolldaten

Die Erfassung, Repräsentation und Charakterisierung von komplexen Bewegungsabläufen spielt eine grundlegende Rolle in Gebieten wie der Medizin, den Sportwissenschaften und der Computergraphik. Bislang verfügbare Sensorik zur Bewegungserfassung (insbesondere optische Systeme) verursachen hohe Anschaffungs- und Betriebskosten und erfordern einen hohen zeitlichen Aufwand für die Messvorbereitungen, was den Einsatz solcher Techniken für Massenanwendungen ausschließt. Demgegenüber könnten neuartige Sensorsysteme (z. B. basierend auf Beschleunigungsund Drehsensoren) aufgrund ihrer Massenproduktion äußerst kostengünstige Alternativen zur Erfassung von Bewegungsdaten darstellen, die zudem eine relativ einfach Handhabung erlauben, insbesondere wenn nur wenige Sensoren gebraucht werden, die etwa in Schuhen, Gürtelschlaufen oder Armbändern angebracht werden. Allerdings sind die resultierenden Sensordaten oft verrauscht und fehlerbehaftet. Um solche Systeme für den Masseneinsatz in Bereichen wie Rehabilitation und Breitensport zugänglich zu machen, werden daher robuste Verfahren zur Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen und verrauschten Sensordaten benötigt. Ziel des REKOBA-Projekts in der ersten zweijährigen Projektphase ist die systematische Erforschung von Methoden und die Implementation eines Echtzeitsystems zur datengestützten Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensordaten. Unter anderem sollen folgende grundlegende Fragestellungen systematisch angegangen werden: Welche und wie viele Sensordaten, die etwa Beschleunigungen und Orientierungsänderungen von Körperteilen messen, sind zur Rekonstruktion von Bewegungen nötig? Welche partiellen Daten sind für Charakterisierungen gewisser Bewegungsklassen notwendig? Wie genau können gewisse Bewegungsabläufe bei vorgegebener Sensorik rekonstruiert werden?

Cooperating Partners


DFG-Projekt: SMART [MU 2686/2-2] (2007 - 2011)


Datengestützte Stabilisierung markerfreier videobasierter Motion-Capture-Systeme

Ziel des beantragten Projekts ist die Entwicklung von robusten und effizienten Verfahren, die ein markerfreies Tracking komplexer menschlicher Bewegungen in Videodaten erlauben. Hierbei soll das Tracking durch Einbeziehen von Vorwissen über geeignete Bewegungsaspekte und unter Ausnutzung zeitlicher Kohärenz durch Abgleich mit zuvor gelernten Bewegungsmustern unterstützt und stabilisiert werden. Schwerpunkte des SMART-Projekts sind die Erforschung kompakter und exibler Repräsentationsformen von Bewegungen, die Generierung von Vorwissen aus 3D-Bewegungsdaten mittels statistischer Lernverfahren, die Integration von A-priori-Wissen beim Bewegungstracking, sowie die Entwicklung effizienter Retrieval- und Klassifikationstechniken füur multimodale Bewegungsdaten. Weiterhin sollen zur Anreicherung des Vorwissens Rückkopplungsmechanismen zwischen den getrackten Bewegungssequenzen und der Wissensdatenbank erforscht werden. Auf diese Weise soll in einer Top-Down Strategie das Einbringen von Bewegungsdynamik zur Bildanalyse verwendet und umgekehrt in einem Bottom-Up Prozess das A-priori-Wissen der Datenbanken verschärft werden.

Cooperating Partners

DFG-Projekt: ARMADA [CL 64/6-1] (2007 - 2011)


Automatisierte Erschließung von Musikdokumenten unter Ausnutzung verschiedener Darstellungsformen

Ziel des beantragten Projekts ist die Entwicklung robuster und effizienter Verfahren zur automatisierten Erschließung komplexer inhomogener Musikdatenbestände, die neben Audiodaten (CD, MP3) auch textbasierte Daten (Metadaten, Liedtexte, Libretti), symbolische Partiturdaten (MusicXML, Capella, MIDI) oder Bilddaten (gescannte Partituren) enthalten. Standardansätze zur automatisiserten Musikdatenerschließung, die oft nur die Kenntnis eines einzelnen Dokuments eines bestimmten Datentyps voraussetzen, stoßen bei solchen Aufgaben schnell an ihre Grenzen. In diesem Forschungsvorhaben soll nun ein neuartiger Ansatz zur Datenerschließung verfolgt werden, bei dem das Vorliegen unterschiedlicher Darstellungsformen ein und desselben Musikstücks systematisch ausgenutzt werden soll. Hierzu sollen einerseits generische Methoden zur automatisierten Verlinkung und Synchronisation semantisch in Beziehung stehender Musikdaten unterschiedlicher Formate entwickelt werden. Die berechneten Verlinkungs- und Synchronisationsstrukturen sollen dann verwendet werden, um konkrete Aufgaben des Music Information Retrieval wie die automatisierte Annotation, Strukturanalyse oder Transkription von Musikstücken zu unterstützen oder gar erst zu ermöglichen. Zur Evaluation und Demonstration der Praxisrelevanz der zu entwickelnden Methoden werden diese in ein in Entwicklung befindliches Software-System (SyncPlayer) integriert, das es dem Benutzer erlaubt, Musik in unterschiedlichen Erscheinungsformen zu durchsuchen, zu analysieren oder einfach nur zu genießen.

Cooperating Partners