Research Projects

On this website, you find a short description of the projects I have been involved in over the last years.

DFG-Projekt: SeReCo [MU 2686/10-1] (2016 - 2019)

DFG Teaser_DrumSeparation

Source Separation and Restoration of Drum Sound Components in Music Recordings

The general goal of music source separation is to decompose a music recording into its constituent signal components. One of the main problems is that the separated signals may suffer from severe audible artifacts. Considering the challenging scenario of percussive and non-harmonic sound sources, this project aims at the development of techniques and tools for separating and restoring drum sound events in a perceptually convincing way. We want to systematically approach this general source separation problem by considering a number of more specific objectives. A first goal is to develop cascaded techniques for decomposing a music mixture into (mid-level) harmonic, percussive, transient, and residual components. A second goal is to decompose drum tracks into individual drum sound events by exploiting specific properties of drum instruments. In particular, by adapting and extending Non-Negative Matrix Factor Deconvolution (NMFD) used as a central methodology of this project, we want to systematically study how audio- and score-based side information can be generated, integrated, and exploited to guide the decomposition. To improve the perceptual quality of the separated drum events, a third goal is to research data-driven restoration approaches for reducing crosstalk and other undesired artifacts. Finally, we want to test and evaluate our decomposition and restoration approaches by considering two different application scenarios: an audio editing application (decomposition and remixing of breakbeats) and a music analysis problem (swing ratio analysis of jazz music). Exploring novel algorithmic approaches for sound source separation within concrete application scenarios, this project aims at contributing to fundamental research of practical relevance.

DFG-Projekt: Harmonic Structures [MU 2686/7-1] (2014 - 2018)

DFG Teaser_HARM

Computergestützte Analyse harmonischer Strukturen

In diesem interdisziplinären Projekt soll am Beispiel der automatisierten Analyse harmonischer Strukturen erprobt werden, inwieweit informatische Methoden gewinnbringend im Bereich der Musikwissenschaft eingesetzt werden können und inwieweit musikwissenschaftliche Fragestellungen zu neuen Herausforderungen in der Informatik führen. Neben computer-basierten Methoden und Werkzeugen zur Harmonieanalyse sind neuartige Visualisierungs- und Navigationskonzepte zu erforschen, die es erlauben, große Musikdatenbestände hinsichtlich harmonischer Strukturen auf interaktive Weise zu durchsuchen und zu analysieren. Die Verifizierung der musikwissenschaftlichen Relevanz der zu entwickelnden Konzepte soll paradigmatisch anhand der Analyse zweier großer Werkzyklen erfolgen: der Klaviersonaten von Ludwig van Beethoven und der Tetralogie Der Ring des Nibelungen von Richard Wagner. Während anhand des Klaviersonaten-Szenarios untersucht werden soll, inwieweit bekannte harmonische Strukturen maschinell nachvollzogen und visuell dargestellt werden können, soll insbesondere im Ring-Szenario auch musikwissenschaftliches Neuland bei der Erforschung bisher verborgener harmonischer Strukturen und Bezüge betreten werden. Eine schon in Teilen automatisierte Auswertung größerer Musikkorpora könnte zu einem Paradigmenwechsel innerhalb der Historischen Musikwissenschaft führen: Bisherige Methoden würden nicht überflüssig, könnten aber auf Grund des ‚objektiv‘ vorgegebenen Befundes – der als solcher kritisch zu überprüfen wäre – mit neuen Fragestellungen konfrontiert werden. Ziel soll dabei nicht die Ablösung der Historischen Musikwissenschaft durch eine wie auch immer zu definierende Musikinformatik sein, sondern vielmehr ein Dialog zwischen Historischer Musikwissenschaft und Informatik auf der Basis ihrer unterschiedlichen Voraussetzungen und Methoden.

Cooperating Partners

Links

DFG-Projekt: SIAMUS [MU 2686/6-1] (2014 - 2017)

DFG Teaser_SIAMUS

Notentext-Informierte Audioparametrisierung von Musiksignalen

Dieses Projekt widmet sich der Erforschung und Umsetzung von robusten und praktikablen Verfahren zur automatisierten Parametrisierung von Musiksignalen. Hierbei geht es insbesondere um die Erfassung und Rekonstruktion von Signalkomponenten, die einzelnen Notenereignissen oder ganzen Melodie- und Instrumentalstimmen entsprechen – eine Aufgabenstellung, die im übergeordneten Bereich der Audiosignalverarbeitung einen engen Bezug zum Quellentrennungsproblem hat. Im Fall von Musik besteht eine wesentliche Herausforderung darin, komplexe Überlagerungen von in enger Beziehung stehenden musikalischen Stimmen zu erlauben (z.B. Gesangsstimmen, Instrumentalstimmen und Begleitstimmen in Klavierliedern oder Opern). Ohne Zusatzwissen ist eine Zerlegung einer ein- oder zweikanaligen Audioaufnahme in solche Stimmen kaum lösbar. Daher soll in diesem Projekt ein informierter Ansatz verfolgt werden, bei dem zusätzlich ein Notentext für die Audioparametrisierung herangezogen wird. Auf Basis von automatisiert berechneten Verknüpfungen zwischen Notentext und Signal soll dabei die Notentextinformation zur Spezifikation und Steuerung des Parametrisierungsprozesses sowie zur Unterstützung der Signalanalyse und -rekonstruktion zum Einsatz kommen. Neben grundsätzlichen Fragestellungen der Signalmodellierung und Parameteroptimierung, sollen auch neuartige Anwendungen zur Audioeditierung realisiert werden, um somit den Praxisbezug und die Nachhaltigkeit des Projekts sicherzustellen.

BMBF-Projekt: Freischütz Digital [01UG1239C] (2012 - 2016)

BMBF Teaser_FreiDi

Freischütz Digital - Paradigmatische Umsetzung eines genuin digitalen Editionskonzepts

Im Anschluss an den Entwurf eines an Frans Wierings Multidimensional Model angelehnten Konzepts genuin digitaler Musikeditionen soll am Beispiel von Webers Freischütz ein proof of concept sowohl für die Möglichkeiten neuartiger Editionsmethoden als auch damit verbundener neuer Fragestellungen geliefert werden. In den von vier Projektpartnern gemeinsam bearbeiteten sechs Arbeitspaketen stehen die graphische, logische und die akustische (bzw. performative) Domäne des Werks im Zentrum. Zugleich wird auf eine umfassende und detaillierte Kontextualisierung der Daten und die dafür notwendigen formalisierten Verknüpfungskonzepte Wert gelegt. Da erstmals der Musik-Codierungsstandard MEI für ein umfangreiches Werk der Common Western Notation angewendet und mit einer TEI-Codierung der Textanteile verbunden wird, eröffnen sich für das Prozessieren, Anreichern und Wiederverwenden der Daten völlig neue Möglichkeiten. Mit der Exploration der Möglichkeiten zur Verknüpfung mit Audio- (und ggf. Video-)Aufnahmen und deren Segmentierung wird das Projekt im akustischen Bereich zur Lösung generischer Fragestellungen beitragen, mit der Demonstration des Potentials seines neuartigen digitalen Editionsmodells die Diskussion über künftige Editionsformen befördern und mit exemplarischen Untersuchungen zum Aspekt der Varianz weitere Grundlagenforschungen anregen.

Cooperating Partners

Links

DFG-Projekt: METRUM [MU 2686/5-1] (2011 - 2015)

DFG Teaser_METRM

Mehrschichtige Analyse und Strukturierung von Musiksignalen

Bei der automatisierten Verarbeitung von Musiksignalen steht man aufgrund der Vielfältigkeit von Musik in Form und Inhalt vor großen Herausforderungen. Im METRUM-Projekt sollen robuste und adaptive Analyse- und Strukturierungsalgorithmen für Musiksignale mit dem Ziel entwickelt werden, akustisch und musikalisch begründete Variabilitäten in den Griff zu bekommen. Die wesentliche Innovation des METRUM-Projekts besteht in einer mehrschichtigen Analyse und Strukturierung unter simultaner Berücksichtigung unterschiedlicher Aspekte wie z.B. Zeit, Rhythmus, Dynamik, Harmonie und Klangfarbe. Neben diesen Aspekten soll ausgenutzt werden, dass ein Musikstück oft in zahlreichen Interpretationen vorliegt. Das simultane Einbeziehen dieser Aspekte und Interpretationen wird zu einer wesentlichen Stabilisierung der automatischen Analyse- und Segmentierungsergebnisse führen. Um Praxisrelevanz und Nachhaltigkeit sicherzustellen, sollen in Kooperation mit dem Beethoven-Haus Bonn und der Hochschule für Musik Saar Benutzerschnittstellen zur multimodalen Navigation in Musikdatenbeständen anhand unterschiedlicher Strukturierungskriterien entwickelt werden. Diese sollen dann für das Digitale Beethoven-Haus implementiert und sowohl dem breiten Museumspublikum als auch einem Fachpublikum zugänglich gemacht werden.

Cooperating Partners

Demos

  • Winterreise: Music Structure Analysis for the song cycle "Die Winterreise" (D911) by Franz Schubert
  • SM Toolbox: MATLAB Toolbox for computing and enhancing similarity matrices

Literature

DFG-Projekt: REKOBA [MU 2686/3-1] (2008 - 2011)

DFG Teaser_REKOBA

Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensor- und Kontrolldaten

Die Erfassung, Repräsentation und Charakterisierung von komplexen Bewegungsabläufen spielt eine grundlegende Rolle in Gebieten wie der Medizin, den Sportwissenschaften und der Computergraphik. Bislang verfügbare Sensorik zur Bewegungserfassung (insbesondere optische Systeme) verursachen hohe Anschaffungs- und Betriebskosten und erfordern einen hohen zeitlichen Aufwand für die Messvorbereitungen, was den Einsatz solcher Techniken für Massenanwendungen ausschließt. Demgegenüber könnten neuartige Sensorsysteme (z. B. basierend auf Beschleunigungsund Drehsensoren) aufgrund ihrer Massenproduktion äußerst kostengünstige Alternativen zur Erfassung von Bewegungsdaten darstellen, die zudem eine relativ einfach Handhabung erlauben, insbesondere wenn nur wenige Sensoren gebraucht werden, die etwa in Schuhen, Gürtelschlaufen oder Armbändern angebracht werden. Allerdings sind die resultierenden Sensordaten oft verrauscht und fehlerbehaftet. Um solche Systeme für den Masseneinsatz in Bereichen wie Rehabilitation und Breitensport zugänglich zu machen, werden daher robuste Verfahren zur Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen und verrauschten Sensordaten benötigt. Ziel des REKOBA-Projekts in der ersten zweijährigen Projektphase ist die systematische Erforschung von Methoden und die Implementation eines Echtzeitsystems zur datengestützten Rekonstruktion von Bewegungsabläufen aus niedrigdimensionalen Sensordaten. Unter anderem sollen folgende grundlegende Fragestellungen systematisch angegangen werden: Welche und wie viele Sensordaten, die etwa Beschleunigungen und Orientierungsänderungen von Körperteilen messen, sind zur Rekonstruktion von Bewegungen nötig? Welche partiellen Daten sind für Charakterisierungen gewisser Bewegungsklassen notwendig? Wie genau können gewisse Bewegungsabläufe bei vorgegebener Sensorik rekonstruiert werden?

Cooperating Partners

Links

DFG-Projekt: SMART [MU 2686/2-2] (2007 - 2011)

DFG Teaser_SMART

Datengestüutzte Stabilisierung markerfreier videobasierter Motion-Capture-Systeme

Ziel des beantragten Projekts ist die Entwicklung von robusten und effizienten Verfahren, die ein markerfreies Tracking komplexer menschlicher Bewegungen in Videodaten erlauben. Hierbei soll das Tracking durch Einbeziehen von Vorwissen über geeignete Bewegungsaspekte und unter Ausnutzung zeitlicher Kohärenz durch Abgleich mit zuvor gelernten Bewegungsmustern unterstützt und stabilisiert werden. Schwerpunkte des SMART-Projekts sind die Erforschung kompakter und exibler Repräsentationsformen von Bewegungen, die Generierung von Vorwissen aus 3D-Bewegungsdaten mittels statistischer Lernverfahren, die Integration von A-priori-Wissen beim Bewegungstracking, sowie die Entwicklung effizienter Retrieval- und Klassifikationstechniken füur multimodale Bewegungsdaten. Weiterhin sollen zur Anreicherung des Vorwissens Rückkopplungsmechanismen zwischen den getrackten Bewegungssequenzen und der Wissensdatenbank erforscht werden. Auf diese Weise soll in einer Top-Down Strategie das Einbringen von Bewegungsdynamik zur Bildanalyse verwendet und umgekehrt in einem Bottom-Up Prozess das A-priori-Wissen der Datenbanken verschärft werden.

Cooperating Partners

DFG-Projekt: ARMADA [CL 64/6-1] (2007 - 2011)

DFG Teaser_ARMADA

Automatisierte Erschließung von Musikdokumenten unter Ausnutzung verschiedener Darstellungsformen

Ziel des beantragten Projekts ist die Entwicklung robuster und effizienter Verfahren zur automatisierten Erschließung komplexer inhomogener Musikdatenbestände, die neben Audiodaten (CD, MP3) auch textbasierte Daten (Metadaten, Liedtexte, Libretti), symbolische Partiturdaten (MusicXML, Capella, MIDI) oder Bilddaten (gescannte Partituren) enthalten. Standardansätze zur automatisiserten Musikdatenerschließung, die oft nur die Kenntnis eines einzelnen Dokuments eines bestimmten Datentyps voraussetzen, stoßen bei solchen Aufgaben schnell an ihre Grenzen. In diesem Forschungsvorhaben soll nun ein neuartiger Ansatz zur Datenerschließung verfolgt werden, bei dem das Vorliegen unterschiedlicher Darstellungsformen ein und desselben Musikstücks systematisch ausgenutzt werden soll. Hierzu sollen einerseits generische Methoden zur automatisierten Verlinkung und Synchronisation semantisch in Beziehung stehender Musikdaten unterschiedlicher Formate entwickelt werden. Die berechneten Verlinkungs- und Synchronisationsstrukturen sollen dann verwendet werden, um konkrete Aufgaben des Music Information Retrieval wie die automatisierte Annotation, Strukturanalyse oder Transkription von Musikstücken zu unterstützen oder gar erst zu ermöglichen. Zur Evaluation und Demonstration der Praxisrelevanz der zu entwickelnden Methoden werden diese in ein in Entwicklung befindliches Software-System (SyncPlayer) integriert, das es dem Benutzer erlaubt, Musik in unterschiedlichen Erscheinungsformen zu durchsuchen, zu analysieren oder einfach nur zu genießen.

Cooperating Partners