CRC 1404/1: Scheduling and Adaptive Execution of Data Analysis Workflows Across Heterogeneous Infrastructures (SP B01)


German project description
Die effiziente Realisierung komplexer DAWs auf verteilten Systemen erfordert fundierte Kenntnisse zahlreicher Technologieaspekte wie abstrakten DAW-Beschreibungssprachen, ihrer Übersetzung in logische Ausführungspläne, der Zuordnung logischer Ausführungsschritte zu der aktuell verfügbaren Infrastruktur und der Konfiguration von Infrastruktur und Laufzeitumgebungen. DAW-Komponenten, die für eine spezifische Umgebung entwickelt wurden, sind heute kaum ohne eklatanten Effizienzverlust in andere Umgebungen übertragbar. Ziel des Teilprojekts B01 ist es, die Portabilität und die Adaptivität von DAWs zu verbessern, in dem DAW-Anforderungen mit einer deklarativen Beschreibung der verfügbaren Infrastruktur verglichen und anschließend mit neuartigen Scheduling-Algorithmen abgebildet werden. B01 ist ein wichtiger Partner für mehrere FONDA-Teilprojekte, da die hier entwickelten deklarativen Hardwarebeschreibungen eine der Kernvoraussetzungen für Portabilität darstellen. B01 wird von Prof. Kao, einem Experten für die Entwicklung und den Betrieb großer verteilter Systeme, und Prof. Meyerhenke, einem Experten für Scheduling und Lastbalancierung, geleitet.

English project description
The scalable implementation of complex DAWs requires profound knowledge of a deep technology stack consisting of an abstract DAW description, compilation of logical plans, mapping onto the currently available infrastructure, and appropriate configuration of execution engines. Components developed for one system are often unsuitable for another, leading to an undesirable platform lock-in. The goal of B01 is to enhance portability and adaptation of DAWs by mapping their requirements to a declarative description of the available infrastructure combined with novel scheduling algorithms that exploit these descriptions. B01 is an important partner for several other FONDA subprojects, as the declarative hardware descriptions it develops are one of the key requirements for achieving portability. B01 will be led by Prof. Kao, an expert in the management and programming of large distributed systems, and Prof. Meyerhenke, an expert in efficient scheduling algorithms and load balancing with ample prior experience in scientific applications.

Principal investigators
Meyerhenke, Henning Prof. Dr. (Details) (Modeling and Analysis of Complex Systems)

Participating external organisations

Financer
DFG: Sonderforschungsbereich

Duration of project
Start date: 07/2020
End date: 06/2024

Research Areas
Information Systems, Process and Knowledge Management, Massively Parallel and Data-Intensive Systems, Operating, Communication, Database and Distributed Systems, Theoretical Computer Science

Last updated on 2023-03-07 at 17:05