SFB 1404/1: Adaptive, verteilte und skalierbare Analyse massiver Satellitendaten (TP B05)
Deutsche Projektbeschreibung
Teilprojekt B05 untersucht Verfahren zur Verbesserung der Adaptivität und Portierbarkeit von DAWs für die Analyse sehr großer Sammlungen von Satellitenbildern für die Landnutzungserkennung. Entsprechende DAWs sind oft komplex, aufwändig in der Umsetzung und umfassen Aufgaben mit hochgradig heterogenem Ressourcenbedarf (in Bezug auf Speicher, Laufzeit und Datendurchsatz). Da die konkreten Anforderungen in Bezug auf Datenanalyseschritte und die konkret benötigten Rechenressourcen von den konkreten Eingangsdaten eines DAW abhängen, müssen diese heutzutage bei jeder noch so kleinen Änderung in Bezug auf Eingabe oder Laufzeitumgebung manuell angepasst werden. B05 wird neue Methoden zur adaptiven Planung von DAWs erforschen, die sich automatisch sowohl an das jeweils konkrete Fernerkundungsszenario und an die vorhandene Recheninfrastruktur anpassen. Wir werden eng mit Projekt A04 zusammenarbeiten, wo ebenfalls Satellitendaten untersucht werden, dabei aber auf Genauigkeit statt Skalierbarkeit setzt, was unter anderem den Einsatz anderer Basismethoden verlangt. Weiterhin werden wir mit B06 zur Laufzeitüberwachung der Ressourcenanforderungen kooperieren. B05 ist ein interdisziplinäres Teilprojekt unter der Leitung von Prof. Hostert, Experte für großskalige Satellitendatenanalysen, und Prof. Leser, Experte für Workflow-Managementsysteme zur Analyse massiver, wissenschaftlicher Datenmengen.
Englische Projektbeschreibung
Subproject B05 investigates means to improve adaptability and portability of DAWs for large-scale analysis of satellite data. DAWs for such problems are often long and involved and include tasks with very heterogeneous resource requirements (in terms of memory, runtime, and bandwidth). As the manner in which the concrete requirements of tools depend on the input data is a-priori unknown, these DAWs are very difficult to schedule. Today, this problem typically is solved by hardwiring data- and infrastructure dependent scheduling decisions into the DAW. B05 will research new methods for adaptive scheduling of DAWs that adapt to the concrete remote sensing scenario. It will work closely with A04, which also studies satellite data but with a focus on accuracy instead of scalability, and with B06 in the area of DAW scheduling. B05 is an interdisciplinary subproject, led by Prof. Hostert, expert in large-scale satellite data analysis, and Prof. Leser, an expert in workflow management systems for large-scale scientific data analysis.
Mittelgeber
DFG Sonderforschungsbereich
Laufzeit
Projektstart: 07/2020
Projektende: 06/2024
Forschungsbereiche
Geodäsie, Photogrammetrie, Fernerkundung, Geoinformatik, Kartographie, Massiv parallele und datenintensive Systeme, Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Forschungsfelder
Fernerkundung, Geoinformatik
