CRC 1404/1: Portable and Adaptive Data Analysis Workflows for Real-Time 3D Vision (SP B02)
German project description
Aufgrund des Fortschritts bei schnellen hochauflösenden Kameras erzeugen moderne optische und Elektronenmikroskope mehrdimensionale Echtzeitdatenströme von mehreren GB pro Sekunde, die gegenwärtig mit Hersteller-spezifischer Software offline ausgewertet werden. Das bedeutet, dass Bilder erst nach Abschluss der Aufnahmen zur Verfügung stehen, was eine automatische Rückkoppelung, etwa zur Adaption der Kameraführung, unmöglich macht. Eine Echtzeitverarbeitung der Daten würde völlig neue Experimente ermöglichen, bei denen der Ablauf des Experiments von Echtzeitinformationen (z.B.: 3D Model) des untersuchten Objekts abhängig ist. Daher sollen in diesem Teilprojekt neue Methoden entwickelt werden, um DAWs für mehrdimensionale Mikroskopiedaten so beschreiben zu können, dass sie robust und portierbar werden und flexibel auf verschiedenen Hardware-Plattformen ausgeführt werden können. Das Teilprojekt wird von Prof. Eisert, einem Experten in der Online-Analyse von Videodaten, und Prof. Koch, Experte für optische und Elektronenmikroskope, geleitet.
English project description
In many Natural Sciences, microscopy is key to discover things that have never been seen or captured by cameras before. In high-end microscopy, resolution approaches the wavelength of the probing radiation, leading to images that are recorded with partially coherent, potentially unidirectional, or even polarized illumination plagued by various diffraction effects. The reconstruction algorithms processing such data are compute- and/or memory-intensive and are typically vendor-specific black-box algorithms, which are impossible to port and hard to modify or maintain. The aim of this interdisciplinary subproject is to develop a toolbox and platform for the flexible creation of vendor-agnostic DAWs for the near-real time analysis of microscopic images. It addresses portability across microscopes, dependability of analysis pipelines, and adaptation to different measurement types and available re-sources. Important cooperations will be established with B05 on estimating resource requirements and with B04 on optimizing network traffic. The subproject will be carried out by Prof. Eisert, an expert in online manipulation and analysis of video streams, and Prof. Koch, an expert in developing novel techniques in electron microscopy and optical microscopy.
Koch, Christoph T. Prof. PhD (Details) (Experimental Physics / Structural Research and Electron Microscopy)
Financer
DFG Collaborative Research Centre
Duration of project
Start date: 07/2020
End date: 06/2024
Research Areas
Experimental Condensed Matter Physics, Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing, Massively Parallel and Data-Intensive Systems
Research Areas
Experimentelle Physik, kondensierte Materie, Sprachverarbeitung
