Datenfluss und Prozessierung
Der Betrieb des KITcube-Messnetzes aus größtenteils nicht dauerhaft besetzten Messstationen im KITcube erfordert einen hohen Grad an Automatisierung um eine möglichst lückenlose Datenerfassung sicherzustellen. Hierbei ist es erforderlich die erfassten Messdaten unmittelbar nach der Datenerfassung für automatische Qualitätskontrollen und Überwachungen verfügbar zu machen. Der Datenfluss im KITcube ist im folgenden Schaubild dargestellt.
Die Messdatenerfassung am Gerät erfolgt mit der jeweiligen Software, die in der Regel vom Hersteller vorgegeben ist. Die Daten werden zur zentralen KITcube IT-Infrastruktur übertragen und dort im proprietären Datenformat als Level 0-Daten archiviert. Vor der weiteren Nutzung ist es erforderlich, das sehr heterogene Datenformat der unterschiedlichen Messgeräte zu harmonisieren. Zu diesem Zweck werden die Daten der verschiedenen Messgeräte in einem vereinheitlichten und interoperablen Datenformat in eine leistungsfähige Zeitreihendatenbank (PostgreSQL/TimescaleDB) eingespeist. Das implementierte System ermöglicht neben der Speicherung und Bereitstellung simpler Zeitreichen auch die Handhabung äußerst umfangreicher und hochaufgelöster Volumendatensätze aus Fernerkundungsgeräten wie Doppler Lidaren oder Radaren.
Die Datenbank stellt die Level 0-Daten einer Vielzahl von Anwendungen zeitnah zur Verfügung. In einer ersten Datenprozessierung werden die Messdaten einer automatischen Qualitätskontrolle unterzogen. Bei Erkennung einer Fehlfunktion werden die Geräteverantwortlichen umgehend benachrichtigt. So können Störungen frühzeitig erkannt, die Behebung initiiert und die Ausfalldauer minimiert werden. Gleichzeitig werden sowohl aktuelle als auch vergangene Messdaten dem interaktiven Dashboard bereitgestellt. Die Live-Prozessierung von Quicklooks im Dashboard ermöglicht sowohl die Beurteilung der aktuellen meteorologischen Situation, als auch das Nachvollziehen von vergangenem Wettergeschehen. Postprozessierungsalgorithmen können sowohl im vereinheitlichten Datenbankformat, als auch auf die originalen Dateien der Messgeräte zugreifen.
Zeitkritische Anwendungen wie Assimilationen erfordern eine Near-Real-Time Prozessierung der Messdaten in einem interoperablen Format wie netCDF. Beispielsweise müssen zur Erstellung vertikaler und zeitlicher Profile des Windvektors die von Doppler Lidaren in verschiedene Richtungen gemessenen Radialgeschwindigkeiten für die verschiedenen Standorte prozessiert werden (Abb. 1). Diese Post-Prozessierung wird im KITcube in regelmäßigen Abständen auf Basis der harmonisierten Messdaten automatisiert durchgeführt und ermöglicht so auch zeitkritische Weiterverarbeitungen. Die für den KITcube entwickelten Algorithmen zur Erstellung von Windprofilen aus Doppler Lidar-Messungen werden der Öffentlichkeit mit Erweiterungen auch zur Nutzung außerhalb des KITcubes als Atmospheric Profile Processing toolKIT open-source zur Verfügung gestellt.
