Flexibele import van hydrometeodata

Hydrometeodata (waterstanden, stromingen, golven, enz.) wordt door veel bronnen aangeboden, en in evenzoveel formaten. Eén manier om zo’n breed scala aan formaten in een operationele applicatie te gebruiken, is het parsen van de extern beschikbare data en deze te verwerken naar een gedeeld intern formaat voor verder gebruik door de applicatie. Het is een uitdaging om een aanpak te bieden voor het configureren van de parse- en verwerkingsfasen die zowel gebruiksvriendelijk als flexibel is.

MATROOS, beheerd door Rijkswaterstaat, levert NetCDF-bestanden met modelruns voor verwachte waterstanden, stromingen, golven, enz. voor tot honderden locaties. We bouwden een parser om uit deze NetCDF-bestanden tijdreeksen te selecteren voor de gewenste locaties. De tijdreeksen worden opgeslagen door een generieke processor die ze naar een intern opslagformaat wegschrijft.

We hebben de parser flexibel gemaakt door de configuratie van locaties, de nauwkeurigheid van locatiematching, NetCDF-variabelenamen en de optie om voor waterstandtijdreeksen tussen referentievlakken te converteren mogelijk te maken. De configuratie van de parser is gebruiksvriendelijk: er is een formulier dat is afgestemd op de eigenschappen van de parser en het maakt het mogelijk een parserconfiguratie als JSON tussen verschillende omgevingen te importeren/exporteren. Dat laatste maakt het mogelijk een parser op een test-/acceptatieomgeving voor te bereiden en deze eenvoudig naar een productieomgeving uit te rollen.