Nella Data Warehouse (DWH) di MeteoSvizzera tutti i dati misurati vengono raccolti sistematicamente in un unico luogo, preparati per gli utenti e salvati a lungo termine in un formato uniforme. Il processo di preparazione dei dati comprende, tra le altre cose, l'aggregazione e il calcolo delle grandezze meteorologiche di base o derivate, il controllo della qualità dei dati (che consiste in una verifica della completezza e della plausibilità), così come l'omogeneizzazione di lunghe serie di dati con l'obiettivo di rendere disponibili per gli utenti serie di misura affidabili.
Aggregazione e calcolo
Il termine aggregazione si riferisce alla determinazione di una serie temporale con una frequenza inferiore a quella della serie di dati iniziale. Per l'aggregazione vengono utilizzate funzioni come il calcolo della media, la somma o la ricerca dei valori estremi. Nell'aggregazione temporale, ad esempio, i valori rilevati ogni dieci minuti vengono aggregati a dati orari, giornalieri, mensili o annuali. Nell'aggregazione spaziale, si considerano i valori misurati presso diverse stazioni di misura situate all’interno di una determinata regione ed in seguito viene determinato un valore associato alla regione stessa (ad esempio il valore medio sulla regione).
I valori orari e giornalieri sono calcolati a partire dai valori di 10 minuti.
I valori mensili sono calcolati a partire dai valori giornalieri.
I valori annuali sono calcolati a partire dai valori mensili.
Casi speciali per l'aggregazione
Dati orari
Dati giornalieri
- Fino al 31/12/2017 18:00 UTC: Valore giornaliero giorno corrente: dalle 23:50 del giorno precedente alle 23:40 del giorno corrente
- Dal 31/12/2017 18:10 UTC: Valore giornaliero giorno corrente: dalle 00:10 del giorno corrente alle 00:00 del giorno successivo
Giorno convenzionale per le precipitazioni:
- Giorno convenzionale fino al 31/12/2017 18:00 UTC: dalle 05:50 del giorno corrente alle 05:40 del giorno successivo
- Giorno convenzionale dal 31/12/2017 18:10 UTC: 06:10 giorno corrente alle 06:00 giorno successivo
Per calcolo si intende la determinazione di una grandezza, la quale viene calcolata con uguale frequenza dei dati di partenza. Per il calcolo vengono utilizzate funzioni come ad esempio la riduzione della pressione, il calcolo di differenze, la determinazione di un rapporto fra grandezze oppure la conversione fra unità di misura. Esempio di grandezze derivate sono la pressione atmosferica ridotta al livello del mare, l'indice di favonio, il vento in nodi (kn) oppure in chilometri orari (km/h).
Controllo della completezza dei dati
Eventuali lacune nelle misurazioni vengono rilevate durante il controllo della completezza dei dati. Se per una stazione di rilevamento la mancanza di dati riguarda un breve lasso di tempo (fino 1 h / 6 h), essi sono completati automaticamente con una procedura di interpolazione basata sui valori di ogni 10 minuti. La quantità di dati mancanti ammessa dipende dal parametro misurato. A differenza delle precipitazioni, per quanto riguarda la pressione atmosferica la mancanza di dati per periodi lunghi può ad esempio essere colmata automaticamente, poiché la pressione atmosferica varia nello spazio e nel tempo in minor misura rispetto alle precipitazioni. I valori aggiunti automaticamente sono contrassegnati affinché sia possibile risalire a posteriori a come sono stati calcolati (Informazioni sulle mutazioni).
Se la mancanza di dati riguarda un lasso di tempo più lungo, e quindi non vengono interpolati automaticamente, essi possono essere interpolati manualmente tenendo conto della situazione meteorologica e/o utilizzando stazioni di riferimento. Di norma, intervalli fino a 24 ore vengono interpolati sulla base dei valori di ogni 10 minuti, intervalli superiori a 1 giorno su base giornaliera ed intervalli superiori a 10 giorni su base mensile. Anche i valori aggiunti manualmente vengono contrassegnati di conseguenza.
Controllo della plausibilità
Durante il controllo di plausibilità, i valori misurati vengono sottoposti a test basati su leggi della fisica e su modelli. I valori che violano uno o più test vengono contrassegnati e classificati come non plausibili o dubbi. I valori non plausibili vengono eliminati automaticamente dalle serie di dati e, se possibile, interpolati automaticamente. I valori misurati contrassegnati come dubbi vengono valutati il giorno successivo la misura da una persona esperta e, se necessario, corretti o confermati manualmente (vedi modifica manuale).
Test basati su regole matematiche e logiche:
- I test di limiti rigidi (Harte Limitentests) rilevano valori fisicamente impossibili e quindi non plausibili (ad es. velocità del vento superiore a 100 m/s).
- I test di limiti morbidi (Weiche Limitentests) si basano su valori soglia specifici per la stazione e indicano se un valore è climatologicamente dubbio (ad es. nel mese di febbraio per Zurigo è indicata una temperatura di 25°C).
- I test di coerenza includono confronti con misure ridondanti, confronti all'interno del luogo di misurazione (ad es. una stazione rileva contemporaneamente precipitazioni e radiazione solare) o confronti all'interno della variabile misurata (ad es. velocità media del vento inferiore alle raffiche di vento).
- I test di variabilità possono essere utilizzati ad esempio per rilevare sensori di vento congelati (variabilità della velocità del vento durante 6 ore inferiore a 0,1 m/s) oppure salti estremi tra due valori misurati (differenza di umidità tra due valori nell’intervallo di 10 minuti superiore a 30%).
- I test sui valori record vengono attivati quando un valore misurato è tra i cinque più alti o più bassi mai rilevati in una stazione.
Test basati su modelli
Questi test si basano su modelli statistici, che vengono addestrati utilizzando set di dati elaborati manualmente e possono includere dati storici e attuali oppure dati comparativi predittivi, nonché metadati (ad es. l'altitudine della stazione).
Elaborazione manuale
I seguenti parametri vengono attualmente elaborati manualmente nelle stazioni completamente attrezzate:
- Direzione del vento
- Velocità del vento (scalare e vettoriale, media di 10 minuti, picchi di vento di 1 e 3 secondi)
- Precipitazioni, totale 10 minuti
- Pressione atmosferica all'altezza della stazione
- Temperatura dell'aria a 2 m
- Umidità relativa
- Radiazione globale
- Durata del soleggiamento
- Radiazione (radiazione riflessa a onde corte, radiazione a onde lunghe in entrata e in uscita)
I seguenti parametri sono attualmente in fase di elaborazione nelle stazioni manuali:
- Altezza della neve
- Altezza totale della neve
- Copertura nuvolosa totale
- Precipitazioni giornaliere totali dalle 6 UTC alle 6 UTC del giorno successivo.
Storicamente, i dati sono stati elaborati manualmente come segue:
- Fino al 1981 misurazione convenzionale: l'elaborazione si basava sui valori della data
- Dal 1981 al 01/2004: elaborazione su base oraria
- Dal 02/2004: elaborazione su base 10 minuti.
Omogeneizzazione
Per determinate serie di rilevamento selezionate e molto importanti viene effettuata un’omogeneizzazione anche mesi o anni dopo la misurazione. Con l'omogeneizzazione si calcolano e si correggono errori di misura sistematici, dati mancanti che possono risultare a seguito dello spostamento della stazione, errori o cambiamenti di uno strumento di misurazione. I dati omogeneizzati sono quelli con il massimo livello di qualità.