Rendere le immagini satellitari globali prive di nuvole

Published Jan 25, 2022 Updated Feb 04, 2022

Il nostro team tecnico ha creato una nuova bellissima immagine del mondo senza nuvole. Questa è la storia di come e perché lo abbiamo fatto.

Ottenere una visione chiara

Vi siete mai chiesti perché le immagini del mondo raramente appaiono così sui siti web di cartografia online?

Sarebbe piuttosto difficile trovare una località priva di copertura nuvolosa, giusto? In realtà, quasi il 75% è costantemente coperto da nuvole, rendendo l'immagine una rappresentazione molto accurata. Tuttavia, a meno che non si stia studiando il meteo, si vuole solo guardare la superficie terrestre, quindi come si fa a eliminare le nuvole per vedere la terra sottostante?

Forse vi state chiedendo: "Non può essere così difficile; basta scegliere le immagini che non contengono nuvole? "Tuttavia, il processo non è così semplice come sembra!

Se volete scegliere un'immagine che non contenga nuvole per una località come Bernes Alpes in Svizzera perché amate le montagne, proprio come facciamo noi di MapTiler, dovrete passare in rassegna decine di immagini per trovarne una. Ci sono luoghi sulla Terra che sono quasi costantemente coperti da nuvole, quindi non è possibile farlo manualmente.

Un problema come questo richiede una soluzione automatica e i nostri tecnici hanno seguito questa strada per creare i dati satellitari che vedete nei nostri servizi. Anche in questo caso, però, non è così semplice e per assicurarsi di ottenere un buon risultato anziché uno mediocre, è necessario inserire nella ricetta alcuni ingredienti chiave:

• Un'eccellente fonte di dati
• Un algoritmo raffinato e perfezionato
• Enorme potenza di calcolo

Senza quest'ultimo ingrediente, quando si ha a che fare con enormi insiemi di dati globali, si può incorrere in problemi di tempo molto complicati. Se si avesse accesso solo a un PC desktop, l'elaborazione dovrebbe durare 4512 giorni, ossia quasi 12,5 anni; per l'archiviazione, sarebbero necessari 360 computer con unità SSD da 500 GB. Se si utilizzassero gli HDD, il tempo di elaborazione salirebbe a 18,5 anni. Tutto ciò significa che quando avrete finito di creare la mappa, questa sarà obsoleta da quasi 19 anni e non servirà a nessuno!

Dato che si tratta di un'impresa così difficile, perché preoccuparsi quando altri hanno già creato i loro layer senza nuvole? Torniamo al punto sulla qualità dei risultati; guardate l'immagine sottostante da Google Maps. Si tratta di un risultato positivo nel senso che è privo di nuvole, ma non è quello che noi di MapTiler definiremmo un buon risultato. I colori sono scarsi e sono evidenti i confini in cui sono state unite immagini di diversi periodi dell'anno, persino di anni diversi.

L'effetto patchwork che si vede spesso sulle mappe di Google rispetto ai colori naturali ottenuti da MapTiler.

Noi di MapTiler volevamo fare di meglio e ci siamo posti l'obiettivo di portare ai nostri clienti la più bella mappa satellitare senza nuvole del mondo intero con l'aiuto della nostra tecnologia all'avanguardia in un tempo ragionevole, solo 1 anno. (1800% più veloce di quanto sarebbe stato necessario su un desktop!) Oltre a questo progresso, abbiamo voluto rendere la mappa disponibile a chiunque per pochi dollari al mese, di cui parleremo più avanti.

Immagini satellitari da Sentinel 2

Quando si vuole creare una mappa satellitare globale il nostro approccio è stato:

1. Cercate i dati migliori economicamente disponibili, possibilmente gratuiti.
2. Trovare dati con buone risoluzioni spaziali e temporali.
1. Risoluzione spaziale per la giusta quantità di dettagli.
2. Risoluzione temporale per ottenere il maggior numero di immagini dello stesso luogo in un breve lasso di tempo. Più alto è il tempo di rivisitazione dei satelliti, maggiore è la possibilità di trovare immagini che non contengano nuvole.
3. Trovate dati con una buona copertura spaziale, che coprano l'intero globo.

È qui che si inseriscono perfettamente i dati della missione Sentinel-2 del progetto Copernicus dell'Agenzia Spaziale Europea (ESA). Il tempo di rivisitazione è di soli 5 giorni, quindi ogni 5 giorni si ottiene una nuova immagine per lo stesso punto della Terra.

Anche la risoluzione è piuttosto buona, 10m/px e i dati sono in formato JPEG 2000.

Sentinel 2 fornisce un'ampia gamma di bande di dati grazie al suo Imager Multispettrale (MSI). Il satellite acquisisce dati in 13 bande spettrali (dal visibile all'infrarosso a onde corte).

Infine, la copertura è eccellente, con tutte le superfici terrestri continentali, le isole superiori a 100 km2 , le coste e le acque fino ad almeno 20 km dalla riva.

I dettagli della missione Sentinel-2

I satelliti Sentinel 2 sono stati inviati nell'ambito del Progetto Copernicus, con l'obiettivo di acquisire immagini satellitari ad alta risoluzione (sia temporale che spaziale) della superficie globale, per contribuire al monitoraggio dei cambiamenti nell'uso del suolo, della copertura del suolo, dell'agricoltura, delle foreste e delle acque. La missione fornisce dati per tutte le superfici terrestri, le grandi isole, le acque interne e costiere.

La missione è composta da due veicoli spaziali, Sentinel-2A che è stato lanciato il 23 giugno 2015 con un periodo di orbita di 10 giorni. Il 7 marzo 2017 è stato lanciato Sentinel-2B con lo stesso periodo di orbita di 10 giorni. In combinazione, questi satelliti forniscono un tempo di rivisitazione di 5 giorni. La durata nominale della missione è di 7 anni per ciascun satellite.

Portali dati Sentinel-2

La Commissione europea ha finanziato la realizzazione di cinque piattaforme basate su cloud per distribuire i dati prodotti dai satelliti. Queste piattaforme sono note come DIAS, ovvero Data and Information Access Services.

Le cinque piattaforme online DIAS consentono agli utenti di scoprire, manipolare, elaborare e scaricare dati e informazioni Copernicus. Tutte le piattaforme DIAS consentono di accedere ai dati di Copernicus Sentinel e ai prodotti informativi dei sei servizi operativi.

Per sfogliare il catalogo, abbiamo avuto la migliore esperienza con Sobloo. Ma non abbiamo avuto una buona esperienza nell'accesso ai dati per l'elaborazione da questi servizi DIAS.

Abbiamo utilizzato Sentinel-Hub, che è riuscito a memorizzare tutti i dati di Sentinel-2 L2A sul bucket AWS S3. L2A significa che sono stati corretti atmosfericamente dall'ESA. Grazie alla libreria python di Sentinel-Hub e alle API ben documentate, abbiamo potuto iniziare rapidamente a elaborare i dati.

Rimozione delle nuvole: MapTiler lo fa in modo diverso

Per rimuovere le nuvole da una località nei dati è necessario partire da una serie temporale di immagini per una località.

Una volta ottenuta una serie temporale, esistono un paio di approcci per rimuovere le nuvole dall'immagine. Il più popolare, utilizzato da altre aziende, si basa sul compositing dei pixel. In questo metodo, si seleziona un pixel specifico da una serie di pixel provenienti da immagini diverse, in base ad alcune statistiche, come ad esempio il pixel del primo quartile dell'insieme di pixel. Questo metodo ha il vantaggio di fornire un pixel reale, ma presenta degli svantaggi.

Non abbiamo utilizzato questo approccio in MapTiler perché non funzionava bene in luoghi diversi; creava artefatti visivi, ad esempio gruppi di pixel neri visibili su un ghiacciaio.

Abbiamo ideato un nuovo algoritmo di compositing basato sull'aggregazione del valore del pixel da un insieme di valori, piuttosto che sulla scelta di uno solo; in questo modo abbiamo ottenuto un risultato molto più naturale senza questi artefatti dei pixel.

Scalare l'area

Una volta sviluppata e testata la nostra nuova strategia e una volta ottenuta una splendida location senza nuvole, abbiamo ampliato il processo per l'intero globo.

Tuttavia, la magia non sta solo nell'algoritmo di composizione in sé, ma anche nell'algoritmo di preselezione, che seleziona le immagini migliori da elaborare con l'algoritmo di composizione. Questa parte è cruciale, soprattutto se si vuole elaborare tutto il mondo; più file di immagini si elaborano, più risorse saranno necessarie, il che porta a una soluzione più costosa.

Per ridurre il numero di file di input, abbiamo creato un algoritmo di finestra temporale che ha selezionato il miglior set di mesi dell'anno con il minor numero di nuvole. Si trattava di una finestra temporale di 4 mesi, con il mese iniziale che variava in base alla posizione geografica.

Con la finestra temporale in atto, molte immagini potevano ancora essere filtrate in base alla loro qualità. Abbiamo utilizzato il livello SCL del prodotto Sentinel-2 per creare una maschera di qualità per filtrare le immagini scadenti dalla finestra temporale. In questo livello, i valori dei pixel vanno da 0 a 11, e ciò che rappresentano può essere visto di seguito:

Grazie alla maschera di qualità e alla finestra temporale, abbiamo potuto garantire che solo le immagini migliori venissero inserite nell'algoritmo di composizione finale. Tuttavia, con oltre 237.000 miliardi di pixel da elaborare, è ancora un compito enorme da svolgere, quindi ci siamo rivolti a MapTiler Cluster per automatizzarlo.

MapTiler Cluster

MapTiler Cluster è una soluzione di cluster computing che consiste in un server master e in istanze worker e funziona su qualsiasi piattaforma di cloud computing come GCP, AWS o Azure. Il server master divide le località geografiche più grandi in compiti geografici più piccoli, che vengono poi elaborati dai singoli worker. Grazie a questa soluzione è possibile ridurre la durata di un progetto da anni a un paio di settimane.

Per saperne di più su MapTiler Cluster

Il risultato: Un bellissimo livello di immagini satellitari

L'ultima cosa da fare era lanciare MapTiler Cluster e attendere un paio di settimane. Poi potremo goderci la più bella mappa satellitare del mondo nei suoi splendidi colori naturali.

Utilizzate subito l'API gratuitamente

Scarica il Data

Per saperne di più sulle immagini satellitari e aeree, consultate il nostro sito web:

Per saperne di più

Se siete appassionati di numeri e statistiche, ecco i punti salienti del nostro progetto:

Volete condurre una ricerca di questo tipo?

MapTiler è sempre alla ricerca di nuovi talenti, per lavorare su ricerche all'avanguardia come questa o in altre aree dell'informatica e del GIS. Se desiderate un ruolo nell'analisi dei big data, nell'elaborazione ottimizzata per il cloud o in un'ampia gamma di geotecnologie, potremmo essere l'azienda che state cercando. Date un'occhiata alla nostra pagina delle offerte di lavoro per vedere chi stiamo assumendo in questo momento, oppure inviate un C.V. e una lettera di presentazione a [email protected] per vedere se possiamo farvi entrare nel nostro team!