http://www.lineameteo.it/viewtopic.php?f=1&t=19463
-----------------------------------
Poranese457
Mer 15 Nov, 2023 07:43

GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
E' stato pubblicato ieri sulla rivista Science uno studio molto interessante che riguarda un nuovo approccio alle previsioni meteorologiche
L'artefice del nuovo progetto non è un pinco pallo qualunque ma Google che ha realizzato un sistema previsionale basato sull'IA in grado di stravolgere le attuali strategie alla basse delle previsioni meteorologiche

Sfruttando la potenza del deep learning infatti il nuovo sistema permette di generare previsioni sulla base dei dati storici acquisiti (relativi agli ultimi 30 anni) e, senza l'utilizzo di complessi algoritmi come nel caso degli attuali modelli deterministici, riesce a restituire previsioni che si sono rilevate del 10% più affidabili rispetto a quelle prodotte da ECM per il 90% degli scenari proposti

Il tutto si scontra con alcuni limiti attuali del modello quali una minore risoluzione spaziale (la griglia minima è 28x28km all'equatore) ed appena 37 livelli verticali al confronto con i 137 di ECM 

Il funzionamento non è esattamente semplice e vi invito a leggere i link che vi lascio prima di storcere il naso verso questo nuovo approccio  8)) 
Vi  metto sia il link sia all'articolo de Il Messaggero sia allo studio originale pubblicato su Science che potete facilmente tradurre in Italiano con l'apposita funzione di Chrome


[url=https://www.ilmessaggero.it/tecnologia/news/previsioni_meteo_intelligenza_artificiale_google_graphcast-7755947.html]Articolo Il Messaggero

[url=https://www.science.org/doi/10.1126/science.adi2336]Studio pubblicato su Science


-----------------------------------
menca92
Mer 15 Nov, 2023 07:55

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
Molto interessante. Dopo approfindisco. È previsto anche lo sviluppo di un Global Model?


-----------------------------------
Poranese457
Mer 15 Nov, 2023 09:13

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
[quote user="menca92" post="607954"]Molto interessante. Dopo approfindisco. È previsto anche lo sviluppo di un Global Model?[/quote]

E' clamorosamente interessante, specie per le "esigue" risorse di calcolo che richiede un sistema simile. Condizione comune poi ad ogni sistema di IA che si rispetti ;)

Riguardo lo sviluppo del GM credo che ci troviamo ancora in una fase acerba ma visto lo sviluppo impressionante che sta avendo l'intelligenza artificiale di mese in mese ormai non mi stupirei più di nulla

Non so se avete avuto modo di provare l'espansione generativa di Photoshop: era da quando ho provato a farmi vendere un tappeto persiano dalla primissima versione di ChatGP che non rimanevo così a bocca aperta  :mrgreen:


-----------------------------------
enniometeo
Mer 15 Nov, 2023 09:16

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
Nel sito di ECMWF c'è già qualcosa di questi modelli statistici

https://charts.ecmwf.int/?facets=%7B%22Product%20type%22%3A%5B%22Experimental%3A%20Machine%20learning%20models%22%5D%7D


-----------------------------------
Carletto89
Mer 15 Nov, 2023 09:16

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
Tutto ciò che è innovazione e svolta in questo campo è sempre stupendo. Una materia come la meteorologia ha bisogno di fare salti veloci anche nell'elaborazione previsionale. 
Interessantissimo a mio avviso


-----------------------------------
Caldonevone
Mer 15 Nov, 2023 09:26

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
[quote user="Poranese457" post="607953"]E' stato pubblicato ieri sulla rivista Science uno studio molto interessante che riguarda un nuovo approccio alle previsioni meteorologiche
L'artefice del nuovo progetto non è un pinco pallo qualunque ma Google che ha realizzato un sistema previsionale basato sull'IA in grado di stravolgere le attuali strategie alla basse delle previsioni meteorologiche

Sfruttando la potenza del deep learning infatti il nuovo sistema permette di generare previsioni sulla base dei dati storici acquisiti (relativi agli ultimi 30 anni) e, senza l'utilizzo di complessi algoritmi come nel caso degli attuali modelli deterministici, riesce a restituire previsioni che si sono rilevate del 10% più affidabili rispetto a quelle prodotte da ECM per il 90% degli scenari proposti

Il tutto si scontra con alcuni limiti attuali del modello quali una minore risoluzione spaziale (la griglia minima è 28x28km all'equatore) ed appena 37 livelli verticali al confronto con i 137 di ECM 

Il funzionamento non è esattamente semplice e vi invito a leggere i link che vi lascio prima di storcere il naso verso questo nuovo approccio  8)) 
Vi  metto sia il link sia all'articolo de Il Messaggero sia allo studio originale pubblicato su Science che potete facilmente tradurre in Italiano con l'apposita funzione di Chrome


[url=https://www.ilmessaggero.it/tecnologia/news/previsioni_meteo_intelligenza_artificiale_google_graphcast-7755947.html]Articolo Il Messaggero

[url=https://www.science.org/doi/10.1126/science.adi2336]Studio pubblicato su Science[/quote] Questo nuovo approccio da quando sarà attivo/operativo?


-----------------------------------
GiagiMeteo
Mer 15 Nov, 2023 10:04

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
Tra l'altro il codice è open source quindi chiunque potenzialmente potrebbe apportare migliorie di sorta.
Che roba ragazzi, potremmo trovarci davvero agli inizi di una rivoluzione in campo previsionale.


-----------------------------------
Boba Fett
Mer 15 Nov, 2023 10:39

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
interessante

ma qualcuno di voi conosce app con alert IA per il nowcasting? leggevo in uno dei post dei giorni scorsi un utente che ne parlava, tipo che dall'osservazione del radar è in grado di dirti se nella tua zona pioverà di qui a mezz'ora/un'ora


PS: Non mi ricordavo di averglielo chiesto e mi aveva pure risposto ;)

[quote user="alias64" post="607802"][quote user="Boba Fett" post="607800"][quote user="alias64" post="607785"]Ennesima proiezione radar per l arrivo di temporale da ste parti..è la terza volta oggi e mai arrivato,vediamo se stavolta s avvera..[/quote]

che app usi per questi alert?[/quote] questa[/quote]


-----------------------------------
Boba Fett
Mer 15 Nov, 2023 11:10

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
[quote user="Caldonevone" post="607959"] Questo nuovo approccio da quando sarà attivo/operativo?[/quote]

qualcosa puoi vedere qua

https://charts.ecmwf.int/products/graphcast_medium-mslp-wind850?base_time=202311150000&projection=opencharts_europe&valid_time=202311150600


-----------------------------------
Francesco
Mer 15 Nov, 2023 11:34

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
Tutto davvero molto molto interessante!
Quello che prospettava come un "possibile futuro" si sta semplicemente traducendo in realtà!


-----------------------------------
Poranese457
Mer 15 Nov, 2023 11:35

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
[quote user="Caldonevone" post="607959"][quote user="Poranese457" post="607953"]E' stato pubblicato ieri sulla rivista Science uno studio molto interessante che riguarda un nuovo approccio alle previsioni meteorologiche
L'artefice del nuovo progetto non è un pinco pallo qualunque ma Google che ha realizzato un sistema previsionale basato sull'IA in grado di stravolgere le attuali strategie alla basse delle previsioni meteorologiche

Sfruttando la potenza del deep learning infatti il nuovo sistema permette di generare previsioni sulla base dei dati storici acquisiti (relativi agli ultimi 30 anni) e, senza l'utilizzo di complessi algoritmi come nel caso degli attuali modelli deterministici, riesce a restituire previsioni che si sono rilevate del 10% più affidabili rispetto a quelle prodotte da ECM per il 90% degli scenari proposti

Il tutto si scontra con alcuni limiti attuali del modello quali una minore risoluzione spaziale (la griglia minima è 28x28km all'equatore) ed appena 37 livelli verticali al confronto con i 137 di ECM 

Il funzionamento non è esattamente semplice e vi invito a leggere i link che vi lascio prima di storcere il naso verso questo nuovo approccio  8)) 
Vi  metto sia il link sia all'articolo de Il Messaggero sia allo studio originale pubblicato su Science che potete facilmente tradurre in Italiano con l'apposita funzione di Chrome


[url=https://www.ilmessaggero.it/tecnologia/news/previsioni_meteo_intelligenza_artificiale_google_graphcast-7755947.html]Articolo Il Messaggero

[url=https://www.science.org/doi/10.1126/science.adi2336]Studio pubblicato su Science[/quote] Questo nuovo approccio da quando sarà attivo/operativo?[/quote]


Se parli del GraphCast di Google in realtà non ci sono date per un modello definito ma come nel caso di tutti i sistemi di IA quest'ultimo non andrà a sostituire i modelli esistenti quando ad integrarli

Per intenderci è come con il modello linguistico GPT che viene poi usato dai più disparati sistemi di chatbot, dal più famoso ChatGPT ma anche Bing o altri chatbot piazzati ormai ovunque grazie ad "addestramenti personalizzati" in base all'ambito di utilizzo

Metto qui nello spoiler una parte delle conclusioni dell'articolo su Science nelle quali si parla dei limite dell'attuale sistema GraphCast

[spoiler]

Uno dei limiti principali del nostro approccio risiede nel modo in cui viene gestita l’incertezza. Ci siamo concentrati sulle previsioni deterministiche e le abbiamo confrontate con quelle dell’HRES, ma l’altro pilastro dell’IFS dell’ECMWF, il sistema di previsione d’insieme, ENS, è particolarmente importante per quantificare la probabilità di eventi estremi e poiché l’abilità della previsione diminuisce con tempi di consegna più lunghi. La non linearità delle dinamiche meteorologiche significa che vi è una crescente incertezza in tempi più lunghi, che non è ben catturata da un’unica previsione deterministica. L'ENS risolve questo problema generando previsioni stocastiche multiple, che si avvicinano a una distribuzione predittiva sul tempo futuro, tuttavia generare previsioni multiple è costoso. Al contrario, l'obiettivo di formazione MSE di GraphCast lo incoraggia a offuscare spazialmente le sue previsioni in presenza di incertezza, il che potrebbe non essere desiderabile per alcune applicazioni in cui è importante conoscere le probabilità di coda o congiunte degli eventi. Costruire previsioni probabilistiche che modellino l’incertezza in modo più esplicito, sulla falsariga delle previsioni d’insieme, è un passo successivo cruciale.
È importante sottolineare che il MLWP basato sui dati si basa in modo critico su grandi quantità di dati e sulla loro qualità, che nel caso di modelli addestrati sulla rianalisi, dipende dalla fedeltà dei NWP. Pertanto, fonti di dati ricche e di alta qualità come l’archivio MARS dell’ECMWF ( 38 ) hanno un valore inestimabile. Il nostro approccio non dovrebbe essere considerato un sostituto dei tradizionali metodi di previsione meteorologica, che sono stati sviluppati per decenni, rigorosamente testati in molti contesti del mondo reale e offrono molte funzionalità che non abbiamo ancora esplorato. Piuttosto, il nostro lavoro dovrebbe essere interpretato come una prova del fatto che MLWP è in grado di affrontare le sfide dei problemi di previsione del mondo reale e ha il potenziale per integrare e migliorare i migliori metodi attuali.
Oltre alle previsioni meteorologiche, GraphCast può aprire nuove direzioni per altri importanti problemi di previsione geo-spaziale, tra cui clima ed ecologia, energia, agricoltura e attività umana e biologica, nonché altri sistemi dinamici complessi. Riteniamo che i simulatori esperti, addestrati su dati ricchi e reali, saranno cruciali per far avanzare il ruolo dell’apprendimento automatico nelle scienze fisiche.

[/spoiler]


-----------------------------------
As_Needed
Mer 15 Nov, 2023 11:52

Re: GraphCast - Il Nuovo Approccio Di Google Alle Previsioni Meteorologiche Basato Sull'IA (battuto ECMWF)
-----------------------------------
Molto interessante l'uso dell'AI sulle previsioni, molto probabilmente sara' rivoluzionaria come cosa. Da far notare comunque che anche la Cina gia' utilizza questo sistema da un po'. [url=https://english.news.cn/20230819/b0ee8d9e3d464205bdf0f17efad1155e/c.html#:~:text=The%20Fengwu%20is%20a%20global,more%20effective%20than%20traditional%20models.]Questo un articolo a riguardo. Nell'articolo parlano di un accuratezza molto alta. 

Da far notare anche questa [url=https://opentools.ai/news/weather-forecasting-using-ai-europe-and-china-take-the-lead/]notizia di una collaborazione tra ECMWF e Huawei con Pangu-Weather sempre sull'AI per rendere le previsioni piu' accurate. 

 :bye:

EDIT: Questo comunque invece e' Pangu AI su ECMWF

https://charts.ecmwf.int/catalogue/packages/ai_models/products/pangu_medium-t-z?base_time=202311150000&level=1000&projection=opencharts_europe&valid_time=202311150600

Questo per le temperature a 850hPa e geopotenziali
https://charts.ecmwf.int/catalogue/packages/ai_models/products/pangu_medium-z500-t850?base_time=202311150000&projection=opencharts_europe&valid_time=202311150600


Per chi vuole vedere le differenze tra i vari modelli che ci sono,[url=https://charts.ecmwf.int/products/plwww_3m_fc_aimodels_wp_mean?area=Northern%20Extra-tropics&parameter=Geopotential%20500hPa&score=Root%20mean%20square%20error] QUI sul sito di ECMWF c'e' il grafico che li mette in comparazione. 

Da far notare pure il modello di ECMWF che prende poi spunto da quello di Google: [url=https://www.ecmwf.int/en/about/media-centre/aifs-blog/2023/ECMWF-unveils-alpha-version-of-new-ML-model]AIFS

 :bye:


-----------------------------------
Poranese457
Gio 16 Nov, 2023 16:14

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
Faccio un copia/incolla di un messaggio scritto da Snowaholic su MNW, probabilmente uno degli personaggi più preparati del panorama meteo-amatoriale italiano, nel quale spiega in maniera eccellente il sistema di funzionamento dei modelli AI based

"
I modelli che utilizzano reti neurali non sono lineari, modelli come Graphcast individuano la dinamica che considerano più probabile a partire da una specifica condizione iniziale attraverso lo studio del dataset di reanalisi (le ERA5 1979-2017 in questo caso).
Non c'è nessun ostacolo teorico, se non il fatto che il modello non produce necessariamente output coerenti dal punto di vista fisico (ma avendo effettuato un training su un dataset che è costruito integrando anche i principi fisici anche l'output in linea di massima lo sarà).

Considerato che i modelli utilizzati attualmente sono delle approssimazioni dei processi fisici (quindi intrinsecamente soggette ad errori e bias nella dinamica) non è così scontato che un modello che cerca di simulare le dinamiche reali in base ai principi della fisica riesca a raggiungere una precisione maggiore di uno che fa una simulazione statistica (non lineare). Dopotutto lo vediamo anche con le stagionali quanta difficoltà hanno i modelli di simulazione in particolare sulle dinamiche polari, anche semplici modelli statistici riescono ad ottenere risultati migliori.
Di conseguenza il modello costruito sulle reti neurali ha il vantaggio di costruire la previsione "imitando" le dinamiche reali studiate nel dataset di inizializzazione, che sono prive degli errori di approssimazione impliciti in un modello deterministico, ma ha lo svantaggio di non utilizzare le conoscenze sui processi fisici. Dal punto di vista della propagazione dell'errore, non mi stupirebbe una maggiore robustezza dei modelli basati sulle reti neurali.

Dal punto di vista teorico non c'è un approccio superiore ad un altro, si tratta di approcci totalmente diversi quindi si può solo fare una valutazione relativa in termini di efficienza. In ogni caso, la parte di inizializzazione e reanalisi che fanno i modelli attuali rimane essenziale, si tratta solo di capire se nel costruire le dinamiche future sia più efficiente un approccio che cerca di risolvere le equazioni oppure uno che "ragioni" sostanzialmente per analogia dopo aver fatto un confronto con altre situazioni analoghe. Non mi stupirebbe se in futuro dei modelli globali attuali rimanesse prevalentemente la parte di inizializzazione e reanalisi, mentre per le previsioni prevalesse un approccio più leggero fondato sul machine learning.
"

Fantastico  :inchino:


-----------------------------------
Carletto89
Ven 17 Nov, 2023 07:41

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
Interessante, davvero. Persona sicuramente preparata sull'argomento che è comunque per un target di persone con elevata conoscenza di nozioni.

Mi sfugge il concetto di reti neurali, ma comunque a grandi linee il succo è chiaro.

Se dovesse andare come dice lui, mi mancherà l'illusorio run della buona notte... Il 18z  :cry:


-----------------------------------
Francesco
Ven 17 Nov, 2023 09:15

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
[quote user="Carletto89" post="608039"]Interessante, davvero. Persona sicuramente preparata sull'argomento che è comunque per un target di persone con elevata conoscenza di nozioni.

Mi sfugge il concetto di [b]reti neurali[/b], ma comunque a grandi linee il succo è chiaro.

Se dovesse andare come dice lui, mi mancherà l'illusorio run della buona notte... Il 18z  :cry:[/quote]

PIù o meno una rete neurale funziona così:  :D 

∑wixi + bias = w1x1 + w2x2 + w3x3 + bias

output = f(x) = 1 if ∑w1x1 + b>= 0; 0 if ∑w1x1 + b < 0


-----------------------------------
andrea75
Ven 17 Nov, 2023 23:32

Re: GraphCast - Il nuovo approccio di Google alle previsioni meteorologiche basato sull'IA (battuto ECMWF)
-----------------------------------
[quote user="Francesco" post="608047"][quote user="Carletto89" post="608039"]Interessante, davvero. Persona sicuramente preparata sull'argomento che è comunque per un target di persone con elevata conoscenza di nozioni.

Mi sfugge il concetto di [b]reti neurali[/b], ma comunque a grandi linee il succo è chiaro.

Se dovesse andare come dice lui, mi mancherà l'illusorio run della buona notte... Il 18z  :cry:[/quote]

PIù o meno una rete neurale funziona così:  :D 

∑wixi + bias = w1x1 + w2x2 + w3x3 + bias

output = f(x) = 1 if ∑w1x1 + b>= 0; 0 if ∑w1x1 + b < 0[/quote]

Tutto chiaro!  :lol: 

Tutto molto interressante cmq. ;)


