Keskkonnaagentuuri avaandmete ja andmeteenuste kasutamine Soomaa näitel

Parim koht viienda aastaaja kogemiseks Eestis on Soomaa!

Soomaa

Üleujutuste andmed ja prognoos

Hüdroloogilised tunniandmed

Soomaa pakub huvi eelkõige oma üleujutustega suurvee perioodil ehk viienda aastaaja poolest. Seega tuleks alustuseks vaadata, mis seal toimub sellel aastal ja kuidas on praegused veetasemed ning vooluhulgad. Valitud on 2 hüdroloogilise seire jaama, mis võiksid anda kõige parema info Soomaa hetkeseisu kohta:

• Aesoo hüdromeetriajaam
• Riisa hüdromeetriajaam

Allolevatel graafikutel on kuvatud Aesoo hüdromeetriajaamas mõõdetud vooluhulgad ja veetasemed.

Veevoolu andmed

Aesoo hüdromeetriajaama hüdroloogilise seire veevoolu tunniandmed annavad ülevaate vee liikumisest sellel perioodil. Vooluhulga suurenemine näitab suurvee aja algust ja intensiivsust. Samas mida rohkem vett on jões ja voolab ära seda vähem on seda üleujutatud aladel.

# Äravool
library(dygraphs)
dygraph(hydro_data_1[,c("timeline_ts_utc","Äravool avg"),],
        main = "Äravool keskmine", 
        ylab = "Tunni keskmine äravool, m3/s") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 24) %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.4)

Veetasemed

Aesoo hüdromeetriajaama hüdroloogilise seire veetasemete tunniandmed annavad ülevaate veetasemetest huvipakkuval perioodil. Veetasemed on heaks indikaatoriks, millal on kõige sobivam aeg üleujutusalade külastamiseks. Samas on näha, et veetasemete kõikumisi on mitu mistõttu ka õigeid Soomaa külastusaegu võib olla mitu. Parim aeg suurvee kogemiseks 2024.astal oli ilmselt märtsi alguses kuid ka märtsi lõpus näitavad andmed veetasemete suuremat kõikumist.

# WL-veetasemed
library(dygraphs)
dygraph(hydro_data_1[,c("timeline_ts_utc","WL max","WL min"),],
        main = "Tunni maksimaalne veetase (WL max) ja minimaalne veetase (WL min)", 
        ylab = "veetase, cm") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 24) %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.4)

Meteoroloogilise seire tunniandmed

Soomaa suurvee tulek ja minek on oluliselt seotud meteoroloogiliste näitajatega nagu sademed ja õhutemperatuur. Seega tuleks alustuseks vaadata, mida näitavad andmed suurvee perioodil sellel ja eelmisel aastal. Kuna Soomaa asub kolme meteoroloogiajaama kolmnurgas peagu et keskel, siis sai Välja valitud järgmised kolm meteoroloogiajaama, mis võiks anda kõige parema info:

• Türi meteoroloogiajaam
• Pärnu rannikujaam
• Viljandi meteoroloogiajaam

Allolevatel graafikutel on kuvatud nendes meteoroloogiajaamades mõõdetud temperatuurid ja sademete hulgad.

Õhutemperatuur

Türi, Pärnu ja Viljandi meteoroloogilise seire õhutemperatuuri tunniandmed annavad ülevaate kuidas ilm mõjutab suurvee teket. Mida rohkem on külmakraade ja sademeid talvel seda rohkem talletub vett ja seda rohkem on kevadel suurvett.

# Õhutemp täistunnil
library(dygraphs)
dygraph(kliima_data_TA,
        main = "Õhutemperatuur täistunnil (hetkväärtus)", 
        ylab = "kraad(c)") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 24) %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)

Sademed

Türi, Pärnu ja Viljandi meteoroloogilise seire sademete tunniandmed annavad ülevaate kuidas ilm mõjutab suurvee teket. Mida rohkem on külmakraade ja sademeid seda rohkem talletub vett ja seda rohkem on kevadel suurvett.

# Ühe tunni sademete summa
library(dygraphs)
dygraph(kliima_data_PR1H,
        main = "Ühe tunni sademete summa", 
        ylab = "mm")%>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 3)%>%
    
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) 

Andmete võrdlus

Hüdroloogiliste ja meteoroloogiliste andmete võrdlus

Suurvee kõrgaja leidmiseks on vaja vaadata kuidas mõjutavad valitud hüdroloogilised ja meteoroloogilised näitajad üksteist. Kuna andmete skaalad on väga erinevad siis võrdluse saamiseks tuleb andmed enne normaliseerida (nn kaalutud andmed). Et graafik oleks loetav ja tõlgendatav tuleb temperatuuri andmeid ka keskmistada (30 päeva keskmine) Alloleva graafiku normaliseeritud väärtuste põhjal on näha kuidas ilm mõjutab veetasemeid ja äravoolu.

# normaliseeritud väärtus
library(dygraphs)
dygraph(tulemus,
        main = "Normaliseeritud andmed", 
        ylab = " Normaliseeritud väärtus")%>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 24)%>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) 

Ajaloolised andmed

Pikemas perspektiivis annab olulist infot just mitme aasta andmete võrdlus. Paraku väljastab andmeteenus hetkel hüdroloogilise seire tunniandmeid alates 01.01.2023, Varasemate andmete lisamine andmeteenusesse on pooleli, seega kasutame EstModeli veetasemete andmeid.

# ajalolised Riisa veetasemed
library(dygraphs)
dygraph(hydro_EstModel_riisa[,c("x","min","median","max")],
        main = "2019-2023 aasta Riisa hüdromeetriajaama veetasemed", 
        ylab = "m")%>%
    dyRangeSelector()%>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) %>%
    dyRoller(rollPeriod = 7)

Lisaks on suurvesi seotud eelkõige temperatuuriga, seega saab teha 5 aasta temperatuuri andmete võrdlust. Selleks, et graafik väga loetamatuks ei muutuks on kuvatud 5 aasta miinimum, mediaan ja maksimum temperatuurid (2019-2023). Alloleva graafiku mediaani näitaja põhjal võiks arvata, et parim aeg hakata planeerima Soomaa külastust oleks märtsi lõpus. Samas tasub silma peal hoida jooksva aasta temperatuuridel, sest aastate lõikes temperatuur kõigub päris palju ja ilmaolud on muutlikud.

# ajalolised kliima andmed
library(dygraphs)
dygraph(kliima_data_PA[,c("x","min","median","max")],
        main = "2019-2023 aasta temperatuurid", 
        ylab = " kraad(c)")%>%
    dyRangeSelector()%>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) %>%
    dyRoller(rollPeriod = 7)

Hüdroloogilised prognoosid

Keskkonnaagentuuri hüdroloogiline prognoos

Aesoo ja Riisa hüdromeetriajaamade hüdroloogilise mudelprognoosi päevaandmed annavad 10 päeva ulatuses prognoosi, mille abil valida kõige õigem hetk, millal minna Soomaale. Keskkonnaagentuuri hüdroloogiline mudelprognoos on koostatud oma ala ekspertide poolt kasutades selleks loodud mudelid. Tasub vaadata ka prognoosi koostamise kirjeldust Graafikutel on toodud Aesoo vooluhulga prognoos ja Riisa veetasemete prognoos.

# max, min, keskmine vooluhulk
library(dygraphs)
dygraph(Aesoo_prognoos[,c("paev","vooluhulga prognoos","max vooluhulk","min vooluhulk","keskmine vooluhulk")],
        main = "Aesoo hüdroloogiline mudelprognoos", 
        ylab = "vooluhulk") %>%
    dyEvent(Aesoo_prognoos[11,c("paev")], "Täna", labelLoc = "bottom") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 0) %>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)

# max min, keskmine veetase
library(dygraphs)
dygraph(Riisa_prognoos[,c("paev","veetaseme prognoos", "max veetase", "min veetase", "keskmine veetase")],
        main = "Riisa hüdroloogiline mudelprognoos", 
        ylab = "veetase") %>%
    dyEvent(Riisa_prognoos[11,c("paev")], "Täna", labelLoc = "bottom") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 0) %>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)

Keskkonnaagentuuri meteorooloogiline prognoos

Lisaks hüdroloogilisele prognoosile tasub vaadata ka Keskkonnaagentuuri meteoroloogilist asukohapõhist prognoosi. Prognoosi andmed on päritud Aesoo hüdromeetriajaama koordinaatide kohta. Ilm on kevadel heitlik, seega parima kogemuse saamiseks tasub lisaks veetasemetele arvestada sademeid, õhutemperatuuri ja tuult. Tasub vaadata ka ilmaprognooside andmestiku kirjeldust

library(dygraphs)
dygraph(kliima_4[,c("aeg","TA","PR1H","Tuul")],
        main = "Meteoroloogiline prognoos Aesmaa jaama koordinaatidel", 
        ylab = "temp(c), tuul(m/s), sademed(mm)") %>%
    dySeries("TA", label = "Temp") %>%
    dySeries("Tuul", label = "Tuul") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 0) %>%
    dyHighlight(highlightSeriesOpts = list(strokeWidth = 3))%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2,labelsUTC = TRUE)

Teemakaart

Soomaa veevõrk ja seirejaamad

Kaardilt leiad Soomaa lähistel olevad Aesoo ja Riisa hüdromeetriajaamad ning kolm lähimat meteoroloogiajaama, koos täiendava infoga. Lisaks on taustandmeteks veevõrk (järved ja vooluveekogud) ning Soomaa kaitseala. Soomaa rahvuspargi kohta saab täiendavat infot Soomaa külastuskeskusest, mis on ühtlasi ka hea alguspunkt üleujutatud alade külastamiseks.

# Eesti koordinaatsüsteem tuleb täpsustada kuna leaflet kasutab wgs84
library(leaflet)
library(leaflet.extras)
## Teeme valmis kaardi leafletiga
# Tekitame kaardiobjekti
basemap <- leaflet(jaam,
                   width = "100%", 
                   height = "600px",
                   options = leafletOptions(
                       preferCanvas = TRUE, 
                       #worldCopyJump = F, 
                       crs = epsg3301)) %>%
    
    #addTiles(urlTemplate = "//{s}.tile.openstreetmap.org/{z}/{x}/{y}.png", group = "Taustakaart",tileOptions(opacity = 0.9)) %>%
    
    # Lisame kaardile MA aluskaardi VMS teenuse
    addWMSTiles(
        ma_alus,
        #layers = "MA-ALUS",
        layers = "MA-HALLKAART",
        group = "Taustakaart",
        options = WMSTileOptions(format = "image/png",
                                 transparent = TRUE,
                                 opacity=0.3,
                                 minZoom = 1,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    
    # Lisame kaardile vooluveekogude VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_vooluvesi",
        group = "Vooluvesi",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 15,
                                 continuousWorld = T)) %>%
    # Lisame kaardile järvede VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_jarv",
        group = "Järved",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    # Lisame kaardile ramsari alade VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_ramsar",
        group = "Kaitseala",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    
    # Lisame kaardile meteoroloogiajaamad
    addCircleMarkers(radius = 10,
                     #tekitame infoakna
                     lng = ~jaam$lon, 
                     lat = ~jaam$lat,
                     color = "green",
                     group = "Jaamad",
                     popup = paste("Jaama nimi: ", jaam$jaam_nimi, "<br>",
                                   "Jaama nimi (eng): ", jaam$jaam_nimi_eng, "<br>",
                                   "Jaama kood: ", jaam$jaam_kood, "<br>",
                                   "Jaama kõrgus merepinnast(m): ", jaam$korgus_merepinnast_m, "<br>",
                                   "Pikkuskraad: ", jaam$lon, "<br>",
                                   "Laiuskraad: ", jaam$lat, "<br>",
                                   "Jaama algusaeg: ", jaam$jaam_periood_algus, "<br>"),
                     label = ~jaam_nimi) %>%
    
    # Lisame kaardile hüdromeetriajaamad
    addCircleMarkers(radius = 10,
                     lng = ~hydro_jaam$lon, 
                     lat = ~hydro_jaam$lat,
                     color = "#FFC300",
                     group = "Jaamad",
                     #tekitame infoakna
                     popup = paste("Jaama nimi: ", hydro_jaam$jaam_nimi, "<br>",
                                   "Jaama kood: ", hydro_jaam$jaam_kood, "<br>",
                                   "Valgala nimi: ", hydro_jaam$valgala_nimi, "<br>",
                                   "Valgala suurus km2: ", hydro_jaam$valgala_suurus_km2, "<br>",
                                   "Kaugus suudmest km: ", hydro_jaam$kaugus_suudmest_km, "<br>",
                                   "Veekogu nimi: ", hydro_jaam$veekogu_nimi, "<br>",
                                   "Pikkuskraad: ", hydro_jaam$lon, "<br>",
                                   "Laiuskraad: ", hydro_jaam$lat, "<br>"),
                     label = ~hydro_jaam$jaam_nimi) %>%
    
    # Lisame kaardile Soomaa rahvuspargi külastuskeskuse
    addMarkers(#radius = 10,
               lng =  25.031412,
               lat =  58.431158,
               #color = "#FFC300",
               group = "Jaamad",
               #tekitame infoakna
               popup = paste(" ", "Soomaa rahvuspargi külastuskeskus", "<br>",
                             " ", "<b><a href='https://loodusegakoos.ee/kuhuminna/rahvuspargid/soomaa-rahvuspark/10764/'>Külastuskeskuse info</a></b>", "<br>",
                             " ", "<b><a href='https://loodusegakoos.ee/kuhuminna/rahvuspargid/soomaa-rahvuspark/1268/'>Kopraraja lisainfo</a></b>", "<br>",
                             
                             "Pikkuskraad: ", "25.031412", "<br>",
                             "Laiuskraad: ", "58.431158", "<br>"),
               label = "Soomaa rahvuspargi külastuskeskus") %>%
    
    # Jäägem eesti piiridesse seega täpsustame kaardiaknas kuvatavaid piire
    setMaxBounds(21.58448, 60.08641, 28.39045, 57.07625) %>%
    # Lisame legendi
    addLegend(
        title = "Legend",
        position = "bottomright",
        values = c(1, 2,3,4,5),
        labels = c("Vooluvesi", "Järved","meteo. jaamad","hüdro. jaamad","kaitsealad"),
        colors = c("blue", "blue","darkgreen","yellow","lightblue"))%>%
    # Lisame kihtide sisse/välja lülitamise funktsionaalsuse
    addLayersControl(
        #baseGroups = c("Taustakaart","Kaitseala"),
        overlayGroups = c("Vooluvesi","Järved","Jaamad","Kaitseala","Taustakaart"),
        options = layersControlOptions(collapsed = FALSE)) 


# vajadusel saab kaarti ka erladiseisvalt salvestada htmli
#library(plotly) ;htmlwidgets::saveWidget(as_widget(basemap), "basemap.html")
basemap

Soomaa andmelugu

Andmelugu Soomaa näitel

Eesmärk

Keskkonnaagentuuri avaandmete ja andmeteenuste kasutamine Soomaa näitel koostatud rakenduse eesmärgiks on anda ilma- ja keskkonnavaldkonna andmete kasutajatele üks andmelugu, mis oleks samal ajal ka juhendmaterjaliks ja mille koodi saaks kasutada põhjana Keskkonnaagentuuri andmemaailmas orienteeriumiseks ja avaandmete kasutamiseks. Soomaa andmelugu on mõeldud neile, kes on alles alustamas ning soovivad luua enda rakendusi-tööriistu, teha analüüse või kasutada neid andmed muudes infosüsteemides.

Et tegu ei oleks väga igava ja tehnilise juhendiga valisime näiteks ühe konkreetse teema ja huviobjekti.

Teema: Soomaa

Soomaa on üks huvitavamaid vaatamis- ja kogemisväärsusi Eestis, mis muutub aina populaarsemaks ja seda just viiendal aastaajal. Paraku ilm on keeruline nähtus, mis erineb aastate lõikes ning viies aastaaeg ei alga kindla kuupäevaga. Antud andmelugu sisaldab andmepõhist ülevaadet Soomaast, põhifookusega suurvee ajale ja eesmärgiks on anda võimalikult palju avaandmetega seotud infot ühes kohas. Soomaa külastaja või loodusretke korraldaja soovib tõenäoliselt tabada seda kõige õigemat aega külastuseks ehk kus suurvee tasemed on kõige kõrgemad.

Kellele suunatud

Andmelugu on suunatud mitmele kasutajagrupile.

• Neile, kes lähevad soomaad avastama ja tahavad rihtida seda kõige õigemat suurvee üleujutuste aega.
• Loodushuvilistele, kes magavad maha üleujutused, kuid lähevad muul ajal Soomaale looduse huvesid nautima.
• Andmeteadlased, andmeanalüütikud, tudengid ja teadurid, kes soovivad andmeid väärindada ja analüüsida.
• IT-arendajad/programmeerijad, ettevõtjad või kes vajavad andmeid üle masin-masin liidese.

Keskkonnaagentuuri andmetest tuleb järjepidevalt juurde uusi avaandmete teenuseid ja seega avaadnmete populariseerimise eesmärgiks on suurendada avaandmete kasutamist ning andmetest uue väärtuse loomist.

Andmed

Andmete kasutamise näited R-is illustreerib protsessi, mida tuleb läbida, et andmeid saaks kasutada või väärindada teiste osapoolte poolt. Takistuseks võib olla andmetest arusaamine ja õigete andmeallikate “otsade” leidmine. Andmelugu koos vastava koodiga on loodud selle probleemi lahendamiseks. Andmetest arusaamine võib olla valdkonna välisetele kasutajatele keeruline ja seetõttu oleme antud näite puhul lisanud ohtral linke ja juhismaterjale koodi, et järgmised andmete kasutajad saaksid üles leida vajaliku info ning teaksid kuidas on üles ehitatud meie andmekataloog, sh andmestike/levituse info, andmekirjeldused ja andmeteenused. Kasutatud on erinevaid andmeid erinevatest allikatest, peamiselt andmeteenustena, sealhulgas ruumiandmeteenuseid,

Andmelugu sisaldab järgmisi andmeid:

• Hüdroloogiline seire
• Hüdroloogiline mudelprognoos
• Meteoroloogiline seire
• Meteoroloogiline asukohapõhine prognoos
• Seirejaamad
• Ramsari alad
• Vooluveekogud
• Järved
• Maa-ameti aluskaart (halltoonid)

Soomaa suurvee andmeloo jaoks valiti välja kaks olulisemat hüdromeetriajaama ja kolm lähimat meteoroloogiajaama (vaata kaarti). Lisaks saab lugeda soomaa rahvuspargi ja loodusala kohta ka keskkonnaportaalist ning vaadata seotud objekte ja muud keskkonnainfot.

• Soomaa loodusala
• Soomaa Rahvuspark

Andmetöötlus ja skriptid

Koodi kirjutamine ei peaks olema iga kord nullist alustamine, vaid võiks olla hea praktika kohaselt taaskasutamine.Andmeloos on kasutatud erinevat tüüpi andmeid ja iga andmestik on oma spetsiifilises formaadis (nt kuupäevade formaat) siis selle andmeloo koodi taaskasutamise tulemusena saab järgmine andmete ja koodi kasutaja hoida kokku aeg ja närve andmetöötluse osas. Andmeloo mõte on anda põhiinfo andmete kasutamiseks, seega on kood võimalikult puhas ja lihtne ning minimaalselt on kasutatud R-i spetsiifilist süntaksit. R on küllaltki lihtne programmeerimiskeel, mis sobib andmeteaduseks, andmeanalüüsiks ja kiirelt valmivate lahenduste loomiseks või prototüüpimiseks. Sel põhjusel on ka see kood üsna arusaadav ja kasutatav või ülevõetav teistes programmeerimiskeeltes ja keskkondades. Kood on ära toodud andmeloo skriptide sektsioonis ning selle kasutamisel tuleks vaadata ka juhiseid.

Andmete võrdlus ja prognoos

Koodi loetavuse ja arusaadavuse tagamiseks on kasutatud lihtsaid näiteid andmete võrdluseks ja kasutatud peamiselt olemasolevaid prognoosandmeid. Keda huvitab vooluhulkade ja tasemete prognoos Soomaa külastamisel, võiks kindlasti vaadata Keskkonnaagentuuri hüdroloogilist ja meteoroloogilist mudelprognoosi. Lisatud on mõned andmevõrdlused, et näidata nende andmete analüüsi ja väärindamise võimalusi ning anda andmeloo kasutajale võimalus teha ise järeldusi. Andmete kasutamise näidised on olemas ja igaüks saab andmeid edasi analüüsida ja luua endale sobilike prognoosmudeleid ning täiendada selle andmeloo skripte.

Kontakt

Keskkonnaagentuur

Mustamäe tee 33, 10616 Tallinn

+372 666 0901

klienditugi@envir.ee

Juhis

Kuidas kasutada skripte

Siit sektsioonist leiad info kuidas taaskasutada selle andmeloo loomiseks kasutatud koodi.

Andmed on seisuga 04.04.2024 ja ei uuene automaatselt. Seega tuleb andmeid uuendada, et saada ajakohased graafikud

Kood koosneb 2 failist (soomaa.Rmd, Andmed.R)

Faili soomaa.Rmd saab alla laadida kui vajutada päises oleval nupul Code ja valida Download Rmd või siit: soomaa.Rmd

Faili Andmed.R koodi saab kopeerida järgmiselt menüüsakilt Andmed.R või alla laadida siit: Andmed.R

Fail soomaa.Rmd sisaldab ainult graafikute loomiseks vajaliku koodi, kuid mitte andmete sisselugemise ja töötluse koodiosa, sest siis läheks kood väga pikaks ja poleks tagatud loetavus. Fail Andmed.R sisaldab ka graafikute loomise koodi baastasemel, et oleks näha tulemused (graafikud,kaart) ka neil, kes faili soomaa.Rmd ei kasuta.

Juhis andmeloo taasloomiseks:

1. Tekita skript “Andmed.R”
2. Lisa allolev kood (“Andmed.R” sektsioonist) enda faili “Andmed.R”
3. Installeeri vajalikud teegid (library), R-studio pakub seda võimalust skripti päises automaatselt
4. Jooksuta Andmed.R skripti
5. Tõmba alla fail nimega soomaa.Rmd
6. Vajuta soomaa.Rmd päises “run all chunks below”
7. Peale koodi jooksutamist tuleb luua väljund kasutades konsoolis käsklust:rmarkdown::render(“soomaa.Rmd”)

rmarkdown::render("soomaa.Rmd")

Andmed.R

Koodi nägemiseks Vajuta paremal pool oleval nuppul “show”

###############################
#### Andmetöötluse skript 
# Sisaldab avaandmete andmeteenuste kasutamise näiteid ning viiteid andmete kirjeldustele ja keskkondadele 
# Lisaks peamisi andmetöötluse tegevusi, andmete võrdlusi, graafikute loomist ja kaartide tegemise näiteid
###############################
### Hüdroloogilise seire andmed
## Loeme sisse hüdroloogilise seire andmed (https://keskkonnaportaal.ee/et/avaandmed/keskkonna-ja-ilma-valdkonna-andmeteenused)
# Üldine päring andmetele, et näha mis seal sees on ja kuna päringumaht on piiratud siis filtritega (limiit 20000 rida)
library(jsonlite)
hydro_data <- fromJSON("https://keskkonnaandmed.envir.ee/f_hydroseire?timeline_ts_utc=lt.2023-01-02T03:00:00&timeline_ts_utc=gt.2023-01-01T23:00:00&jaam_kood=eq.41137")

# Meid huvitab aint teatud osa andmestikust, seega vaatame mida saaks välja rookida
names(hydro_data)

# Andmekirjeldusest põhjal võiks meid huvitada tunniandmetest veetase(cm) ja tunni äravool(m3/s)
#https://keskkonnaportaal.ee/et/avaandmed/hudroloogilise-seire-andmestik/hudroloogilise-seire-andmestiku-kirjeldus

# Vaatame, mis parameetrid meil andmetes tegelikult on
unique(hydro_data$aegrida_nimi)

# Võtame ainult meid huvitava valiku aga on vaja on kodeerida õigesti andmepäring (https://www.w3schools.com/tags/ref_urlencode.ASP) 
hydro_data <- fromJSON("https://keskkonnaandmed.envir.ee/f_hydroseire?timeline_ts_utc=gt.2023-09-01T23:00:00&aegrida_nimi=in.(WL%20min,WL%20max,%C3%84ravool+avg)&jaam_kood=eq.41137")

# Meil valitud ainult Aesoo hüdromeetriajaam, seega pole vaja jaamade üldandmeid
hydro_data=hydro_data[,c("timeline_ts_utc", "aegrida_nimi","vaartus" )]

# Paneme andmed kõrvuti ühte tabelisse, et saaks graafiku teha
library(tidyr)
hydro_data_1=spread(hydro_data, key = aegrida_nimi, value = vaartus)

# Kontrollime üle, kas on kõik unikaalne
sum(duplicated(hydro_data_1$timeline_ts_utc))

# Kuupäev on erilises vormis ja tuleb vaeva näha, et saaks neist datetime teha mida vajab graafik 
hydro_data_1$timeline_ts_utc= gsub("T"," ",hydro_data_1$timeline_ts_utc)
hydro_data_1$timeline_ts_utc= as.POSIXlt(hydro_data_1$timeline_ts_utc, format='%Y-%m-%d %H:%M:%S',tz = "UTC")

## Teeme graafikud
# Äravool
library(dygraphs)
dygraph(hydro_data_1[,c("timeline_ts_utc","Äravool avg"),],
        main = "Äravool keskmine", 
        ylab = "Tunni keskmine äravool, m3/s") %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.4)
# Graafiku järgi on andmetes 16ndal ja 17ndal auk sees

# Veetase
library(dygraphs)
dygraph(hydro_data_1[,c("timeline_ts_utc","WL max","WL min"),],
        main = "Tunni max ja min veetase", 
        ylab = "veetase, cm") %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.4)


###############################
### Kliima andmed
## Loeme sisse kliima andmed (https://keskkonnaportaal.ee/et/avaandmed/keskkonna-ja-ilma-valdkonna-andmeteenused)
# Üldine päring andmetele, et näha mis seal sees on ja kuna päringumaht on piiratud siis filtritega (limiit 20000 rida)
library(jsonlite)
kliima_data <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=eq.2023&kuu=gt.10&paev=lt.8&jaam_kood=in.(AJVILJ01,AJPARN01,AJTURI01)")

# Meid huvitab aint teatud osa andmestikust, seega vaatame mida saaks välja rookida
names(kliima_data)

# Andmekirjelduse ütleb meile, et meid võiks huvitada tunniandmetes täistunni õhutemperatuur ning sademete summa
#https://keskkonnaportaal.ee/et/avaandmed/kliimaandmestik/kliimaandmestiku-kirjeldus

# Vaatame, mis parameetrid meil andmetes tegelikult on
unique(kliima_data$element_kood)

# Võtame ainult meid huvitava valiku ja teeme jaamapõhised päringud
# Kuna päringu limiit on 20000 rida siis peame päringud tükeldama näitajate ja jaamade lõikes

# Türi meteoroloogiajaam
kliima_data_1 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJTURI01&element_kood=eq.TA")
kliima_data_2 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJTURI01&element_kood=eq.PR1H")
# Liidame andmed kokku ja roogime välja mittevajalikud väljad
kliima_data_t=merge(
    kliima_data_1[,c("aasta","kuu","paev","tund","vaartus")], 
    kliima_data_2[,c("aasta","kuu","paev","tund","vaartus")], 
    by=c("aasta","kuu","paev","tund"),all=T,suffixes = c("TA","PR1H"))
names(kliima_data_t) = c("aasta","kuu","paev","tund","TA","PR1H")

# Pärnu rannikujaam
kliima_data_1 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJPARN01&element_kood=eq.TA")
kliima_data_2 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJPARN01&element_kood=eq.PR1H")
# Liidame andmed kokku ja roogime välja mittevajalikud väljad
kliima_data_p=merge(
    kliima_data_1[,c("aasta","kuu","paev","tund","vaartus")], 
    kliima_data_2[,c("aasta","kuu","paev","tund","vaartus")], 
    by=c("aasta","kuu","paev","tund"),all=T,suffixes = c("TA","PR1H"))
names(kliima_data_p) = c("aasta","kuu","paev","tund","TA","PR1H")

# Viljandi meteoroloogiajaam
kliima_data_1 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJVILJ01&element_kood=eq.TA")
kliima_data_2 <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_tund?aasta=in.(2023,2024)&jaam_kood=eq.AJVILJ01&element_kood=eq.PR1H")
# Liidame andmed kokku ja roogime välja mittevajalikud väljad
kliima_data_v=merge(
    kliima_data_1[,c("aasta","kuu","paev","tund","vaartus")], 
    kliima_data_2[,c("aasta","kuu","paev","tund","vaartus")], 
    by=c("aasta","kuu","paev","tund"),all=T,suffixes = c("TA","PR1H"))
names(kliima_data_v) = c("aasta","kuu","paev","tund","TA","PR1H")

# Puhastame töölauda
rm(kliima_data_1,kliima_data_2)

# Normaliseerime ajalise mõõtme ja viime selle datetime formaati, et saaks graafikuid teha
kliima_data_t$timeline_ts_utc= paste0(kliima_data_t$aasta,"-",kliima_data_t$kuu,"-",kliima_data_t$paev," ",kliima_data_t$tund,":00:00")
kliima_data_p$timeline_ts_utc= paste0(kliima_data_p$aasta,"-",kliima_data_p$kuu,"-",kliima_data_p$paev," ",kliima_data_p$tund,":00:00")
kliima_data_v$timeline_ts_utc= paste0(kliima_data_v$aasta,"-",kliima_data_v$kuu,"-",kliima_data_v$paev," ",kliima_data_v$tund,":00:00")

# Kuvame andmed et näha mis toimub graafikul
kliima_data_t$timeline_ts_utc= as.POSIXlt(kliima_data_t$timeline_ts_utc, format='%Y-%m-%d %H:%M:%S',tz = "UTC")
kliima_data_p$timeline_ts_utc= as.POSIXlt(kliima_data_p$timeline_ts_utc, format='%Y-%m-%d %H:%M:%S',tz = "UTC")
kliima_data_v$timeline_ts_utc= as.POSIXlt(kliima_data_v$timeline_ts_utc, format='%Y-%m-%d %H:%M:%S',tz = "UTC")

## Teeme graafikud
# Kuna temperatuur ja sademed on hästi võrreldavad erinevate asukohatde lõikes siis paneme jaamade andmed kokku näitaja alusel

# õhutemp täistunnil
kliima_data_TA =merge(kliima_data_t[,c("timeline_ts_utc","TA")],kliima_data_p[,c("timeline_ts_utc","TA")],by="timeline_ts_utc")
kliima_data_TA =merge(kliima_data_TA,kliima_data_v[,c("timeline_ts_utc","TA")],by="timeline_ts_utc")
names(kliima_data_TA)=c("timeline_ts_utc","Türi","Pärnu","Viljandi")
library(dygraphs)
dygraph(kliima_data_TA) %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)

# Ühe tunni sademete summa
kliima_data_PR1H =merge(kliima_data_t[,c("timeline_ts_utc","PR1H")],kliima_data_p[,c("timeline_ts_utc","PR1H")],by="timeline_ts_utc")
kliima_data_PR1H =merge(kliima_data_PR1H,kliima_data_v[,c("timeline_ts_utc","PR1H")],by="timeline_ts_utc")
names(kliima_data_PR1H)=c("timeline_ts_utc","Türi","Pärnu","Viljandi")
library(dygraphs)
dygraph(kliima_data_PR1H)


###############################
### Andmete võrdlus
## Paneme hüdroloogilised ja meteoroloogilised andmed kokku võrdluse jaoks
kliima_koos= merge(kliima_data_TA,kliima_data_PR1H,by="timeline_ts_utc",suffixes = c(".TA",".PR1H"))
kliima_koos= merge(kliima_koos,hydro_data_1,by="timeline_ts_utc")
# POSIXlt tuleb muuta POSIXct formaati
kliima_koos$timeline_ts_utc= as.POSIXct(kliima_koos$timeline_ts_utc)
# Eemaldame hüdroloogilistes andmetes oleva augu
kliima_koos= kliima_koos[complete.cases(kliima_koos),]
## korrelatsioon
tulemus=cor(kliima_koos[,-1])

# Teeme korrelatsiooni graafiku et näha andmete erinevusi
library(plotly)
plot_ly(x=colnames(tulemus), 
        y=rownames(tulemus),
        z = tulemus, 
        type = "heatmap",
        zauto = F, zmin = 0, zmax = 1,
        colors = colorRamp(c("red", "green"))) %>%
    layout(margin = list(l=120))

# Andmed on kohati suhteliselt võrreldamatud, sest on erineva skaalaga ja tuleks normaliseerida

## Normaliseerime andmed kasutame scale() ja rollmean funktsioone loetava graafiku saamiseks
library(zoo)
x1=scale(kliima_koos[,c(8,9,10)])
x1=cbind(kliima_koos[,"timeline_ts_utc"],as.data.frame(x1))
x2=rollmean(scale(rowMeans(kliima_koos[,c(2,3,4)])),30,fill = 0,align ="right" )
x2=cbind(kliima_koos[,"timeline_ts_utc"],as.data.frame(x2))
names(x2)=c("kliima_koos[, \"timeline_ts_utc\"]","TA")
tulemus= merge(x1,x2,by="kliima_koos[, \"timeline_ts_utc\"]")

# Teeme normaliseeritud andmetega graafiku
library(dygraphs)
dygraph(tulemus,
        main = "Normaliseeritud andmed", 
        ylab = "Normaliseeritud väärtus")%>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 0)%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)


### Võrdleme veetasemete andmeid 5 aasta lõikes
## Hüdro andmed EstModelist
library(jsonlite)
# H-veetase, Q-vooluhulk, T-veetemperatuur
hydro_EstModel_riisa <- fromJSON("https://estmodel.envir.ee/stations/SJA4385000/statistics?parameter=H&start-year=2019&time-step=P1D") # Riisa
hydro_EstModel_riisa$timeline_ts_utc= as.POSIXlt(hydro_EstModel_riisa$startDate, format='%Y-%m-%d',tz = "UTC")
hydro_EstModel_riisa=hydro_EstModel_riisa[,c("timeline_ts_utc", "meanValue")]

# Loome aasta, kuu ja päeva erladi et saaks luua võrdlusi 
library(lubridate)
hydro_EstModel_riisa$aasta= year(hydro_EstModel_riisa$timeline_ts_utc)
hydro_EstModel_riisa$kuu= month(hydro_EstModel_riisa$timeline_ts_utc)
hydro_EstModel_riisa$paev= day(hydro_EstModel_riisa$timeline_ts_utc)

# Normaliseerime ajalise mõõtme 
hydro_EstModel_riisa$timeline_ts_utc= paste0(hydro_EstModel_riisa$kuu,"-",hydro_EstModel_riisa$paev)

# Viskame välja üleliigsed väljad aga jätame sisse kuu ja päeva, et järjekord sassi ei läheks
hydro_EstModel_riisa=hydro_EstModel_riisa[,c("aasta","kuu","paev","timeline_ts_utc","meanValue")]

# Paneme andmed kõrvuti ühte tabelisse, et saaks graafiku teha
library(tidyr)
hydro_EstModel_riisa=spread(hydro_EstModel_riisa, key = aasta, value = meanValue)

# Eemaldame kuu ja päeva
hydro_EstModel_riisa=hydro_EstModel_riisa[,c(3:ncol(hydro_EstModel_riisa))]

#kliima_data_PA$timeline_ts_utc= as.POSIXlt(kliima_data_PA$timeline_ts_utc, format='%m-%d',tz = "UTC")
# Et graafik oleks puhas ja arusaadav arvutame min,max ja keskmise väärtuse
hydro_EstModel_riisa$median = apply(hydro_EstModel_riisa[,c(2:ncol(hydro_EstModel_riisa))], 1, median, na.rm=F)
hydro_EstModel_riisa$min = apply(hydro_EstModel_riisa[,c(2:ncol(hydro_EstModel_riisa))], 1, min, na.rm=F)
hydro_EstModel_riisa$max = apply(hydro_EstModel_riisa[,c(2:ncol(hydro_EstModel_riisa))], 1, max, na.rm=F)

# lisame x päeva numbriliselt, et dygraph oskaks teha õige graafiku aastate lõikes
hydro_EstModel_riisa$x =c(1:nrow(hydro_EstModel_riisa))
# ja teeme kuupäevad
library(lubridate)
hydro_EstModel_riisa$x = parse_date_time(x = hydro_EstModel_riisa$x, orders = "j")
hydro_EstModel_riisa=as.data.frame(hydro_EstModel_riisa)

## Teeme graafikud
library(dygraphs)
dygraph(hydro_EstModel_riisa[,c("x","min","median","max")])%>%
    dyRangeSelector()%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) %>%
    
    dyRoller(rollPeriod = 10)


### Võrdleme temperatuuri andmeid 5 aasta lõikes
# Loeme sisse 5 aasta  temperatuuri päevaandmed
library(jsonlite)
kliima_data_PA <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_paev?jaam_kood=eq.AJTURI01&element_kood=in.(DTA08)&aasta=in.(2019,2020,2021,2022,2023)") #türi

# Normaliseerime ajalise mõõtme 
kliima_data_PA$timeline_ts_utc= paste0(kliima_data_PA$kuu,"-",kliima_data_PA$paev)

# Viskame välja üleliigsed väljad aga jätame sisse kuu ja päeva, et järjekord sassi ei läheks
kliima_data_PA=kliima_data_PA[,c("aasta","kuu","paev","timeline_ts_utc","vaartus")]

# Paneme andmed kõrvuti ühte tabelisse, et saaks graafiku teha
library(tidyr)
kliima_data_PA=spread(kliima_data_PA, key = aasta, value = vaartus)

# Eemaldame kuu ja päeva
kliima_data_PA=kliima_data_PA[,c(3:8)]

#kliima_data_PA$timeline_ts_utc= as.POSIXlt(kliima_data_PA$timeline_ts_utc, format='%m-%d',tz = "UTC")
# Et graafik oleks puhas ja arusaadav arvutame min,max ja keskmise väärtuse
kliima_data_PA$median = apply(kliima_data_PA[,c(2:6)], 1, median, na.rm=F)
kliima_data_PA$min = apply(kliima_data_PA[,c(2:6)], 1, min, na.rm=F)
kliima_data_PA$max = apply(kliima_data_PA[,c(2:6)], 1, max, na.rm=F)

# lisame x päeva numbriliselt, et dygraph oskaks teha õige graafiku aastate lõikes
kliima_data_PA$x =c(1:nrow(kliima_data_PA))
# ja teeme kuupäevad
library(lubridate)
kliima_data_PA$x = parse_date_time(x = kliima_data_PA$x, orders = "j")
kliima_data_PA=as.data.frame(kliima_data_PA)

## Teeme graafikud
library(dygraphs)
dygraph(kliima_data_PA[,c("x","min","median","max")])%>%
    dyRangeSelector()%>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2) %>%
    dyRoller(rollPeriod = 10)

###############################
### Hüdroloogiline mudelprognoos
# https://keskkonnaportaal.ee/et/avaandmed/hudroloogiline-mudelprognoos
# Andmed asuvad siin: https://avaandmed.keskkonnaportaal.ee/dhs/Active/documentList.aspx?ViewId=919192b7-3e4e-4694-a3f7-7b856da7aeac
# ID muutuvad, seega tuleb vaada järgi mis on ajakohase faili ID: https://avaandmed.keskkonnaportaal.ee/swagger/index.html
## Loeme sisse Aesoo vooluhulga ja Riisa veetasemete andmed
library(readr)
# Loeme sisse Aesoo vooluhulga andmed
Aesoo_prognoos <- read_table("https://avaandmed.keskkonnaportaal.ee/_vti_bin/RmApi.svc/active/items/1337361/files/1", col_names = FALSE)
# Loeme sisse Riisa veetasemete andmed
Riisa_prognoos <- read_table("https://avaandmed.keskkonnaportaal.ee/_vti_bin/RmApi.svc/active/items/488068/files/1", col_names = FALSE)
# Loeme sisse Riisa vooluhulga andmed aga kuna saame errorit siis jätame välja esialgu
#Riisa_prognoos_vooluhulk <- read_table("https://avaandmed.keskkonnaportaal.ee/_vti_bin/RmApi.svc/active/items/488066/files/1", col_names = FALSE)

# Andmetel pole pealkirju ja need saame siit: https://keskkonnaportaal.ee/et/avaandmed/hudroloogilise-prognoosi-andmestik/hudroloogilise-prognoosi-kirjeldus
names(Aesoo_prognoos) =c("aeg","vooluhulga prognoos","max vooluhulk","min vooluhulk","keskmine vooluhulk","test")
names(Riisa_prognoos) =c("aeg","veetaseme prognoos","max veetase","min veetase","keskmine veetase")

# Kuna andmetes on kuupäevad erilises formaadis (aasta + numbriline päeva arv(julian day)) siis eemaldame aasta 
Aesoo_prognoos$paev = as.numeric(sub("^....", "", Aesoo_prognoos$aeg))
Riisa_prognoos$paev = as.numeric(sub("^....", "", Riisa_prognoos$aeg))

# Ja teeme numbri kuupäevaks
library(lubridate)
Aesoo_prognoos$paev=parse_date_time(x = Aesoo_prognoos$paev, orders = "j")
Riisa_prognoos$paev=parse_date_time(x = Riisa_prognoos$paev, orders = "j")
# viime tagasi data.frame formaati
Aesoo_prognoos=as.data.frame(Aesoo_prognoos)
Riisa_prognoos=as.data.frame(Riisa_prognoos)

## Teeme graafikud
# Aesoo vooluhulk
library(dygraphs)
dygraph(Aesoo_prognoos[,c("paev","vooluhulga prognoos","max vooluhulk","min vooluhulk","keskmine vooluhulk")]) %>%
    dyEvent(Aesoo_prognoos[11,c("paev")], "Täna", labelLoc = "bottom") %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)
# Riisa veetasemed
library(dygraphs)
dygraph(Riisa_prognoos[,c("paev","veetaseme prognoos", "max veetase", "min veetase", "keskmine veetase")]) %>%
    dyEvent(Riisa_prognoos[11,c("paev")], "Täna", labelLoc = "bottom") %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2)
# kirjelduses on kirjas, et täna on 11 rida aga kuupäev ei klapi. Ilmselt on KP läinud nihkesse (29.02) 

###############################
### Ilmaprognoosid 
## 4 päeva ilmaprognoos Aesoo kohta
# Andmeteenuse info: https://ilmmicroservice.envir.ee/api_doc/#api-Forecasts-GetV1ForecastsModelforecastbylocation
# Loeme sisse Aesoo hüdromeetriajaama ilmaprognoosi andmed ja paneme andmed dataframei
url4= "https://publicapi.envir.ee/v1/forecasts/modelForecastByLocation?latitude=25.061826&longitude=58.515303&outputFormat=application%2Fjson"
kliima_4 <- fromJSON(url4)
kliima_4 =kliima_4$entries$entry
# Väärtused on eraldatud komaga ja ühes tulbas seega lammutame selle erladi tulpadeks
kliima_4 = do.call("rbind", strsplit(kliima_4$vaartus, ","))
kliima_4 = data.frame(apply(kliima_4, 2, as.numeric))

# Ümardame numbrilised andmed
library(dplyr); kliima_4=kliima_4 %>% mutate_if(is.numeric, round, digits=1)
# Kuna andmed ei ole kirjeldatud siis katseeksitus meetodi tulemused
# Esimene väärtus on x13
# Temp on 1 rida, sademed on 6 rida, tuul on 15 rida, õhurõhk on 10 rida
kliima_4 = kliima_4[c(1,6,15,10),c(13:50)]
kliima_4 = as.data.frame(t(kliima_4))

# Kuna aega andmetes ei ole siis arvutame selle positsioonilt x13 ehk kliima_4 algusest
aeg=trunc(Sys.time(),units= "hours")
for (i in 1:nrow(kliima_4)-1) {aeg[i+1]= aeg + hours(i)}
# Lisame ajavektori andmetele
kliima_4$aeg=aeg
# Anname arusaadavad nimed tulpadele
colnames(kliima_4) = c("TA","PR1H","Tuul","Õhurõhk","aeg")

## Teeme graafiku
library(dygraphs)
dygraph(kliima_4[,c("aeg","TA","PR1H","Tuul")],
        main = "Meteoroloogiline prognoos Aesmaa jaama koordinaatidel", 
        ylab = "temp(c), tuul(m/s), sademed(mm)") %>%
    dySeries("TA", label = "temp") %>%
    dySeries("Tuul", label = "Tuul") %>%
    dyRangeSelector()%>%
    dyRoller(rollPeriod = 0) %>%
    dyOptions(fillGraph = TRUE, fillAlpha = 0.2,labelsUTC = TRUE)


## Hetke data koordinaadi põhiselt
url_p=("https://ilmmicroservice.envir.ee/api/forecasts/mobileLocationForecast?latitude=58.515303&longitude=25.061826&stationId=54")
kliima_p <- fromJSON(url_p)
kliima_p =kliima_p$entries$entry
kliima_p=t(kliima_p)
# Millegipärast tulevad andmed Kuusiku jaamast?

###############################
### Teemakaart
## Tekitame jaamade üldandmed
# Kõigepealt Aesoo hüdroloogilise jaam andmed
library(dplyr)
hydro_jaam <- fromJSON("https://keskkonnaandmed.envir.ee/f_hydroseire?timeline_ts_utc=lt.2024-01-02T03:00:00&timeline_ts_utc=gt.2024-01-01T23:00:00&jaam_kood=in.(41137,41140)")

# Andmetes on kaks jaama seega vajame unikaalseid jaama andmeid
hydro_jaam = hydro_jaam[,c("jaam_kood","jaam_nimi","valgala_nimi","valgala_suurus_km2","kaugus_suudmest_km",
                           "jaam_laiuskraad","jaam_pikkuskraad","jaam_taisnimi","veekogu_nimi")]
hydro_jaam = distinct(hydro_jaam)

# Anname veel leafletile asusaadavad koordinaatide nimed (lat,lon)
names(hydro_jaam) = c("jaam_kood","jaam_nimi","valgala_nimi","valgala_suurus_km2","kaugus_suudmest_km",
                      "lat","lon","jaam_taisnimi","veekogu_nimi")

# Siis Türi, Pärnu ja Viljandi meteoroloogiajaamade andmed, mis on eraldi päringuga saadaval
jaam <- fromJSON("https://keskkonnaandmed.envir.ee/f_kliima_jaam_vaatlus?jaam_kood=in.(AJVILJ01,AJPARN01,AJTURI01)")

# Andmetes on kolm jaama seega valime ainult jaamade üldandmed ja seejärel jätame unikaalsed kirjed
jaam = jaam[,c("jaam_kood","jaam_nimi","jaam_nimi_eng","jaam_periood_algus",   
               "jaam_periood_lopp","pikkuskraad","laiuskraad","korgus_merepinnast_m")]
jaam = distinct(jaam)
# Andmetes on 3 pärnu meteoroloogiajaama ja mul on vaja ainult viimast
jaam =jaam[1:3,]
# Anname veel leafletile asusaadavad koordinaatide nimed (lat,lon)
names(jaam) = c("jaam_kood","jaam_nimi","jaam_nimi_eng","jaam_periood_algus",   
                "jaam_periood_lopp","lon","lat","korgus_merepinnast_m")


## Lisames muud taustandmed mida on vaja kaardi tegemiseks
# https://register.keskkonnaportaal.ee/register/internationally-important-area/8957851

# Urlid mida kasutada WMS teenuste puhul
ma_alus <- "https://kaart.maaamet.ee/wms/hallkaart"
eelis <- "https://gsavalik.envir.ee/geoserver/eelis/ows"

# Peaks saama ka otse geojsonit kasutada aga ei õnnestunud toimima saada
# geojson <- jsonlite::fromJSON("https://gsavalik.envir.ee/geoserver/eelis/ows?service=WFS&version=1.0.0&request=GetFeature&typeName=eelis%3Akr_jarv&maxFeatures=50&outputFormat=application%2Fjson")

# Eesti koordinaatsüsteem tuleb täpsustada kuna leaflet kasutab wgs84
library(leaflet)
library(leaflet.extras)
epsg3301 <- leafletCRS(crsClass = "L.Proj.CRS", 
                       code = "EPSG:3301",
                       #proj4def = "+proj=lcc +lat_1=59.33333333333334 +lat_2=58 +lat_0=57.51755393055556 +lon_0=24 +x_0=500000 +y_0=6375000 +ellps=GRS80 +towgs84=0,0,0,0,0,0,0 +units=m +no_defs",
                       proj4def = "+proj=lcc +lat_0=57.5175539305556 +lon_0=24 +lat_1=59.3333333333333 +lat_2=58 +x_0=500000 +y_0=6375000 +ellps=GRS80 +towgs84=0,0,0,0,0,0,0 +units=m +no_defs +type=crs",
                       resolutions = c(2048, 1024, 512, 256, 128, 64, 32, 16, 8, 4, 2, 1, 0.5), # 8192 down to 0.5
                       origin = c(0, 0))

## Teeme valmis kaardi leafletiga
# Tekitame kaardiobjekti
basemap <- leaflet(jaam,
                   width = "100%", 
                   height = "600px",
                   options = leafletOptions(
                       preferCanvas = TRUE, 
                       #worldCopyJump = F, 
                       crs = epsg3301)) %>%
    
    #addTiles(urlTemplate = "//{s}.tile.openstreetmap.org/{z}/{x}/{y}.png", group = "Taustakaart",tileOptions(opacity = 0.9)) %>%
    
    # Lisame kaardile MA aluskaardi VMS teenuse
    addWMSTiles(
        ma_alus,
        #layers = "MA-ALUS",
        layers = "MA-HALLKAART",
        group = "Taustakaart",
        options = WMSTileOptions(format = "image/png",
                                 transparent = TRUE,
                                 opacity=0.3,
                                 minZoom = 1,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    
    # Lisame kaardile vooluveekogude VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_vooluvesi",
        group = "Vooluvesi",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 15,
                                 continuousWorld = T)) %>%
    # Lisame kaardile järvede VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_jarv",
        group = "Järved",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    # Lisame kaardile ramsari alade VMS teenuse
    addWMSTiles(
        eelis,
        layers = "eelis:kr_ramsar",
        group = "Kaitseala",
        options = WMSTileOptions(format = "image/png",
                                 transparent = T,
                                 minZoom = 0,
                                 maxZoom = 14,
                                 continuousWorld = T)) %>%
    
    # Lisame kaardile meteoroloogiajaamad
    addCircleMarkers(radius = 10,
                     #tekitame infoakna
                     lng = ~jaam$lon, 
                     lat = ~jaam$lat,
                     color = "green",
                     group = "Jaamad",
                     popup = paste("Jaama nimi: ", jaam$jaam_nimi, "<br>",
                                   "Jaama nimi (eng): ", jaam$jaam_nimi_eng, "<br>",
                                   "Jaama kood: ", jaam$jaam_kood, "<br>",
                                   "Jaama kõrgus merepinnast(m): ", jaam$korgus_merepinnast_m, "<br>",
                                   "Pikkuskraad: ", jaam$lon, "<br>",
                                   "Laiuskraad: ", jaam$lat, "<br>",
                                   "Jaama algusaeg: ", jaam$jaam_periood_algus, "<br>"),
                     label = ~jaam_nimi) %>%
    
    # Lisame kaardile hüdromeetriajaamad
    addCircleMarkers(radius = 10,
                     lng = ~hydro_jaam$lon, 
                     lat = ~hydro_jaam$lat,
                     color = "#FFC300",
                     group = "Jaamad",
                     #tekitame infoakna
                     popup = paste("Jaama nimi: ", hydro_jaam$jaam_nimi, "<br>",
                                   "Jaama kood: ", hydro_jaam$jaam_kood, "<br>",
                                   "Valgala nimi: ", hydro_jaam$valgala_nimi, "<br>",
                                   "Valgala suurus km2: ", hydro_jaam$valgala_suurus_km2, "<br>",
                                   "Kaugus suudmest km: ", hydro_jaam$kaugus_suudmest_km, "<br>",
                                   "Veekogu nimi: ", hydro_jaam$veekogu_nimi, "<br>",
                                   "Pikkuskraad: ", hydro_jaam$lon, "<br>",
                                   "Laiuskraad: ", hydro_jaam$lat, "<br>"),
                     label = ~hydro_jaam$jaam_nimi) %>%
    
    # Lisame kaardile Soomaa rahvuspargi külastuskeskuse
    addMarkers(#radius = 10,
               lng =  25.031412,
               lat =  58.431158,
               #color = "#FFC300",
               group = "Jaamad",
               #tekitame infoakna
               popup = paste(" ", "Soomaa rahvuspargi külastuskeskus", "<br>",
                             " ", "<b><a href='https://loodusegakoos.ee/kuhuminna/rahvuspargid/soomaa-rahvuspark/10764/'>Külastuskeskuse info</a></b>", "<br>",
                             " ", "<b><a href='https://loodusegakoos.ee/kuhuminna/rahvuspargid/soomaa-rahvuspark/1268/'>Kopraraja lisainfo</a></b>", "<br>",
                             
                             "Pikkuskraad: ", "25.031412", "<br>",
                             "Laiuskraad: ", "58.431158", "<br>"),
               label = "Soomaa rahvuspargi külastuskeskus") %>%
    
    # Jäägem eesti piiridesse seega täpsustame kaardiaknas kuvatavaid piire
    setMaxBounds(21.58448, 60.08641, 28.39045, 57.07625) %>%
    # Lisame legendi
    addLegend(
        title = "Legend",
        position = "bottomright",
        values = c(1, 2,3,4,5),
        labels = c("Vooluvesi", "Järved","meteo. jaamad","hüdro. jaamad","kaitsealad"),
        colors = c("blue", "blue","darkgreen","yellow","lightblue"))%>%
    # Lisame kihtide sisse/välja lülitamise funktsionaalsuse
    addLayersControl(
        #baseGroups = c("Taustakaart","Kaitseala"),
        overlayGroups = c("Vooluvesi","Järved","Jaamad","Kaitseala","Taustakaart"),
        options = layersControlOptions(collapsed = FALSE)) 


# vajadusel saab kaarti ka erladiseisvalt salvestada htmli
#library(plotly) ;htmlwidgets::saveWidget(as_widget(basemap), "basemap.html")
basemap

#rmarkdown::render(“soomaa.Rmd”)