Keskkonnaportaali avaandmete failihoidla (KAIA)
Keskkonnaportaali avaandmete failihoidla (KAIA) on keskkond mis on loodud meteoroloogiliste ja hüdroloogiliste andmefailide vaatamiseks ja jagamiseks andmeteenustena.
Avaandmed on juurdepääsupiiranguteta jagatavad andmed, mida kõik huvilised saavad kasutada nii mittetulunduslike kui äriliste uuringute läbiviimiseks, ettevõtmiste käivitamiseks ja andmepõhiste otsuste tegemiseks. Avaandmete loojaks ja avaldajaks on enamasti avaliku sektori asutused, aga ka ettevõtted, teadusasutused ja muud organisatsioonid, kes oma töö käigus koguvad ja haldavad andmeid. Juba kord kogutud andmete jagamine teiste andmekasutajatega aitab nende andmete taaskasutajatel kokku hoida andmekogumise ja haldamisega seotud ressursse, kasutada omandatud andmeid alternatiivselt või uuenduslikult, ning seeläbi maksimeerida nende kasutamise ühiskondliku kasu. Andmete jagamisel avaandmetena on oluline järgida, et need oleks avaldatud taaskasutamist soodustavas formaadis ja hästi kirjeldatuna.
Teenuse loomine
Euroopa Komisjon tõi välja, et avalikus sektoris toodetavad andmed, sh meteoroloogilised ja muud keskkonnaseire ning ruumiandmed, oleksid digimajanduses väärtuslik ressurss, kuid nende praegune kasutamine ei vastanud võimalikule potentsiaalile, eelkõige taaskasutustasude, vähese koostalitusvõime ning halva masinloetavuse tõttu. Nende probleemide likvideerimiseks kinnitas Euroopa Komisjon (EK) 2022. aasta lõpul väärtuslike andmestike avaldamise ja taaskasutamise korra, mille riiklikku rakendamist Eestis on meteoroloogia ja keskkonna valdkonnas lahendatud KAIA teenuse loomisega. Komisjoni direktiivi lisas osutatud andmestikud, sh meteoroloogiliste ja hüdroloogiliste vaatluste andmestikud, tuleb avaldada võimalikult vaba avaliku juurdepääsu, hea dokumenteerituse, masinloetavuse ja hulgi allalaaditavuse tingimustel.
Andmestikud
KAIA rakenduse kaudu jagatakse avaandmetena järgmiste meteoroloogiliste ja hüdroloogiliste andmete faile:
-
Numbrilise mudelprognoosi NEMO andmed. Tähelepanu! NEMO andmete puhul kasutatakse koos kõrvuti olevaid sama kuupäeva ja sama prognoosi ulatusega kahte faili.
Andmete kirjeldamiseks on KAIA andmestikud keskkonnaportaali kaudu liidestatud Keskkonnaagentuuri andmekataloogi andmesõnastiku ja ärisõnastikuga.
KAIA kasutamine
Avaleht
KAIA avalehel on funktsionaalsus liikuda KAIA ja Keskkonnaportaali, Swagger keskkonna ja sotsiaalmeedia kanalite vahel.
Avaandmed Keskkonnaportaalis – suunab Keskkonnaportaali avaandmetele lehele (Avaandmed | Keskkonnaportaal).
KAIA kirjeldus Keskkonnaportaalis – suunab Keskkonnaportaali KAIA teenuse kirjelduse lehele (KAIA teenus | Keskkonnaportaal), kus muuhulgas asub API koodi kasutamise juhend.
Andmete allalaadimine API kaudu – suunab Swagger keskkonda, mis võimaldab andmeid API-koodi abil alla laadida.
Klienditoe kontaktid – suunab Keskkonnaportaali klienditoe kontaktide lehele (Kontakt | Keskkonnaportaal).
Keele valik – võimalik valida eesti ja inglise keele vahel (täiendamisel).
Andmestikud Keskkonnaportaalis – suunab Keskkonnaportaali vastava andmestiku kirjelduse juurde, kus on leitav metaandmestik ja metoodika kirjeldus.
Menüüpaneel – andmestike valik.
Peida menüüpaneel – võimaldab menüüpaneeli peita või kuvada.
Keskkonnaagentuur sotsiaalmeedias – suunab Keskkonnaagentuuri sotsiaalmeedia kanalitele: Facebook, Instagram, Youtube.
Andmete filtreerimine
Andmete põhivaateid saab täiendavalt filtreerida andmete nimekirja kohal asuvate valikumenüüde abil. Need valikumenüüd võimaldavad tulemusi filtreerida vaatluse aja, faili nime ja faili suuruse järgi. Valikute filtreid rakendatakse, kui kasutaja vajutab nupu "Filtreeri". Nupp "Puhasta filtrid" tühjendab filtrid. Aja puhul saab valikumenüüsse liikudes avaneval kalendril ja kellal ära märkida algus- või lõpu aja või ajavahemiku – esimesele väljale läheb vahemiku alguskuupäev ning teisele lõppkuupäev. Kui on märgitud nii algus- kui lõppkuupäev, kuvatakse selles vahemikus loodud failid. Kui on täidetud ainult alguskuupäev, siis kuvatakse failid, mis on loodud alates märgitud kuupäevast. Kui on täidetud ainult lõppkuupäev, siis kuvatakse failid, mis on loodud enne märgitud kuupäeva.
Üldised filtrid
Meteoroloogiliste radarite andmete filtrid
Meteoroloogiajaamade seireandmete filtrid
Tuleohukaartide filtrid
Rohkem infot NPY komponentidest ja väljundi tüüpidest leiab Keskkonnaportaalist www.keskkonnaportaal.ee -> Andmeallikad -> Avaandmed -> Tuleohu (FWI) andmestik -> Andmete kirjeldus ja kasutamine.
Numbrilise mudelprognoosi andmete filtrid
Hüdroloogia mudelandmete filtrid
Andmete allalaadimine
Andmed on KAIA teenusest vabalt kättesaadavad nii andmevaates käsitsi hallates kui API koodi kasutades.
Tähelepanu! Andmete alla laadimisel kehtib hetkel ühe kasutaja jaoks failide paketi mahu piirang 100GB. Kui alla laadimiseks valitud failide maht seda piirangut ületab, saab kasutaja sellekohase hoiatuse ja allalaadimine ei käivitu.
Andmevaated KAIA teenuses on eelpool loetletud meteoroloogiliste ja hüdroloogiliste mõõtmiste andmete põhised. Neid andmevaateid saab teenuses vaatamiseks ja salvestamiseks valida kasutajavaate vasakul äärel asuvas hierarhilises menüüpaneelis ja vasakul ülemises nurgas olevas rippmenüüs. Valitud andmevaade kuvatakse andmete nimekirjana. Nimekirjas kuvatakse alati vaatluse või mõõtmise aeg, faili nimi ja faili suurus. Meteoroloogilise radari andmete puhul kuvatakse ka radari nimi, hüdroloogia mudelandmete puhul mõõtejaama nimi. Tähelepanu! Kuigi vaatluse aeg on failinimekirjas "Aeg", "Kuupäev" või "Muutmisaeg" veerus toodud kohaliku, Eesti vööndiaja järgi, on see failinime metaandmetes kirjas null ajavööndi (UTC) ajana.
Andmenimekirju on võimalik eksportida ZIP-formaadis. Kasutajale kuvatakse selleks andmevaate kohal nupp: "Salvesta valitud kirjed ZIP failina". Failide salvestamiseks on vajalik eelnevalt soovitud read tähistada linnukesega rea ees. Linnukesi saab teha käsitsi, aga abiks on ka “Märgi kõik” või “Märgi kõik leheküljel” nupud. Andmete salvestamisel ZIP failina koostatakse vaate andmetest fail ja pakutakse kasutajale alla laadimiseks vastavalt brauseri seadetele. Faili salvestatakse vaate kõik veerud ja read (kaasa arvatud päiserida veergude pealkirjadega), hoolimata leheküljendamisest. Sealjuures arvestatakse eksportimisel valitud loendivaadet ning loendile rakendatud filtreid – eksportimisel eksporditakse ainult need andmed, mis on välja filtreeritud. XLSX failis on andmefaili pealkiri antud lingina, mis viib dokumendi detailvaatesse.
Üksiku faili allalaadimiseks saab vajutada ka faili nime ees olevale ikoonile 
.
Faili nimele vajutades avanevad andmefaili kohta täiendavad metaandmed.
Sirvi – näitab KAIA failide kataloogi struktuuripuuna.
Tagasi – nupp võimaldab liikuda tagasi KAIA avalehele.
Näita logi – näitab logide ajalugu.
Näita versiooniajalugu – näitab faili versiooni ajalugu.
API koodi kasutamine
KAIA andmevaadetes andmenimekirja ja valikumenüüde kohal olevas nupureas kõige parempoolsem on nupp Näita veebiteenuse linke.
Filtreerides teenuses käsitsi endale vajaliku andmevaate, saame sellele nupule vajutades sama filtri json formaadis koodi ("Filter, mis sisestada veebiteenusesse"), see kopeerida Swaggeri kasutajavaatesse, mille leiab KAIA kasutajavaate ülemisel valikuribal parempoolses nurgas olevast API.
Swaggeri kasutajavaates kuvatakse API koodi põhifail (source API definition) ning kirjutatakse lahti päringumeetodid (request method) ja andmeskeemid (schema).
Lähtudes KAIA teenuse põhifunktsionaalsustest on Swaggeri kasutajavaates päringumeetoditena esitatud: (1) andmefailide allalaadimine üksikute andmefailidena ja (2) andmete allalaadimine andmepakkidena (zip failidena). Esimesele käsule annab olulise sisendi metaandmete päring, kuna üksikute andmefailide allalaadimiseks vajame nende failide identifikaatoreid. Järgnevalt on kirjeldatud päringumeetodite kasutamist.
Metaandmete päring (Gets metadata of documents matching a filter)
- Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud üksus (Näiteks nähtus: radari toorandmed(VOL); aeg 04.10.23 00:00 - 04.10.23 00:05; Harku radar);
- Ava nupult Näita veebiteenuse linke koodivaade;
- Kopeeri kood Filter, mis sisestada päringusse vajutades parempoolsele ikoonile ja mine KAIA kasutajavaate ülemisel valikuribal parempoolses nurgas olevale API;
- Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/{list}/items/query juures vajuta nuppu
ja seejärel Try it out; 
- Kleebi kopeeritud kood Request body kasti seal oleva näidise asemel ja vajuta Execute;
- Vajuta Download;
- Alla laetakse json formaadis andmefail andmenimekirjas välja filtreeritud faili metadataga (response_1742388850982.json);
- Selles failis leidub faili identifikaator (id), mida kasutada Swaggeri vaates failide ühekaupa allalaadimise seadistamiseks.
Üksiku faili päring (File of document)
- Swaggeri kasutajavaates päringumeetodi GET /_vti_bin/RmApi.svc/active/items/{id}/files/{fileId} juures vajuta nuppu Try it out;
- Sisesta faili identifikaator (Näiteks eelmises päringus saadud faili identifikaator 1249049) id of the item kasti;
- Execute → Download file;
- Alla laetakse valitud andmefail;
- Kui üksus koosneb mitmest failist, võib olla vajalik sisendi andmine ka fileId kasti, kuid see võib jääda ka 0.
Failide paki päring (Gets zipped files of documents matching a filter)
- Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud andmevaade. (Näiteks nähtus: kajatipp (TOP); aeg 04.10.23-05.10.23);
- Ava nupult Näita veebiteenuse linke koodivaade;
- Vali ja kopeeri kood Filter, mis sisestada veebiteenusesse;
- Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/active/items/zipped-files juures vajuta nuppu Try it out;
- Kleebi kopeeritud kood Request body kasti seal oleva näidise asemel;
- Execute → Download file;
- Alla laetakse valitud failide pakk zip formaadis.