Mis on keskkonnaportaali avaandmete failihoidla (KAIA)
Keskkonnaportaali avaandmete failihoidla (KAIA) on keskkond mis on loodud meteoroloogiliste ja hüdroloogiliste andmefailide vaatamiseks ja jagamiseks andmeteenustena.
Avaandmed on juurdepääsupiiranguteta jagatavad andmed, mida kõik huvilised saavad kasutada nii mittetulunduslike kui äriliste uuringute läbiviimiseks, ettevõtmiste käivitamiseks ja andmepõhiste otsuste tegemiseks. Avaandmete loojaks ja avaldajaks on enamasti avaliku sektori asutused, aga ka ettevõtted, teadusasutused ja muud organisatsioonid, kes oma töö käigus koguvad ja haldavad andmeid. Juba kord kogutud andmete jagamine teiste andmekasutajatega aitab nende andmete taaskasutajatel kokku hoida andmekogumise ja haldamisega seotud ressursse, kasutada omandatud andmeid alternatiivselt või uuenduslikult, ning seeläbi maksimeerida nende kasutamise ühiskondliku kasu. Andmete jagamisel avaandmetena on oluline järgida, et need oleks avaldatud taaskasutamist soodustavas formaadis ja hästi kirjeldatuna.
KAIA teenuse loomine
Euroopa Komisjon tõi välja, et avalikus sektoris toodetavad andmed, sh meteoroloogilised ja muud keskkonnaseire ning ruumiandmed, oleksid digimajanduses väärtuslik ressurss, kuid nende praegune kasutamine ei vastanud võimalikule potentsiaalile, eelkõige taaskasutustasude, vähese koostalitusvõime ning halva masinloetavuse tõttu. Nende probleemide likvideerimiseks kinnitas Euroopa Komisjon (EK) 2022. aasta lõpul väärtuslike andmestike avaldamise ja taaskasutamise korra, mille riiklikku rakendamist Eestis on meteoroloogia ja keskkonna valdkonnas lahendatud KAIA teenuse loomisega. Komisjoni direktiivi lisas osutatud andmestikud, sh meteoroloogiliste ja hüdroloogiliste vaatluste andmestikud, tuleb avaldada võimalikult vaba avaliku juurdepääsu, hea dokumenteerituse, masinloetavuse ja hulgi allalaaditavuse tingimustel.
KAIA andmestikud
KAIA rakenduse kaudu jagatakse avaandmetena järgmiste meteoroloogiliste ja hüdroloogiliste andmete faile:
- Meteoroloogiliste radarite toorandmed ja produktide andmed
- Meteoroloogiajaamade operatiivsed seireandmed
- Hoiatused ohtlike ilmanähtuste kohta
- Numbrilise mudelprognoosi NEMO andmed. Tähelepanu! NEMO andmete puhul kasutatakse koos kõrvuti olevaid sama kuupäeva ja sama prognoosi ulatusega kahte faili.
- Numbrilise mudelprognoosi SWAN andmed
- Hüdroloogilise mudelprognoosi SWAT andmed
Andmete kirjeldamiseks on KAIA andmestikud keskkonnaportaali kaudu liidestatud Keskkonnaagentuuri andmekataloogi andmesõnastiku ja ärisõnastikuga.
KAIA andmestike kasutamine
Andmed on KAIA teenusest vabalt kättesaadavad nii andmevaates käsitsi hallates kui API koodi kasutades.
Tähelepanu! Andmete alla laadimisel kehtib hetkel ühe kasutaja jaoks failide paketi mahu piirang 100GB. Kui alla laadimiseks valitud failide maht seda piirangut ületab, saab kasutaja sellekohase hoiatuse ja allalaadimine ei käivitu.
Andmestike käsitsi haldamine andmevaates
Andmevaated KAIA teenuses on eelpool loetletud meteoroloogiliste ja hüdroloogiliste mõõtmiste andmete põhised. Neid andmevaateid saab teenuses vaatamiseks ja salvestamiseks valida kasutajavaate vasakul äärel asuvas hierarhilises menüüs ja vasakul ülemises nurgas olevas rippmenüüs. Valitud andmevaade kuvatakse andmete nimekirjana. Nimekirjas kuvatakse alati vaatluse või mõõtmise aeg, faili nimi ja faili suurus. Ilmaradari andmete puhul kuvatakse ka radari nimi, hüdroloogia mudelandmete puhul mõõtejaama nimi. Tähelepanu! Kuigi vaatluse aeg on failinimekirjas "Aeg", "Kuupäev" või "Muutmisaeg" veerus toodud kohaliku, Eesti vööndiaja järgi, on see failinime metaandmetes kirjas null ajavööndi (UTC) ajana.
Andmete põhivaateid saab täiendavalt filtreerida andmete nimekirja kohal asuvate valikumenüüde abil. Need valikumenüüd võimaldavad tulemusi filtreerida vaatluse aja, faili nime ja faili suuruse järgi. Valikute filtreid rakendatakse, kui kasutaja vajutab nupu "Filtreeri". Nupp "Puhasta filtrid" tühjendab filtrid. Aja puhul saab valikumenüüsse liikudes avaneval kalendril ja kellal ära märkida algus- või lõpu aja või ajavahemiku - esimesele väljale läheb vahemiku alguskuupäev ning teisele lõppkuupäev. Kui on märgitud nii algus- kui lõppkuupäev, kuvatakse selles vahemikus loodud failid. Kui on täidetud ainult alguskuupäev, siis kuvatakse failid, mis on loodud alates märgitud kuupäevast. Kui on täidetud ainult lõppkuupäev, siis kuvatakse failid, mis on loodud enne märgitud kuupäeva.
Andmenimekirju on võimalik eksportida XLSX-formaadis. Kasutajale kuvatakse selleks andmevaate kohal nupp: "Salvesta XLSX failina". Nupule vajutamisel koostatakse vaate andmetest fail ja pakutakse kasutajale alla laadimiseks vastavalt brauseri seadetele. Faili salvestatakse vaate kõik veerud ja read (kaasa arvatud päiserida veergude pealkirjadega), hoolimata leheküljendamisest. Sealjuures arvestatakse eksportimisel valitud loendivaadet ning loendile rakendatud filtreid - eksportimisel eksporditakse ainult need andmed, mis on välja filtreeritud. XLSX failis on andmefaili pealkiri antud lingina, mis viib dokumendi detailvaatesse.
Koostöös teenuse arendajaga valmistatakse ette otsingu funktsionaalsust, mille abil saab otsida märksõnu eraldi otsingukastis, sh märksõnu failide metaandmetest. Hetkel on see funktsionaalsus piiratud ja otsingutel tuleb piirduda filtritega ning otsingusõnadega veergude filtrikastides.
Tehnilise abi lühikirjeldused, kuidas otsida, on lisatud üldisele otsinguaknale ja ka veeru pealkirja otsingukastile.
API koodi kasutamine
KAIA andmevaadetes andmenimekirja ja valikumenüüde kohal olevas nupureas kõige parempoolsem on nupp "Näita veebiteenuse linke".
Filtreerides teenuses käsitsi endale vajaliku andmevaate, saame sellele nupule vajutades selle filtri json formaadis koodi ("Filter, mis sisestada veebiteenusesse"), mis kopeerida Swaggeri kasutajavaatesse, mis ise avaneb KAIA kasutajavaate ülemisel valikuribal parempoolses nurgas olevast API nupust.
Swaggeri kasutajavaates kuvatakse API koodi põhifail (source API definition) ning kirjutatakse lahti päringumeetodid (request method) ja andmeskeemid (schema).
Lähtudes KAIA teenuse põhifunktsionaalsustest on Swaggeri kasutajavaates päringumeetoditena esitatud: (1) andmefailide allalaadimine üksikute andmefailidena ja (2) andmete allalaadimine andmepakkidena (zip failidena). Esimesele käsule annab olulise sisendi metaandmete päring, kuna üksikute andmefailide allalaadimiseks vajame nende failide identifikaatoreid. Järgnevalt on kirjeldatud päringumeetodite kasutamist.
Metaandmete päring (Gets metadata of documents matching a filter)
Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud üksus (Näiteks nähtus: Echo-top (TOP); aeg 04.10.23 00:00 - 04.10.23 00:05; Harku radar);
Ava nupult „Näita veebiteenuse linke“ koodivaade;
Vali ja kopeeri kood (Filter, mis sisestada veebiteenusesse);
Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/{list}/items/query juures vajuta nuppu "Try it out";
Kleebi kopeeritud kood Request body kasti;
Execute → Download;
Alla laetakse json formaadis andmefail andmenimekirjas välja filtreeritud faili metadataga (response_1696591329933.json);
Selles failis leidub faili identifikaator (id), mida kasutada Swaggeri vaates failide ühekaupa allalaadimise seadistamiseks.
Üksiku faili päring (File of document)
Swaggeri kasutajavaates päringumeetodi GET /_vti_bin/RmApi.svc/active/items/{id}/files/{fileId} juures vajuta nuppu "Try it out";
Sisesta faili identifikaator (Näiteks eelmises päringus saadud faili identifikaator 885136) id of the item kasti;
Execute → Download file;
Alla laetakse valitud andmefail;
Kui üksus koosneb mitmest failist, võib olla vajalik sisendi andmine ka fileid kasti, kuid see võib jääda ka 0.
Failide paki päring (Gets zipped files of documents matching a filter)
Tekita filtritega KAIA kasutajavaates andmenimekirja soovitud andmevaade. (Näiteks nähtus: Echo-top (TOP); aeg 04.10.23-05.10.23);
Ava nupult „Näita veebiteenuse linke“ koodivaade;
Vali ja kopeeri kood (Filter, mis sisestada veebiteenusesse);
Swaggeri kasutajavaates päringumeetodi POST /_vti_bin/RmApi.svc/active/items/zipped-files juures vajuta nuppu "Try it out";
Kleebi kopeeritud kood Request body kasti;
Execute → Download file;
Alla laetakse valitud failide pakk zip formaadis.