Kasutusjuhend

1. Mine avaandmete allalaadija lehele, et näha kõiki saadaolevaid levitusi. Andmestike ja levituste kirjeldused ning otselingid leiad ka avaandmete teemalehelt või andmekataloogist.
2. Vali allalaadija lehelt levitus, mille andmeid soovid saada. Levituste tabeli allosas asuv otsing võimaldab otsida levitusi nime ja kirjelduse järgi.
3. Valitud levituse detailvaates saad valida andmetulbad, mida soovid päringusse. Tulpade valimiseks või eemaldamiseks markeeri tulba eesolev märkeruut.
4. Päringu mahu vähendamiseks on soovitatav lisada filtreid allalaadimise päringule. Filtreerimiseks vali [+ Lisa filter] ning seejärel avanevas lahtris vali filtri tüüp. Kasutada saab järgmisi filtritüüpe:

              =  annab täpse vaste otsingusõnale (väljatüübid: tekst, number, kuupäev, ei/jah)

              ≈  annab umbkaudse vaste otsingusõnale (väljatüüp: tekst)

              ≠ välistab otsingusõna (väljatüübid: tekst, number, kuupäev, ei/jah)

              < suurem kui arvulise otsingu puhul (väljatüübid: number, kuupäev)

              ≤ suurem kui või võrdne arvulise otsingu puhul (väljatüübid: number, kuupäev)

              > väiksem kui arvulise otsingu puhul (väljatüübid: number, kuupäev)

              ≥ väiksem kui või võrdne arvulise otsingu puhul (väljatüübid: number, kuupäev)

          Mitme täpse otsingusõna jaoks tuleb lisada mitu filtrit, nt kui on soov filtreerida ID tulpa väärtustega 10301 ja 10333, siis tuleb lisada 2 filtritingimust:

              = 10301

              = 10333

          Seejärel tekib päring, kus filtreeritakse ainult read, mille ID väärtuseks on 10301 või 10333.

          Kui on soov neid ID-sid sisaldavad read välistada andmetest, siis tuleks lisada 2 filtritingimust:

              ≠ 10301

              ≠ 10333

          Seejärel tekib päring, kus filtreeritakse välja read, mille ID väärtuseks on 10301 või 10333.

5. Vajuta nuppu [Vaata eelvaadet]. Seejärel avaneb andmepäringu eelvaade, mille tabelis kuvatakse andmepäringu 20 esimest rida. Lisaks kuvatakse päringu ridade arv, mille põhjal saab aimu andmete mahust ja allalaadimise ajast. Kui andmete eelvaate tabelis ei kuvata ühtegi rida ja ridade arv on 0, siis tuleks üle kontrollida filtrite õigsus ehk vajutada nuppu [Tagasi] ning muuta või eemalda filtreid vastavalt eelmisele punktile. Kui on soov saada ainult päringu URL andmete kasutamiseks näiteks programmeerimiskeeles (R, Python) või  Excelis vms, siis tuleks valida nupp [Loo rakendusliidese aadress], mille järel avaneb uues aknas vastava päringu URL. Tuleb arvestada, et selle lingi kaudu saab päringu, millel on piirang 20 000 rida.
6. Vajuta nuppu [Laadi alla]. Seejärel avaneb faili salvestamise asukoha valimise dialoogi aken. Vali faili salvestamise asukoht enda arvutis ja vajadusel saad muuta allalaetava faili nime. Soovitavalt tuleks valida C: kettal asuv asukoht, sest teatud asutusete turvapoliitika võib välistada muid asukohti nagu töölaud, dokumendid jne.
7. Vali salvesta ja avaandmete allalaadija tööriist kuvab ekraanil allaaadimise protsent ning allalaetud ridade arvu/ kogurida arvu. Oota kuni andmed on alla tõmmatud ja kuvatakse kiri „Võid salvestatud faili avada“.
8. Ava fail salvestatud asukohas ning alusta andmete kasutamist.

Avaandmete allalaadija sisaldab nii meteoroloogilisi kui ka keskkonna valdkonna väärtuslikke avaandmeid ja valdkondlike eripärade tõttu on ka andmetes ja selle formaatides erisused. Peamiseks erisuseks on ajaformaat ja allolev näide lihtsustab andmete õigesti filtreerimist ja pärimist ning kasutamist avaandmete allalaadijas.

Kliima andmete päring:

"Sooviks saada Jõgeva meteojaamast õhutemperatuuri päeva andmed perioodil 21.04-30.05.2021".

Soovituslik töökäik:

Kõigepealt tuleks üles leida vastav andmestik ja seda saab otsida Keskkonnaportaali avaandmete teemalehelt või andmekataloogist. Meid huvitab kliima andmestik, seega läheme avaandmete allalaadija lehele otselinkide kaudu või valime allalaadijas levituse f_kliima_paev - Kliima: ööpäevaandmed Climate: daily data.

Andmete eelvaates näeme, et tabelis on ingliskeelsed nimetused "Element name (eng)" ja elemendi koodid "element code, local". Meid huvitab õhutemperatuur, seega peame vaatama EST/ENG kirjete vastavustabelit kliimaandmete lisakirjelduse lehelt. Koode ja selle vasteid saab ka vaadata Kliima elementide metaandmete API- st f_kliima_element (https://keskkonnaandmed.envir.ee/f_kliima_element või https://keskkonnaportaal.ee/et/avaandmed/avaandmete-allalaadija#f_kliima_element).

Näeme EST/ENG kirjete vastavustabelist:

Kuna me tahame kõiki kolme näitajat, siis peame lisama 3 filtrit reale „element_kood - Element code, local“:

[ = DTAX]

[ = DTAN]

[ = DTA08]

Järgmiseks soovime saada ainult Jõgeva jaama andmeid ja lisame filtri reale „jaam_nimi - Station name, local (est)“. Kuna andmete eelvaates näeme, et selles tulbas on reeglina asukoha nimi, siis paneme filtri operaatoriks  ≈   mis annab umbkaudse vaste otsingusõnale.

[≈ Jõgeva]

Soovime saada andmeid perioodi 21.04.2021-30.05.2021 kohta ning selleks peame lisama aasta filtri reale „aasta - Year of measurement, UTC time“ ja kuu filtrid reale „kuu - Month of measurement, UTC time“. Kliimaandmete eripäraks on see, et andmetes ei ole aja lahtrid „kuupäeva tüüp“, vaid on numbrilised.

Aasta [= 2021]

Kuu [ = 5]

Kuu [ = 4]

Saadud päring sisaldab tegelikult perioodi 01.04.2021-31.05.2021, sest me ei saa päevi filtreerida ajavahemiku järgi. Küll oleme teadlikud sellest puudujäägist ja kasutusmugavuse parandamise eesmärgil lisame esimesel võimalusel kellaaja-kuupäeva formaadis tulba, et saaks filtreerida ajavahemiku järgi, nt [ <= 21.04.2021] ja [ >= 30.05.2021].

Veateade „Seda faili ei saa avada“

Mõnel juhul võib pärast faili salvestamist ilmuda veateade „Seda faili ei saa avada“. See võib juhtuda, kui näiteks riigiasutuse turvaseaded ei luba faile salvestada töölauale või dokumentide kausta. Sellisel juhul proovi salvestada fail C: kettale või mõnda teise kausta, mis pole piirangutega hõlmatud.

Toetatud veebibrauserid

Allalaadijat saab kasutada veebibrauserites, mis toetavad File System Access API-d (vt nimekirja: caniuse.com/filesystem). Kahjuks ei tööta see praegu Firefoxi brauseris.

Tehnilised nõuded kasutaja arvutile

Allalaadimise käigus kasutatakse kasutaja arvuti ressursse (näiteks mälu ja kettaruumi). Suuremahuliste päringute puhul on soovitatav veenduda, et arvutis on piisavalt vaba ruumi ja mälu.

Kopeerisin URL-i aga selle kaudu ei saa kõiki andmeridu

Allalaadija saab andmed Keskkonnaportaalist (https://keskkonnaandmed.envir.ee/), kus ühe päringu piirang on 20 000 rida. Seetõttu esitab allalaadija mitu päringut järjest – iga kord kuni 20 000 rida – ja salvestab iga saadud päringu andmed faili. Nii saab alla laadida piiranguteta andmestikke, mis on väärtuslike avaandmete massallalaadimise (bulk download) nõue vastavalt avaandmete direktiivile. Soovitame siiski kasutada võimalusel filtreid (nt kuupäev, piirkond vms), et vähendada koormust ja kiirendada allalaadimist.

API-de kasutamiseks URL-ide põhiselt peab kasutaja looma päringusüsteemi, kus küsitakse 20 000 rea kaupa andmed.

Millal avaandmed uuenevad ja kas võib olla ajalisi erisusi alliksüsteemiga?

Avaandmete päringuid uuendatakse reeglina üks kord ööpäevas (tavaliselt öösel kella 3-5 vahel). Ehk kui andmekogus või infosüsteemis on muudetud samal päeval andmeid, siis alliksüsteemis kuvatud andmed võivad erineda avaandmete päringute omast. Juhul kui vahepealsel perioodil ei ole uusi andmeid tekkinud siis jäävad päringu tulemused samaks.

Allalaetud CSV fail on katki ja/või sisaldab mingeid kummalisi karaktereid

Tõenäoliselt on probleem kodeeringuga ja tuleks veenduda, et faili avamise programm on Eesti regionaalsätetes või määratud kodeeringuks UTF-8 või muu sobiv kodeering. Teatud andmetes esineb ka eraldajana semikoolonit (;) mis võib Excelis ära lõhkuda tabeli struktuuri. Sellisel juhul tuleks andmed sisse importida järgmiselt:

1. ava Excel
2. vali tühi töövihik
3. vali menüüsakk „andmed“
4. vali Too andmed -> Failist -> Teksti-/CSV-failist
5. avanenud dialoogi aknast tuleks valida soovitud CSV fail ja vajutada nuppu [impordi]
6. avanenud dialoogi aknast tuleks lahtris Faili päritolu valida rippmenüüst "65001:Unicode (UTF-8)" ja eraldajaks "Semikoolon".

Avaandmete allalaadija ja API päringu tulemused on erinevad

Seoses andmete kasutamismugavuse parandamisega võivad Avaandmete allalaadija ja API päringu tulemused erineda, sest avaandmete allalaadijas on tehtud järgmised muudatused andmetes:

Erisus	Avaandmete allalaadija	API päring
Ridade arv	Kõik read	Piirang 20 000
Reavahetus	Reavahetus eemaldatud	Sisaldab reavahetust
Boolean väärtus	Jah/Ei	true/false
Punktid arvudes	Koma (,)	Koma (,) ja punkt (.) vastavalt päringule
Jutumärgid („)	Jutumärgid eemaldatud	Sisaldab jutumärke
Levituste arv	Ainult Keskkonnaagentuuri levitused	Kõik levitused, sh ka Keskkonnaameti omad