opendata.lv

Garage48 un Rīgas atvērtie dati

2015-03-27T00:00:00+02:00

Šajā nedēļas nogalē (no 27. līdz 29. martam) notiek Garage48 Open data & Public services pasākums, kura mērķis ir izveidot jaunu sabiedrisku pakalpojumu pilotprojektus, izmantojot atvērtos datus.

Garage48 tiek organizēts sadarbībā ar Rīgas domi, kas pēdējā gada laikā ir strādājusi pie Rīgas pašvaldības atvērto datu apzināšanas un publicēšanas, un tikko ir tos nopublicējusi opendata.riga.lv vietnē.

Šajā pasākumā es piedalīšos kā mentors un sniegšu atbalstu un padomus iesaistītajām komandām. Pēc Garage48 beigām publicēšu savus novērojumus un atziņas par šo pasākumu.

International Open Data Day hakatons 22. februāri

2014-02-12T00:00:00+02:00

22.februārī notiek kārtējais International Open Data Day Hackathon un tādēļ tiek plānots šajā dienā noorganizēt arī kārtējo Latvijas atvērto datu hakatonu. Lūdzu reģistrēties Open Data Latvia meetup lapā.

Tiek aicināti visi atvērto datu entuziasti (gan programmētāji, gan žurnālisti, gan citi sabiedriski aktīvi cilvēki), kam interesē atvērto datu joma un ir idejas par projektiem.

Diskusiju par potenciālajām hakatona tēmām skatīt Open Data Latvia diskusiju grupā.

Plānotais nākamais hakatons 8. decembrī

2013-11-29T00:00:00+02:00

Nākamais atvērto datu hakatons ir plānots 8. decembrī, lūdzu reģistrēties Open Data Latvia meetup lapā.

Hakatonā plānots vai nu savākt un publicēt kā atvērtos datus kādus interesantus publisko datu avotus, vai arī izveidot interesantus pielietojumus esošām atvērto datu kopām. Aicināti gan programmētāji, gan žurnālisti, gan citi sabiedriski aktīvi cilvēki, kam interesē atvērto datu joma un ir idejas par projektiem.

Diskusiju par potenciālajām hakatona tēmām skatīt Open Data Latvia diskusiju grupā.

Otrais atvērto datu hakatons

2012-06-17T00:00:00+03:00

Vakardien notika otrais Latvijas atvērto datu "hakatons", kurš, neskatoties uz vasarīgo laiku, bija divreiz vairāk apmeklēts nekā pirmais – kopā piedalījās 20 dalībnieki.

Iesākumā pastāstījām par pēdējā laika jaunumiem, ko katrs darījis vai plāno darīt atvērto datu jomā. Iesākumā es pastāstīju un parādīju jauno data.opendata.lv atvērto datu portālu, kuru šoreiz plānojām papildināt ar jaunām datu kopām. Kā arī īsumā pastāstīju par nesen notikušo "Rīga – averies!" forumu.

Pēteris Ručevskis no LU MII parādīja Saeimas balsojumu grafu analīzes vizualizācijas, izmantojot viņu izstrādāto SNA rīku. Linda Vītuma pastāstīja par dzemdību statistikas datiem, ko viņa vēlētos iegūt, lai labāk saprastu situāciju šajā jomā dažādos Latvijāas reģionos un palīdzētu citiem veikt informētu izvēli. Ģirts Karnītis no LU Datorikas fakultātes pastāstīja par to, kas ir veikts kopā stundentiem specsemināros, kur viņi apkopoja dažādus Latvijas attīstības plānus, valdības deklarācijas un valsts institūciju budžetus un mēģināja tos sasaistīt kopā. Uldis Bojārs pastāstīja par atvērto datu izmantošanas konferenci, uz kuru viņs dosies, kā arī par nesen notikušo Europeana hakatonu, kurā viņa pārstāvētā komanda izveidoja europ.in Europena datu meklēšanas servisu. Savukārt Toms Ceļmillers no VARAM pastāstīja par Eiropas Savienības pēdējām iniciatīvām atvērto datu jomā, kā arī uzklausīja viedokli, ko vajadzētu iekļaut nākamajos latvija.lv papildinājumos. Par šo tēmu bija vienots viedoklis – visiem publiskajiem latvija.lv e-pakalpojumiem jānodrošina, ka var iegūt pilnas pirmdatu kopas mašīnlasāmā CSV vai XML formātā.

Pēc tam sadalījāmies pa interešu grupām un ķērāmies klāt pie "kodēšanas" un jaunu atvērto datu kopu sagatavošanas, lai tos varētu publicēt data.opendata.lv.

Hakatona rezultātā izveidojām un nopublicējām vairākas jaunas datu kopas un to izmantošanas piemērus:

Gatavojoties hakatonam es pats biju nopublicējis Rīgas skolu kataloga un skolēnu skaita datus, kā arī izveidoju JavaScript programmas piemēru, kā data.opendata.lv datus attēlot ar Google Maps palīdzību.
Jau iepriekšējā hakatonā izveidojām sākotnējo versiju, kā savākt Saeimas balsojumu datus. Šoreiz šī datu savākšana tika papildināta ar papildus nepieciešamajiem datiem, kā rezultātā tika nopublicēti 9. Saeimas, 10. Saeimas un 11. Saeimas deputātu saraksti, lēmumprojektu saraksti un deputātu balsojumi par lēmumprojektiem. Vienu šo datu pielietojumu jau redzējām no rīta, kā ar grafu analīzes palīdzību var identificēt, kuras deputātu grupas balso līdzīgi vai atšķirīgi. Ja kādam ir vēlme veikt līdzīgus vai cita veida pētījumus par Saeimas deputātu balsojumiem, tad dodiet ziņu, ja ir vajadzīga kāda palīdzība.
Tika nopublicētas pirmās datu kopas, no LU Datorikas fakultātes specseminārā savāktajiem datiem par valdības rīcības plānu un valsts institūciju budžetu. Tālāk domāsim, kā šos datus labāk vizualizēt un attēlot savstarpējās saistības.
Tika izveidota sākotnējā versija programmai, kas pārkonvertē Centrālās statistikas pārvaldes pirmdatus no viņu specifiskā PX failu formāta, uz plašākām atkalizmantošanas vajadzībām ērtāku CSV formātu. Kā pirmais piemērs tika nopublicēts viens no CSB publicētajiem banku rādītājiem.

Hakatonā tika identificētas arī vairākas jaunas idejas, pie kurām varētu strādāt, tādēļ noteikti būs nākamais hakatons - droši vien kaut kad rudenī. Vēlējos aicināt iesaistīties atvērto datu aktivitātēs arī dažādu augstskolu pārstāvjus – ir projekti, kur var iesaistīties IT nozares studenti, lai apstrādātu un sagatavotu dažādus datus, gan arī pēc tam šos datus var izmantot žurnālistikas un dažādu sociālu zinātņu nozaru studenti, lai balstoties uz tiem veiktu pētījumus. Ja ir kādas idejas, tad lūdzu kontaktējiet mūs Google diskusiju grupā.

Nobeigumā gribēju pateikties uzņēmumam eBIT, kas arī šoreiz nodrošināja telpas hakatonam, kā arī bija plaši pārstāvēts dalībnieku vidū. Kā arī pateikties Providus un Lindai Austerei par atbalstu data.opendata.lv portāla tapšanā.

"Rīga - atveries!" un data.opendata.lv

2012-06-09T00:00:00+03:00

Ar mazu novēlošanos vēlējos uzrakstīt par forumu "Rīga - atveries!", kas norisinājās 23. maijā un kurā no opendata.lv aktīvistiem piedalījos es, Raimonds Simanovskis, kā arī Pāvils Jurjāns. Forumu organizēja nevalstiskās organizācijas Kustība demokrātiskai domai, Providus un Baltijas vides forums sadarbībā ar Rīgas domes Izglītības, kultūras un sporta departamentu. Foruma mērķis bija identificēt jomas, kurās Rīgas pašvaldība varētu atvērt savus datus, lai tos varētu izmantot dažādiem jauniem mērķiem.

Pasākumam pamatā bija izglītojošs raksturs, lai radītu izpratni par to, kas ir atvērtie dati un stimulētu pašvaldību padarīt tās datus atvērtākus, kā arī pēc iespējas kliedēt mītus par to, kas ir vai nav atvērtie dati, kā arī veicināt sākt kaut ko darīt šajā jomā. Tā ka kopumā domāju, ka šādi pasākumi ir nepieciešami, lai veicinātu izpratni par atvērtajiem datiem un ir prieks, ka piedalījās daudzi Rīgas pašvaldības darbinieki.

Kopsavilkumu par foruma rezultātiem var izlasīt šeit, kā arī var iepazīties ar priekšlikumiem, kas tika identificēti foruma darba grupās.

Pats es šajā forumā uzstājos ar prezentāciju par pieredzi ar Latvijas atvērto datu apstrādi:

Pastāstīju par to, ka viena no galvenajām problēmām ar pieejamajiem Latvijas atvērtajiem datiem ir tā, ka tie pamatā ir publicēti kā tīmekļa lapas un nevis kā mašīnlasāmas datu kopas. Tādēļ, lai veiktu šo atvērto datu analīzi vai cita veida apstrādi, vispirms ir jāveido programmas, kas savāktu šīs tīmekļa lapas un pēc tam apstrādātu un no tām izvilktu strukturēto informāciju. Patlaban to esmu darījis gan es, gan citi interesenti savām vajadzībām, bet problēma ir tā, ka nekur vienuviet nav apkopoti šie struktūrētie atvērtie dati, kurus vieglāk varētu izmantot dažādām vajadzībām.

Tādēļ kopā ar Lindu Austeri no Providus dzima ideja par to, ka arī Latvijā vajadzētu izveidot atvērto datu portālu līdzīgi kā plašī zināmajās lielvalstīts, piemēram, data.gov vai data.gov.uk. Pēdējos mēnešus notika darbs pie tā un forumā "Rīga - atveries!" tika anonsēts jaunais Latvijas atvērto datu portāls data.opendata.lv, kurā var veidot gan Latvijas atvērto datu katalogu, gan arī augšupielādēt struktūrētus atvērtos datus CSV formātā, lai tālāk tos varētu viegli izmantot dažādiem citiem nolūkiem.

Lai identificētu dažādas datu kopas, kuras vajadzētu publicēt data.opendata.lv, kā arī izveidotu lietojumprogrammu pilotus, kas izmantotu data.opendata.lv atvērto datus kopas, 16. jūnijā tiek organizēts otrais Latvijas atvērto datu hakatons. Lūdzu visus interesentus, kam ir gan idejas, kā pielietot Latvijas atvērtos datus, gan arī kuriem ir programmēšanas spējas šos datus iegūt un apstrādāt, pietiekties un piedalīties šajā hakatonā!

Iespaidi no Transparency Works konferences Viļņā

2012-04-01T00:00:00+03:00

Šajā nedēļā man bija iespēja piedalīties un arī uzstāties konferencē Transparency Works Viļņā, ko organizēja Transparency International (kuras pārstāvis Latvijā ir Delna).

Pirmkārt, bija interesanti tur būt kopā ar Latvijas pārstāvjiem Kristapu Petermani no Delnas, Ivetu Kažoku no Providus, Kristofu Blaus un Jāni Ertu no manabalss.lv. Pārējie konferences dalībnieki bija dažādu atklātības un atvērtības nevalstisko organizāciju un projektu pārstāvji no Eiropas, ASV un arī pāris citām valstīm.

Konferences atklāšanā viena no ievada runām bija atvēlēta Kristofam un Jānim, kur viņi labā, atraktīvā "amerikāniskā" mārketinga stilā pastāstīja par manabalss.lv projektu un tā sasniegumiem. Pateicoties viņu aktivitātēm projekta popularizēšanā tas jau ir pazīstams daudzviet pasaulē un arī vairākās citās prezentācijās tas tika pieminēts kā viens no labākajiem e-demokrātijas projektiem. Vienīgi gribētos novēlēt, lai manabalss.lv patiešām ilgtermiņā sasniedz mērķi, ka tas nodrošina pastāvīgu pilsoņu iesaistīšanos demokrātijas procesā. Ja tam nebūs pastāvīgs ekspertu un moderatoru atbalsts iesniegtajām iniciatīvām, tad pastāv risks, ka iesniegtās iniciatīvas paliks Delfu komentāru līmenī. Un savukārt, ja pieteikoši bieži iesniegtās iniciatīvas nenonāks līdz Saeimas dienas kārtībai, tad arī iniciatīvu parakstītāju interese var noplakt.

No citām prezentācijām bija interesanti paklausīties par Vācijā radīto Parliament Watch, kas sākotnēji radās kā Vācijas vietējo zemju un federālā parlamenta diskusiju platforma starp deputātiem un vēlētājiem, bet tagad viņu risinājumu izmanto arī Īrijā, Austrijā un Luksemburgā. Interesanti likās dažādi Slovākijas projekti atklātības un atvērto datu jomā - piemēram, publisko iepirkumu dati un to analīze, kā arī visi publisko iepirkumu līgumi. MySociety pārstāvis pastāstīja par dažādiem MySociety projektiem. Bija interesanti paklausīties arī Igaunijas pieredzi e-government jomā un ka, neskatoties uz daudziem labi veidotiem valsts e-pakalpojumiem, tur sabiedrības iesaiste e-demokrātijas iniciatīvās nemaz nav tik liela. Lietuvas projekti, par kuriem tika stāstīts, pagaidām ir vēl tapšanas stadijā, piemēram, manoseimas.lt (parlamenta atvērtības nodrošināšanai), Lietuva 2.0 (izklausījās, ka grib kļūt par kaut ko vairāk nekā Facebook :)) un Viešai (publisko institūciju finanšu analīzei un uzraudzībai). Kristaps Petermanis stāstīja par Deputātiem uz delnas, savukārt es pastāstīju par pieredzi ar Latvijas atvērto datu analīzi un par tiem projektiem, kas jau šeit opendata.lv ir aprakstīti.

Gribētos, lai šādi atklātības un datu atvērtības pasākumi notiktu biežāk arī Latvijā, jo savādāk nācās braukt uz Lietuvu, lai labāk iepazītu arī to, kas notiek Latvijā :)

Noslēgumā gribēju arī aicināt visus interesentus pievienoties Open Data Latvia diskusiju grupai, kura nesen ir izveidota, lai apspriestu atvērto datu aktualitātes Latvijā.

Publisko iepirkumu analīze

2011-12-19T00:00:00+02:00

Vieni no biežākajiem open data projektiem pasaulē ir valsts un pašvaldību publisko iepirkumu datu analīze. Arī Latvijā publisko iepirkumu dati it kā ir atvērti un tos var sameklēt Iepirkumu uzraudzības biroja datubāzē. Bet realitātē, tas, kas tur atrodas, izskatās pēc MS Word formām, kas saglabātas HTML formātā, un nekādu kopsavilkuma analīzi par to, kurš no kā un kad un par cik ir pircis, izdarīt nevar.

Jau kādu laiku brieda doma par to, ka būtu ļoti vērtīgi pārvērst šos iepirkuma rezultātu paziņojumus analizējamos datos. Motivācija sākt darbu pie šī projekta radās, satiekot Ingu Spriņģi no Baltijas pētnieciskās žurnālistikas centra Re:Baltica un šīs sadarbības rezultātā radās Re:Baltica pētījums par būvniekiem, partijām, iepirkumiem. Par šo pētījumu vakardien bija arī TV3 raidījuma Nekā Personīgi sižets, kur parādos arī es un pastāstu par atvērto datu kustību :)

IUB rezultātu publikāciju apstrāde tehnoloģiski bija diezgan sarežģīta problēma:

Vispirms vajadzēja savākt visas IUB publikācijas - kopš 2010. gada sākuma to bija ap 80 000.
No HTML dokumentiem vajadzēja atpazīt, kuras ir rezultātu publikācijas (tika apstrādāti dokumenti ar virsrakstiem INFORMATĪVS PAZIŅOJUMS PAR NOSLĒGTO LĪGUMU, PAZIŅOJUMS PAR IEPIRKUMA PROCEDŪRAS REZULTĀTIEM, PAZIŅOJUMS PAR LĪGUMA SLĒGŠANAS TIESĪBU PIEŠĶIRŠANU SABIEDRISKIE PAKALPOJUMI, BRĪVPRĀTĪGS PAZIŅOJUMS PAR IEPIRKUMA REZULTĀTIEM).
Tālāk katrā dokumentā vajadzēja atpazīt lēmuma pieņemšanas un publicēšanas datumus, pasūtītājus, to adreses un kontaktpersonas, CPV kodu (vienotā iepirkumu klasifikācija pa nozarēm), noslēgtos līgumus (vienā paziņojumā var būt minēti vairāki līgumi), katrā līgumā jāatpazīst piegādātājs, ar ko tiek slēgts līgums, piedāvātā cena un līguma summa, valūta, līguma nosaukums, kopējais piedāvājumu skaits.
Visu to apgrūtināja tas, ka kaut kad 2009./2010.gadā mainījas rezultātu publikācijas formas un daži apzinīgie pasūtītāji izmantoja jaunās formas, bet daži slinkākie turpināja copy/paste no vecajām formām.
Rezultātu publikāciju formās nav nekādas kontroles par datu kvalitāti, tā ka nācās identificēt biežākās formu aizpildītāju jaunrades idejas un tās salabot.
Pēc visu dokumentu sākotnējās apstrādes nācās strādāt pie vienādo pasūtītāju un piegādātāju identificēšanas. Izskatās, ka IUB neveic nekādu iesniegto dokumentu datu kvalitātes kontroli, kā rezultātā viena un tā paša pasūtītāja vai piegādātāja nosaukums var parādīties daudzās dažādās variācijās. Tādēļ centos identificēt vienādos pasūtītājus un piegādātājus pēc viņu reģistrācijas numuriem un izvēlēties biežāk lietoto nosaukumu (jo diemžēl Uzņēmuma reģistra dati pie mums nav atvērti, lai jebkurš varētu masveidā pārbaudīt uzņēmumu reģistrācijas numurus).
Bet tad sekoja nākamā problēma, ka nav arī nekādas datu kvalitātes kontroles par ievadītajiem reģistrācijas numuriem - sākot no tā, ka dažkārt ir ievadīts pilnais numurs ar 11 cipariem, dažreiz 9 cipari bez pirmā un pēdējā cipara, dažreiz ievadīts PVN reģistrācijas numurs. Bet dažkārt bija vēl sliktāk, ka no reģistrācijas numura vispār kāds cipars pazudis un dažreiz ir ievadīts pilnīgi cita uzņēmuma reģistrācijas numurs (droši vien pēc copy/paste no iepriekšējās publikācijas piegādātāja nosaukumu nomainīja, bet reģistrācijas numuru nē). Šadas problēmas ar lielākajiem piegādātājiem varēja pamanīt veicot tikai sākontējo datu analīzi un tad vajadzēja manuāli tos labot, lai saliktu kopā vienu un to pašu piegādātāju vai pasūtītāju.
Visbeidzot arī nācās identificēt pārsūdzētos un atkārtoti izsludinātos iepirkumu rezultātus un atstāt tikai pēdējo rezultātu publikāciju pēc atbilstošā pasūtītāja norādītā iepirkuma identifikācijas numura. Tā kā par atkārtotām publikācijām diemžēl ir grūti identificēt, vai tās papildina vai aizstāj agrākas publikācijas, tad šeit var būt kļūdas, ka kādās iepriekšējās publikācijas tiek nepareizi aizstātas ar jaunākām.
Izskatās, ka dažiem formu aizpildītājiem arī trūkst elementāras datorprasmes. Atceros no skolas laikiem, kā mums mācīja likt pēdiņas - sākumā divas apakšā un beigās divas augšā. Daži tā raksta arī uz datora - tā kā nevar atrast apakšējās pēdiņas, tad sākumā liek divus komatus un beigās divus apostrofus, piemēram SIA ,,Sviests'' :)

Bet rezultātā veiksmīgi izdevās izveidot analizējamu datu kopu un ielādēt to eazyBI analīzes rīkā. Sadarbībā ar Re:Baltica tika izveidota papildus iepirkumu datu analīze sasaistot to ar agrāk apstrādātajiem partiju ziedotāju datiem. Tika identificēti, kuru būvfirmu īpašnieki vai amatpersonas ir ziedojuši partijām 2010. un 2011. gadā un attiecīgi kādos publiskajos iepirkumos šīs būvfirmas ir uzvarējušas. Lasiet vairāk par šo pētījumu Re:Baltica lapā. Šeit ievietoju vienu kopsavilkuma grafiku par iepirkuma publikāciju kopējo summu pa mēnešiem un cik no šīs summas sastāda ar būvniecību saistītie iepirkumi:

Līdzīgu analīzi var veikt arī par iepirkumiem citās nozarēs (nozaru klasifikācija tiek veikta pēc norādītā CPV klasifikācijas koda, kas arī diemžēl bieži ir norādīts kļūdaini). Piemēram, izveidoju top IT projektu atskaiti, kurā redzami lielākie IT pakalpojumu nozares projekti, sagrupēti pēc piegādātjiem un pasūtītājiem.

Rezultātā pēc visas šīs ņemšanās ar iepirkumu rezultātu publikācijām radās dažas pārdomas:

Dati ir vērtīgi tikai tad, ja tie ir kvalitatīvi. Redzot, par kādām summām tiek veikti publiskie iepirkumu, es domāju, ka varētu veltīt mazliet vairāk laika, lai pārbaudītu iesniegto datu kvalitāti - vismaz pārbaudītu, lai pasūtītāju un piegādātāju reģistrācijas numuri un nosaukumi atbilstu uzņēmumu reģistram, lai CPV nozaru klasifikācijas kods būtu norādīts pareizi, lai kopsummas sakristu ar detalizētajām summām.
Ideālajā variantā vēlētos, lai IUB nevis tikai pārpublicētu iesniegtās rezultātu publikāciju MS Word formas, kas saglabātas HTML formātā, bet gan uzkrātu savā datubāzē strukturētu informāciju par to, kas no kā un kad un par cik ir iepircis. Ja šos datus saglabātu un pārbaudītu jau pie datu saņemšanas un ievades, tad datu kvalitāte būtu daudz augstāka un tad arī tie būtu daudz vieglāk pieejami analīzei.
Vajadzētu arī vienotas rekomendācijas par to, cik detalizēti pa pozīcijām ir jāizsludina iepirkumu un jāpublicē to rezultāti. Piemēram var salīdzināt medicīnas materiālu iepirkumu ar 172 pozīcijām par 367 tūkstošiem latu ar būvniecības iepirkumu ar vienu pozīciju par 88 miljoniem latu.
Tā kā par vienu iepirkumu var būt daudzas publikācijas, tad patreizējā brīdī ir grūti automātiski identificēt, kuras publikācijas (vai arī publikāciju atsevišķas pozīcijas) ir galējās un neapstrīdētās/neatceltās. To laikam var risināt tikai uzkrājot datus strukturētākā formā.

Ja jums rodas idejas, kā vēl varētu izmantot publisko iepirkumu datus vai arī kā uzlabot to pieejamību un kvalitāti, tad rakstiet to komentāros.

Pirmais Open Data Day Hackathon ir noticis!

2011-12-10T00:00:00+02:00

Open Data kustība Latvijā ir oficiāli sākusies, jo 3. decembrī veiksmīgi notika pirmais Open Data Day Hackathon pasākums!

Uz pasākuma pirmo daļu bija ieradušies 10 dažāda profila interesenti un sākām ar iepazīšanos un ideju apmaiņu par open data iniciatīvām un potenciālajiem projektiem Latvijā. Pēc pasākuma uztapušajā wiki lapā varat apskatīt gan dalībnieku sarakstu, gan arī ideju un potenciālo projektu pierakstus. Priecē, ka open data idejas interesē dažādu jomu pārstāvjus - bija gan programmētāji, gan uzņēmēji, gan valsts institūciju pārstāvji, gan nevalstisko organizāciju pārstāvji, gan akadēmisko institūciju darbinieki, gan juristi (šoreiz gan atsevišķas jomas bija pārstāvētas vienskaitlī :)). Cerams, ka šo dažādo jomu pārstāvju sadarbība veicinās open data ideju popularizēšanu plāšākā sabiedrības lokā.

Pasākuma otrā daļa bija praktiskā "hakatona" sadaļa, kurā bez manis piedalījās vēl Jānis Baiža, Valdis Krebs, Uldis Bojārs un Pēteris Ručevskis. Iesākumā Valdis, Pēteris un Uldis strādāja pie jau agrāk manis sagatavotajiem partiju ziedotāju datiem, lai tos apstrādātu un izanalizētu kopsakarības ar SNA grafu analīzes rīku. Savukārt mēs ar Jāni uzsākām Saiemas sēžu darba kārtības un balsojumu datu iegūšanas programmas izstrādi, lai tos varētu izmantot tālākai Saeimas balsojumu analīzei.

Kā jau citās līdzīgās Latvijas valsts institūciju web lapās Saeimas sēžu darba kārtības un deputātu balsojumi ir pieejamas tikai kā individuālas web lapas, kas nav piemērotas analītisku datu iegūšanai. Tādēļ izveidojām programmu, kas iziet cauri visām Saeimas sēdēm un no šīm web lapām iegūst izejas datus par deputāti balsojumiem un sagatavo tos CSV failu formātā tālākai apstrādei. Rezultātā ieguvām gan 11. Saeimas visu balsojumu datus gan arī pāris dienu vēlāk tika sagatavoti 10. Saeimas balsojumu dati.

Nu un tālāk šos datus jau var izmantot dažāda veida analīzei - piemēram, kuri deputāti visvairāk neapmeklē sēdes, vai arī kuri apmeklē sēdes, bet nezin kāpēc bieži nepiedalās balsojumos. Šadu analīzi ar eazyBI palīdzību tagad var apskatīties, gan par 11. Saeimu, gan arī par 10. Saeimu. Kā piemēru šeit ievietoju 11. Saeimas "top bastotāju" tabulu :)

Par partiju ziedotāju un Saeimas deputātu balsojumu sociālo tīklu analīzes rezultātiem varat izlasīt Valda Kreba bloga rakstā. Šeit ievietoju viņa veidotā tīkla vizualizācijas piemēru, ko varētu arī saukt par politisko māklsu :)

Šos Saeimas balsojumu datus būtu interesanti arī paanalizēt tālāk, lai identificētu, kuriem deputātiem balsojums parasti sakrīt ar partijas viedokli un kuriem savukārt bieži nesakrīt. Kā arī varbūt parādās kādas citas saistības starp deputātiem, kas nav atkarīgas no partiju piederības.

Nobeigumā gribēju arī pateikt paldies eBIT par viesmīlīgajām "hakatona" telpām. Un domāju, ka tuvākajā nākotnē open data "hakatoni" noteikti tiks atkārtoti, tā ka lūdzu interesentus piebiedroties mūsu pulkam un to popularizēt tālāk! Sekojiet mums Twitter un Facebook lapās, kā arī "retwītojiet" un "laikojiet" tās :)

Open Government Data Camp un plānotais Open Data Day Hackathon Rīgā

2011-10-29T00:00:00+03:00

Pirms nedēļas piedalījos open data aktīvistu lielākajā ikgadējā konferencē Open Government Data Camp. Par šo konferenci uzzināju no vienas no konferences organizātājām, kas sakontaktēja mani Twitterī, jo bija pamanījusi manas opendata.lv aktivitātes.

Pēdējā gada laikā open data kustība ir vērsusies plašumā un daudzās pasaules valstīs notiek aktīvi valsts vai pašvaldību līmeņa projekti, lai nodrošinātu atvērtu pieeju publiskajiem datiem - dzirdēju par daudziem projektiem ASV, Kanādā, Brazīlijā, Apvienotajā Karalistē, Itālijā, Spānijā, Polijā, Norvēģijā, Somijā un citur. Attālinātu uzrunu konferences dalībniekiem teica arī Eiropas komisāre Neelie Kroes, kura arī ir "big fan of open data" un viņasprāt "data should be open and available by default and exceptions should be justified – not the other way around as is too often the case still today".

Diemžēl Latvijas publiskajā sektorā par open data neviens vēl nopietni nedomā un pagaidām nav plānots veidot publiskā sektora atvērto datu portālus, kā, piemēram, data.gov vai data.gov.uk. Tādēļ pagaidām iniciatīva šajā jomā ir jāuzņemas aktīvajiem pilsoņiem. Un pagaidām aktīvie pilsoņi šajā jomā arī nav pārāk daudz - konferencē no Latvijas bez manis bija vienīgi žurnāliste Inga Spriņģe.

Konferencē uzstājos ar īsu lightning talk par šo opendata.lv projektu un kā ar vizualizāciju palīdzību popularizēt atvērto datu ideju:

Konferencē arī uzzināju par Internation Open Data Day Hackathon, kas notiks 3. decembrī daudzās pasaules vietās. Tādēļ man arī radās ideja, ka vajadzētu to noorganizēt Rīgā un tādēļ izveidoju Open Data Latvia meetup grupu un Open Data Day Rīgas pasākuma reģistrācijas lapu. Lūdzu pieteikties visus interesentus - programmētājus (kas var apstrādāt dažādus esošos grūti pieejamos datu avotus un padarīt tos pieejamākus), žurnālistus (kas vēlas analizēt publiskos datus un meklēt tajos kopsakarības), juristus (kas var izpētīt un dot padomus, kādus datus drīkst un vai nedrīkst atkārtoti izmantot un pārpublicēt, un par ko var likt cietumā :)), māksliniekus (kas var smuki vizualizēt atvērtos datus) un citus. Kā arī, ja kādam ir padomā labas telpas šim pasākumam (ar galdiem, krēsliem, labu Internetu un daudz kafiju), tad arī lūdzu dot ziņu.

Un protams lūdzu popularizējiet šo pasākumu caur saviem sociālajiem tīkliem vai arī pastāstiet citiem klātienē.

Ceļu satiksmes negadījumu statistika

2011-10-19T00:00:00+03:00

Uz karstām pēdēm vēl viens datu analīzes piemērs, ko uztaisīja Andris Krauze - Ceļu satiksmes negadījumu statistika 2010. gadā. Izskatās, ka cilvēki pa Slīteres mežiem ļoti pārgalvīgi brauc...

Šajā piemērā izejas datus iegūt bija vēl grūtāk, jo CSDD tos publicē tikai PDF failu veidā. Painteresējos pie viņiem, vai varbūt izejas datus varētu publicēt arī CSV vai XML failu formātā. Saņēmu noraidošu atbildi, jo es esot pirmais un vienīgais, kas izrāda tādu interesi...

Būs vien jāturpina popularizēt open data idejas, lai nākotnē valsts iestādēm vairs neliktos dīvaini, ka kāds vēlas iegūt publiskos datus normālā formātā :)

Pieteikumi augstskolu studiju programmās

2011-10-18T00:00:00+03:00

Vēlējos nopublicēt vēl vienu pirms pāris mēnešiem veiktu analīzi. Jānis Baiža bija ielādējis un apstrādājis latvija.lv publicēto statistiku par reflektantu pieteikumiem augstskolu studiju programmās, lai būtu vieglāk paanalizēt, kuras augstskolas un kuras studiju programmas ir populārākās:

Kā arī var apskatīt dažādus citus eazyBI grafikus un tabulas ar šiem datiem.

Publicējot šādus statistikas datus būtu ļoti vēlams tos nopublicēt arī CSV vai XML veidā, kas, manuprāt, neprasītu daudz papildus darba, bet stipri atvieglinātu šādu datu apstrādi ar citām programmām. Kā arī patreizējā saite uz statistikas datiem www.latvija.lv/statistics nerada pārliecību, ka šie dati tur atradīsies mūžīgi, jo droši vien pēc nākamās svarīgās latvija.lv akcijas tur parādīsies statistika par citiem datiem. Interneta resursu URLus vienmēr vajadzētu veidot unikālus un no kuriem var saprast, kas zem tā atrodas, lai citas lapas varētu droši veidot saites uz šiem resursiem.

Saeimas vēlēšanu rezultāti

2011-10-17T00:00:00+03:00

Ar nelielu novēlošanos publicēju pirms mēneša notikušo Saeimas vēlēšanu rezultātu analīzi:

Šoreiz datu apstrādi atvieglināja tas, ka bija jau pieredze apstrādāt CVK tautas nobalsošanas datus un Saeimas rezultātu XML faili bija līdzīgi iepriekšējiem. Problēma vienīgi bija ar to, ka vēlēšanu rezultāti CVK vēlēšanu rezultātu lapā vispirms parādījās tikai HTML veidā, XML faili parādījās tikai vēlāk nakts vidū un kā rezultātā bija jāpastrādā tonakt mazliet ilgāk :)

Kā arī nav īsti skaidrs, kādēļ kandidātu plusu un svītrojumu dati ir pieejami tikai HTML lapu veidā un netiek piedāvāts pilns XML rezultātu fails. Tādēļ, lai ielādētu šos rezultātus, nācās atkal tos savākt ar web crawling palīdzību, vispirms saprotot web lapu viltīgo URL struktūru - piemēram, www.cvk.lv/cgi-bin/wdbcgiw/base/Saeima11.galrez11.kandid?NR1=110100001 mistiskajā NR1 parametrā ir apvienots kopā partijas numurs 1 un iecirkņa numurs 10100001.

Attiecībā par CVK operatīvo datu interpretāciju es ievēroju, ka pārsvarā visi mēdiji vēlēšanu aktivitātes lapā ignorēja kolonnu Atrašanās vietās un kā rezultātā ziņoja kopējo vēlētāju aktivitāti par kādu pusotru procentu zemāk. Bet visi mēdiji cītīgi ziņoja nepareizos kopējos aktivitātes procentus ar precizitāti līdz divām zīmēm aiz komata. Bet tā laikam cilvēka smadzenes ir uzbūvētas, ka mums ir lielāka ticība nepareiziem, bet precīziem datiem, nevis pareiziem, bet neprecīziem datiem :)

Tā ka CVK vēl ir iespējas uzlabot savu sniegto servisu :) un publicēt pilnībā visus datus XML failu veidā, kā arī sniegt īsu aprakstu, kā šos datus pieprasīt un ko katrs rādītājs nozīmē un kā tos visus vajag pareizi summēt kopā.

Pēc vēlēšanu nakts saites uz rezultātu grafikiem kādu laiku ceļoja pa Twitter un citiem saziņas līdzekļiem un man bija prieks, ka cilvēkiem patika apskatīt vēlēšanu rezultātus smukākā vizuālā veidā. Vienai no partijām tik ļoti iepatikās publicētie grafiki, ka viņi nopublicēja savā mājas lapā kartes grafiku ar saviem vēlēšanu rezultātiem pa pilsētām un novadiem. Ja kādam citam ir interese par eazyBI publisko grafiku ievietošanu savās mājās lapās, tad droši to dariet un vajadzības gadījumā vaicājiet man palīdzību.

Partiju ziedojumi

2011-08-29T00:00:00+03:00

Nākamais open data piemērs ir arī par šī brīža aktuālo vēlēšanu tēmu – partiju ziedojumiem. Kā zināms, partiju saņemtie ziedojumi un arī konkrētie ziedotāji ir publiska informācija, kas ir publicēti KNAB mājas lapā. Diemžēl atšķirībā no CVK, kas izejas datus publicē XML failu formātā, partiju ziedojumu dati ir pieejami tikai izmantojot KNAB web aplikāciju, kura paredzēta konkrētu ziedojumu atlasīšanai pēc partijas, ziedotāja vai laika perioda, bet galīgi nav paredzēta, lai veiktu kopsavilkuma datu analīzi, kā arī nenodrošina veidu, kā lejuplādēt visus izejas datus.

Lai iegūtu visus izejas datus, nākas nodarboties ar web crawling un pēc kārtas pieprasīt katru rezultāta lapu un no HTML rezultāta izvilkt ārā nepieciešamos datus. Šim nolūkam izveidoju nelielu Ruby programmu, kas apstaigā visus rezultātus un izdot rezultātu CSV faila formātā. Šodien visu rezultātu iegūšana prasīja kādu stundu – ja tiktu nodrošināta izejas datu lejupielāde vienā failā, tad to varētu izdarīt daudz, daudz īsākā laikā un arī mazāk noslogotu serveri, kuram tagad nākas sagatavot vairāk kā 800 pilnās web lapas. Tādēļ es rekomendētu visiem publisko datu publicētājiem tomēr pacensties un vienmēr nodrošināt izejas datu lejupielādi, lai nevajadzētu nodarboties ar šādiem apejas risinājumiem.

Apstrādājot rezultātus arī nācās konstatēt problēmas ar datu kvalitāti – izskatās, ka ziedotāju vārdi, uzvārdi un personas kodu fragmenti tiek katru reizi no jauna ievadīti ar roku un dažkārt viena un tā pati persona tiek ievadīta dažādā veidā (pamatā atsķiras, kur tiek vai netiek lietotas atstarpes). Kā rezultātā nācās atpazīt formātu, kādā ievadīta katra personas, lai pēc tam pārveidotu atstarpju lietošanu vienotā formātā (jo savādāk daži top ziedotāji sākotnēji neparādījās topā, jo bija sadalījušies pa dažādām personām :)).

Šajā sakarā arī paceļas jautājums par to, kāda jēga ir no pilna personas koda nepublicēšanas. Potenciāli sensitīvā personas koda daļa (dzimšanas datums) jau tāpat tiek publicēts un otrā personas koda daļa ir tikai kārtas numurs, kurš nekādu citu personiski sensitīvu informāciju neietver. Un ja kāds ļoti gribēs uzzināt kāda svarīga cilvēka pilnu personas kodu, tad ir pietiekoši daudz citu avotu kur to iegūt. Tādēļ, manuprāt, tajos gadījumos, kad ir paredzēts, ka tiek publicēts personas vārds un uzvārds, vajadzētu vienmēr publicēt arī personas kodu, kas nodrošinātu viennozīmīgu personas identifikāciju un nodrošinātu vienkāršākas datu integritātes pārbaudes.

Partiju ziedojumu datus ielādēju eazyBI un izveidoju pāris kopsavilkuma atskaites. Centīšos datus regulāri atjaunot, lai priekšvēlēšanu sprintā varētu apskatīt, kurš šoreiz uzvarēs naudiskajā balsojumā :)

Tautas nobalsošanas par Saeimas atlaišanu rezultāti

2011-08-05T00:00:00+03:00

Sākšu ar pirmo open data piemēru par neseno aktualitāti – tautas nobalsošanu par Saeimas atlaišanu. Kopumā jāsaka, ka Centrālā vēlēšanu komisija labi atbilst atvērto datu principiem un tautas nobalsošanas rezultāti bija gan operatīvi pieejami, gan labi apstrādājami.

Gan balsotāju aktivitātes lapā, gan rezultātu lapā bija viegli pamanāmas saites uz XML failiem ar izejas datiem. Nekādi apraksti gan par XML struktūru nebija, bet tā kā uzreiz bija redzami arī apkopotie balsošanas aktuāli dati, tad viegli varēja saprast, kas ko nozīmē. Kā rezultātā kādas stundas laikā sestdienas rītā varēju uztaisīt XML faila pārveidošanu CSV faila formātā, lai to varētu ielādēt eazyBI. Līdzīgi arī svētdienas rītā bija pieejams rezultātu XML fails, kuru arī varēja viegli saprast un apstrādāt. Protams ideāli būtu, ja XML failu struktūra un piemēri būtu bijuši publicēti agrāk un tad jau laikus varētu uztaisīt failu apstrādes programmu.

Interesanti sestdienas laikā bija pamanīt pagaidu publicētajos balsošanas rezultātos gan pāris iztrūkstošus novadus, gan arī aritmētiskās kļūdas, kuras pamanīju, kad pārbaudīju savu ielādēto datu kopsummas. Tas laikam nozīmē, ka CVK pusē datu publicēšanas laikā pastāv vēl kaut kāds "cilvēciskais faktors", kas datus no vienas sistēmas pārkopē publiskajā web lapā, un tā rezultātā rodas "cilvēciskās" kļūdas :)

Rezultātā no tautas nobalsošanas datiem ar eazyBI uztaisīju dažas smukas datu vizualizācijas:

Ja datu formāts būtu zināms savlaicīgi, tad šādus smukus grafikus varētu jau sataisīt pirms tam un automātiski uzreiz attēlot jaunākos datus, kad tie tiek publicēti. Un tad LTV Panorāma tā vietā, lai nolasītu garus sarakstus ar garlaicīgiem procentiem, varētu uzreiz parādīt šādus grafikus, kur uzreiz viss ir skaidrs :) Varbūt pirms nākamajām Saeimas vēlēšanām varētu šos formātus nopublicēt savlaicīgi?

Kas ir Open Data jeb atvērtie dati?

2011-08-05T00:00:00+03:00

Man patīk analizēt un "urķēties" pa datiem, jo tāda ir manas IT profesijas būtība – datu apstrāde. Savukārt man nepatīk, ja es nedabūju to, par ko esmu samaksājis, vai arī ja man par to pašu lietu prasa maksāt divreiz. Tāpēc man patīk atvērtie dati.

Modernas valsts pārvaldes entuziasti popularizē open data jeb atvērto datu praksi kā demokrātijas veicinošu pieeju mūsdienu Interneta laikmetā. Open data principi ir labi aprakstīti 8 Principles of Open Government Data lapā. Šeit ir šo principu kopsavilkums:

Pilnīgi

Visiem publiskajiem datiem ir jābūt pieejamiem. Publiskie dati ir dati, uz ko neattiecas privātuma, drošības vai privilēģiju ierobežojumi.
Primāri

Dati tiek publicēti tādi, kā tie tiek oriģināli savākti ar lielāko iespējamo detalizācijas pakāpi, nevis apkopotā vai modificētā formā.
Laicīgi

Dati ir pieejami pēc iespējas ātrāk, lai nodrošinātu savlaicīgu datu vērtību.
Pieejami

Dati ir pieejami visiem iespējamajiem lietotājiem un visiem iespējamajiem nolūkiem.
Automātiski apstrādājami

Dati ir saprātīgi strukturēti, lai nodrošinātu to automātisku apstrādi.
Nediskriminējoša pieeja

Dati ir pieejami ikvienam bez nepieciešamības reģistrēties.
Atvērts datu formāts

Dati ir pieejami brīvā datu formātā, pār kuru nevienam nav īpašas kontroles.
Bez licences

Uz datiem neattiecas autortiesību, patentu, preču zīmju vai komercnoslēpumu likumi. Saprātīgi privātuma, drošības un privilēģiju ierobežojumi var tikt atļauti, ja to nosaka citi likumi.

Ar šo principu ievērošanu Latvijas valsts pārvaldē pagaidām neiet īpaši spīdoši un nav pārāk daudz atvērto datu, kas atbilstu šiem principiem. Turpmākajos ierakstos pastāstīšu par saviem eksperimentiem ar dažādiem Latvijas publisko datu avotiem un cik veiksmīgi vai neveiksmīgi izdodas pie tiem piekļūt, apstrādāt un analizēt.

Savos eksperimentos bieži izmantošu datu analīzes web aplikāciju eazyBI, ko patlaban izstrādāju, un kuru tai skaitā labi var izmantot publisko datu analīzei un publicēšanai. Ja vēlaties palīdzēt ar šo manu atvērto datu iniciatīvu, tad varat arī paši pieteikties eazyBI lietošanai un izmēģināt tajā ielādēt un analizēt dažādus publiskos datus.

Un, protams, labprāt dzirdētu komentārus, viedokļus un ierosinājumus par šo tēmu.