Tyvärr så blev jag tvungen att avvika tidigare men Emil och Jocke fortsatte att programmera på idéen. Språkvalet var Python och GitHub användes för versionshantering. Än finns ingen publik version men kommer kanske snart.

Grymmaste projektet på Codemocracy var Kollektivt.se av Popdevelop som visar bussar i realtid på en karta.

Presentation av projektet Lokalpolitik:

IDG har även skrivit om eventet samt Dagens Industri (tryck).

• Codemocracy
• GitHub.com för Git

I helgen är det dags för Codemocracy. Codemocracy är ett event där utvecklar träffas och skapar tjänster runt API:er och information som tillhandahålls av myndigheter. Det kommer även ske en hel del diskussioner och debatter om hur fler myndigheter kan sjösätta härliga API:er som gör att vi utvecklare kan nyttja informationen.

Jag kommer att ingå i ett team med Emil Stenström som bloggar på friendlybit.com. Om vi har tur så kommer det även att dyka upp en och annan politiker om de inte har fullt upp så här i valtider.

För mer information se Codemocracy.se

• Team Slumptal
• GovData är nu gratis

Crawlern (eller webcrawler, spider som det också heter) var tämligen ouppdaterad så jag tog tillfället i akt och använder nu enbart Redis. Tidigare så använde jag MySQL + Sphinx:

• db0 – Kö för domäner som skall besökas
• db1 – Koppling mellan namnserver och IP-nummer
• db2 – Koppling mellan www.domän och IP-nummer
• db3 – Sidtitlar

Db0 rensas och fylls på ungefär varannan dag med runt 25 miljoner nya domäner som besöks så efter cirka en vecka så har jag besökt 100 miljoner domäner. För server-kapacitet så använder jag Amazon EC2 och deras spot instances som är lite billigare och utnyttjar oanvända EC2-instanser.

• NoSQL – MySQL och memcached på väg bort
• Amazon Elastic Compute Cloud (Amazon EC2)

Glöm inte att följa GovData på Facebook för att få löpande uppdateringar.

• GovData nu med JSON API
• Codemocracy

1. 99 designs – De har nu börjat med något som heter Logo Store där man kan köpa färdiga logotyper där en designer bara ändrar texten till det du vill ha. Snabbt och lätt för 99$, vill du ha något bättre och kanske få flera hundra förslag på logotyper så kan du skapa en logotävling på sajten vilket kostar runt 250$.

2. The Logo Company – Har använt dem ett antal gånger för att framställa logotyper som ser någorlunda bra ut. Oändligt antal revisioner tills man blir nöjd.

Nåväl, här kommer min korta guide:

1. Se till att bli inspirerad. Besök 10-20 stycken (nya) webbtjänster och se hur deras logotyp ser ut eller specialiserade sajter såsom logopond.com

2. Testa lite olika fonter. Jag brukar använda MyFonts.com för införskaffning av fonter. Några favoriter som jag köpt är Inlove Bold, Reklame Script Bold. Tips kolla även in gratisfonter såsom Aller.

3. Ändra färger och stilar på fonten. Photoshop är ett bra och trevlig verktyg med dess “Blending Options”.

4. Hitta en trevlig ikon/illustration för att förtydliga logotypen med. Jag brukar använda iStockphoto och söka på illustrationer, kan ta ett bra tag att hitta något fint som passar.

Uppdatering: Kan även tipsa om 20 Free Fonts Ideal For Logos And Headings

• Nya domänförvärv
• Populäraste sökorden 2009

Nu känner jag det är dags för någon annan att ta över rodret och förhoppningsvis fortsätta att utveckla tjänsten som nu har över 100 betalande användare. Tjänsten 15651 användare där tweets arkiveras dagligen och totalt har över 51 miljoner tweets arkiverats.

Tjänsten ligger uppe för budgivning på Flippa.com där du kan lägga bud. Budgivningen pågår i 28 dagar till.

Bra att veta är exempelvis att tjänsten var med på PCMag:s topp 100 lista över webbtjänster år 2009 och att sajten rankar #1 på sökfrasen: twitter backup.

Jag finns att följa på Twitter här @jonasl

• TweetBackup börjar med premium-konton
• Lite uppdateringar

Dragningen genomfördes med hjälp av följande SQL-fråga:

select comment_content,comment_author,comment_author_email from wp_comments where comment_post_ID=1492 order by rand() limit 1;

• Vinn biljett till SSWC
• SSWC, 24hbc och Qvaq

SSWC går av stapeln Augusti 13-15 på en ö i Blekinge skärgård vid namn Tjärö.

Uppdatering: Förlänger tävlingen tills Onsdag kl 21.00 istället pga. stor efterfrågan.

• Vinnare av SSWC-biljett
• SSWC, 24hbc och Qvaq

Fotocredd till Emanuel Karlsten

• Newsmill, Blogg.se, Iconvert, Google Chrome
• Jobbr, WiFiKartan, Sphinx, Twittapps samt Bisongoogle

Här kommer en kort presentation om hur du kommer igång med Sphinx:

• Sökningar i MySQL MyISAM FULL-TEXT
• Crawler 2.0

Så låt mig presentera några av mina minisajter:

• DonnieKlang.com – Är en fan-site för artisten Donnie Klang som bl.a vann TV-serien Making The Band 4.
• Fildelning.se – En sida som uppdateras med löpande information om teknik och allmänna nyheter runt fildelning.
• Johnossi.se – Fan-sida för det omåttligt populära Svenska duon Johnossi.
• OffShoreJob.com – Där kommer snart en tjänst för förmedling av Offshore arbeten.

Just nu så håller jag på att rekrytera skribenter till ovan sidor samt så går GovData arbetet sakta men säkert framåt.

• Premiär för DomainTool
• DomainTool med nya funktioner

• Crawler 2.0
• Visuell guide till NoSQL

När jag varit i kontakt med myndigheter så har dessa registerförfattningar flertalet gånger använts som anledning till att ej lämna ut information.

Att det finns behov för en genomgång av dessa registerförfattningar är något som många har påpekat under flera års tid men dock har inget hänt. Så därför tänkte jag ta upp bollen och åtminstone ge en liten bild av hur jag kan tänka mig att några av de nuvarande registerförfattningarna kan ändras.

I grova drag så anser jag att där exempelvis utlämnande i elektronisk form kan ske till SCB så bör även andra få tillgång till handlingarna, dock utan sekretessbelagda uppgifter. Samt att utlämnande av register bör ske i elektronisk form där sekretessbelagda uppgifter är bortsållde.

Det fick dock ett problem, det finns ett stort antal registerförfattningar. Vilket kan utläsas i en bilaga till Riksarkivets Lützenrapport:

Lützenbilaga (pdf)

• En vecka efter PSI-lagen
• Codemocracy

Förvirring  och felaktiga tolkningar - Ingen myndighet verkar tolka lagen som den andra. Detta är många gånger också korrekt eftersom många myndigheter har olika förutsättningar då många register och databaser omfattas av registerförfattningar som eventuellt begränsar tillgång till dessa. Jag har granskat ett antal av dessa registerförfattningar och där framgår det många gånger att myndigheterna får lämna ut information men väljer då istället att inte lämna ut något just pg.a. att de inte måste. Sådana beslut från myndigheter kan så klart överklagas.

Sekretess och personuppgifter – Mycket av informationen som myndigheterna besitter innehåller information som kan härledas till en enskild individ och kan informationen göra detta så frångår myndigheterna direkt PSI-lagen. Exempelvis så lutar sig SCB på statistiksekretessen och lämnar därför inte ut den rådata som efterfrågas.

Om information som inte omfattas av sekretess begärs ut så lutar sig SCB istället på dess sekretesspolicy där man bl.a. gör en ändamålsprövning vilket är helt emot PSI-lagen där följande framgår: “I lagen avses med vidareutnyttjande användning av handlingar för andra ändamål än det ursprungliga ändamål för vilket handlingarna behandlas av en myndighet.”

Papper papper papper - Som flertalet har påpekat så innefattar PSI-direktivet inte själva tillgängliggörandet av handlingen utan då måste andra lagar och förordningar tillämpas eller att myndigheten själva tar sig i kragen och tillhandahåller informationen för vidareutnyttjande. Ett arbete pågår dock om detta, se SOU 2010:4 “Allmänna handlingar i elektronisk form – offentlighet och integritet” som föreslås träda i kraft den 1 januari 2011.

Ej insatta myndigheter - “PSI sa du att det hette? Ny lag? Vänta så kopplar jag dig till försäljningsavdelningen av information…” Suck.

Uppdatering: Värt att tillägga är också att många myndigheter tillhandahåller informationstjänster gratis på sin hemsida. Om en entreprenör vill konkurrera mot en sådan tjänst så  kostar det många gånger flera hundra tusen eller miljoner för att få ut information för att erbjuda samma tjänst som myndigheten.

Sist men inte minst så har ett antal myndigheter upprättat dedikerade PSI-webbsidor med information:

• SCB
• Lantmäteriet
• Bolagsverket

Saknas någon myndighet?

• Registerförfattningar
• Codemocracy

Ni sitter sedan många år tillbaka på stora mängder data som är intressant ur flera aspekter. Det handlar om information som vi skattebetalare redan betalt för. Olika aktörer i samhället kan vidareutnyttja information för olika ändamål, t.ex. genom skapandet av nya e-tjänster, såväl kommersiella och ideella. Men ofta har det varit förknippat med stora kostnader och svårtillgängliga lösningar. Äntligen ser vi en ändring komma till stånd.

Att vi entreprenörer kan ta del av denna information även elektroniskt har vunnit laga kraft sedan idag, den 1:a juli 2010. Den så kallade PSI-lagen (Prop. 2009/10:175) öppnar upp för stora möjligheter att skapa tjänster som förbättrar vardagen för oss alla.

Att ni själva sitter på kunskapen att förädla denna information i viss mån är mycket möjligt, rent av sannolikt, men om fler får möjlighet att jobba tillsammans så kommer garanterat resultaten att bli ännu bättre. Det saknas sannerligen inte internationella exempel på de effekter man får av att släppa publikt data tillgängligt för vidareutnyttjande.

Vi vill därför uppmana alla myndigheter och deras chefer att snarast börja arbeta i PSI-direktivets anda och uppfylla den intention som lagen speglar. Citerar från regeringskansliets sida om PSI – vidareanvändning av information:

”Syftet med lagen är att främja utvecklingen av en informationsmarknad genom att underlätta enskildas användning av handlingar som tillhandahålls av myndigheter.”

För att detta ska bli verklighet krävs i praktiken ett API till era tjänster. Vi vill därför med detta brev uppmärksamma er på behovet av att ni skyndsamt öppnar upp en sådan möjlighet. Först då kan vi börja jobba på allvar, och först då kan både ni, vi, lagstiftarna och samhället se den fulla nyttan av den utveckling som startar nu. Vi är många som är villiga att hjälpa till, så se det här brevet också som en utsträckt hand. Dialogen är igång, nu är bollen er.

Ovanstående text är i huvudsak författad av Jonas Lejon (ansvarig bland annat för tjänsten govdata.se), bearbetad av Joakim Jardenberg (bland annat projektledare för Makten och Öppenheten) och helt fri att kopiera, bearbeta och vidarebpublicera enligt CC0.

—-

För den som vill läsa mer om den nya lagen 2001:566 så finns lagtexten bl.a. på Lagen.nu: https://lagen.nu/2010:566. Mycket intressant finns att läsa i propositionen bl.a. detta:

i direktivet före-skrivs att handlingar ska göras tillgängliga i alla befintliga format hos myndigheten. Detta innefattar även kravet att elektroniska handlingar ska lämnas ut i elektronisk form, under förutsättning att det är möjligt och lämpligt.

Hjälp oss att sprida budskapet genom att länka och återpublicera ovan text!

• Robert Rosén på Utkiksbloggen
• Joakim Jardenberg på Jardenberg.se
• Ted Valentin på TedValentin.com
• Johan Bergelin på A very common view
• Peter Krantz på Tankar om e-förvaltning..
• Jennifer Bark på The jennie
• Anders Ytterström på madr
• Andreas Krohn på Mashup.se
• Maria Hägglöf på En hybrid i det digitala medielandskapet
• Joakim Green på JoakimGreen.com
• Petra Wahlström  på Guide2cloud
• Usman Rajab på Rajab.se
• Henrik von Sydow på HenrikvonSydow.se
• City | Network
• Stockholms Handelskammare
• OrbBlog
• Benny Kvist på Holdingbloggen
• Björn Hedensjö på DN:s redaktionsblogg
• Fleecelabs på Fibrer
• Mikael Lindström på Mobilize

• … din blogg här?

• Codemocracy
• Registerförfattningar

• Öka antalet besökare till din webbsajt

Via ArcticStartup. Kolla även in Garys TED-talk.

• No Related Post

• Uppgraderar Linux-kernels på ett antal av mina serverar. Fungerar automatiskt på Slicehost, dock aningens krångligare på Rackspace.
• Informationen på GovData är nu uppdaterat med några miljoner transaktioner till för 2009 samt 2010. År 2009 bör nu vara komplett
• Ordningen på Informationen på GovData är ändrad så största transaktionerna listas först när man tittar på enskilda företag.
• Tittar lite på det API som Amazon tillhandahåller för dess produkter om det går att baka in i någon av mina tjänster.
• Lägger till Google Analytics målspårning på Bloggy samt TweetBackup.
• Infört lite “sociala funktioner” där nya medlemmar får en fråga om de vill automatiskt tweeta ut ett meddelande att de nu använder Tweetbackup. Detta leder till en fördubbling av nya medlemmar!
• Uppgraderar mina sajter som går på WordPress till version 3.0 där lite strul uppkommer. Bl.a. så gillas inte custom taxonomies pluginet pga konflikter med inbyggda funktioner som finns i den nya versionen.

Och snart händer det, den 1:a Juli 2010 så vinner det såkallade PSI-direktivet laga kraft. Se proposition 2009/10:175 för mer information.

• Öppen tillgång till myndighetsdata
• Codemocracy

• Sårbarheten hos bloggar nu påtaglig

• Dagens Google LOL
• WordPress 2.8 Chet Baker

Äntligen så finns det ett första utkast till ett API för GovData. Jag har valt att stödja JSON med tillhörande JSONP vilket fungerar med de flesta programmeringsspråk.

Ett exempel hur information gällande Skatteverkets utgifter för 2003 hämtas ut med hjälp av PHP:

<code><?php

$data =  file_get_contents("http://govdata.se/api/toplist/2003/skatteverket");
$datar = json_decode($data);
print_r($datar);

 ?></code>

Alla myndigheter som stödjs med hjälp av toplist-argumentet går att lista med följande URL:

http://govdata.se/api/lista

All information som finns på GovData kommer att vara tillgängligt via API:et. Du får använda informationen som du vill, dock så uppskattas  alltid en länk tillbaka.

Mer information finns på API-sidan för GovData: govdata.se/api

• GovData är nu gratis
• AlchemyAPI – Analys av textmassor

Första gången jag hörde talas om OpenCalais var under det projekt som Martin Källström och gänget från Twingly genomförde under det första 24hbc (vi delade bord).

Min generella uppfattning är att OpenCalais verkar ha fler år på nacken än AlchemyAPI och vara mer genomtestat.

Efter att införskaffat en API-nyckel så laddar jag hem den PHP-klass som Dan Grossman har skrivit. Jag hackar om den exempelkod som följer med (octest.php) att se ut enligt följande:

<?php

 require('opencalais.php');
 $oc = new OpenCalais("xxx"); // Byt ut nyckeln

 $entities = $oc->getEntities(file_get_contents("/home/je/exempeltext.txt"));

 foreach ($entities as $type => $values) {
   foreach ($values as $entity) {
     print "$entity, ";
   }
 }
 print "\n";

?>

Nyckelorden som kommer fram ur texten är följande:

US National Institute of Standards and Technology, California, PALO ALTO, cellular telephone, www.cellcrypt.com, gateway applications, US National Institute of Standards and Technology,

Här ser vi att antalet hittade taggar är 7 till antalet istället för 14 som AlchemyAPI visar. OpenCalais verkar missa intressanta taggar såsom “FIPS 140-2″ och AlchemyAPI verkar missa “US National Institute of Standards and Technology”.

Testa även deras viewer som visar lite mer vad de är kapabla till. Samt så tillhandahåller även de ett WordPress-plugin.

• AlchemyAPI – Analys av textmassor
• Vad har jag på gång?

• NoSQL – MySQL och memcached på väg bort
• Visuell guide till NoSQL

Först ut att testas är AlchemyAPI som verkar vara det mest avancerade när jag tittar på deras hemsida “AlchemyAPI utilizes machine learning and natural language parsing technology, analyzing web or text-based content to identify people, organizations, locations, and other information!”.

Nåväl, först och främst så tar jag en exempeltext som jag avser att jämföra mellan de tre API:erna (hämtad från PRNewsWire.com).

Efter att införskaffat en API-nyckel från AlchemyAPI så skriver jag om den exempelkod som hittas i examples/keywords.php till att se ut enligt nedan. Exempelkoden kan hittas i deras SDK.

<?php

 // Load the AlchemyAPI module code.
 include "../module/AlchemyAPI_CURL.php";

 // Create an AlchemyAPI object.
 $alchemyObj = new AlchemyAPI();

 // Load the API key from disk.
 $alchemyObj->loadAPIKey("api_key.txt");

 $xml = $alchemyObj->TextGetRankedKeywords(file_get_contents("/home/je/exempeltext.txt"));
 $result = simplexml_load_string($xml);

 foreach($result->keywords->keyword as $key) {
     echo $key->text.", ";
 }

 echo "\n";
?>

Nyckelorden som kommer fram ur texten är följande:

FIPS 140-2, fips 140-2 validation, secure mobile voice, voice calling security, Federal Information Processing Standard, Secure Voice, Cellcrypt products, Cellcrypt’s cell phone, certificate provides assurance, PALO ALTO, mobile phone, cryptographic module, highest standard, gateway applications

Här hämtar du hem PHP SDK:

• AlchemyAPI PHP SDK alchemyapi.com/tools/AlchemyAPI_PHP5-0.4.tar.gz

Testa även deras demo-sida som visar lite mer vad de är kapabla till. Samt så tillhandahåller de även ett WordPress-plugin.

• GovData nu med JSON API
• Bloggy dag 2

En funktion som jag själv gillar är att kunna koppla ihop domäner med hjälp av olika parametrar på DomainTool. Tidigare så gick det att koppla ihop domäner med exempelvis samma namnserver, mailserver eller om webbsidor ligger på samma IP-nummer. Nu går det även att koppla ihop domäner med hjälp av Google AdSense-ID samt Google Analytics-ID.

Ett exempel på några av de domäner som Dan Nilsson äger(?) där samma AdSense eller Analytics-ID förekommer:

En begränsning i dagsläget är att max 60 domäner listas. Koden är inte helt buggfri, ovan så syns exempelvis city.se vilket troligtvis är en bugg.

• Små projekt
• Diverse nyheter

Se även Nikkes sida om Google-städning. Något som förmodligen kommer att bli mer och mer vanligt eftersom fler arbetsgivare etc Googlar på arbetssökandes namn.

• Ted bestraffad, Lindqvist får jurister, DomainTool uppdaterad
• Lediga .SE, VideoPlaza, GovData

Detta beror på flera saker, dels så känner jag att min “entreprenörsdamp” får mig att fokusera på många andra projekt under tiden samt så har Facebook blivit så enormt stort. Bloggy växer dock sakta men säkert, här är lite statistik:

• 1 887 366 inlägg totalt
• 251 269 kommentarer
• 205 388 inlägg via www
• 27 190 sms
• 8268 delade länkar
• 4522 mms
• 12226 användare
• 1 313 759 via flöden såsom flickr, facebook, bloggar osv
• 7 google pagerank
• 10877 rader kod

Om du vet någon som är intresserad av att föra Bloggy vidare i 2010-talet (Bloggy har exempelvis stöd för geolokalisering) så hör gärna av dig.

• Fyra tips för företag på Bloggy
• Bloggy, To.ly, Booli, Jyri Engeström

SUD2010 – Ted Valentin from SSES on Vimeo.

• Lär av Dropbox
• Diverse nyheter

• Ted Valentin på Start-up Day 2010
• Startup Weekend Stockholm

Min profil hittas här: open.spotify.com/user/lejon

• VideoPlaza, PolarRose, Spotify m.m
• ArcticStartup/ArcticEvening