Det gik lidt hurtigt med at lave grafen, så jeg fik ikke ekspliciteret at udgifterne er pr. person pr. år i købekrafts justeret USD.

Konklusion: Vi kan godt gøre det bedre.

Del dette

1. ”Helthcare”

Hvis IMF og CIA havde været enige - skulle punkterne (som hver repræsentere et land) være fordelt langs den blå linje. I stedet ser vi at CIA generelt er langt mere optimistisk - særligt for lande som IMF vurdere vil have en negativ vækst².

Herudover er det dog slående hvor store forskelle der er mellem enkeltlande. Nederst til højre er fx en prik (Zimbabwe). IMF vurdere realvæksten til ca 4% - CIA vurdere væksten til ca. -14%. Midt øverst er en anden prik. IMF vurdere real-væksten til ca. 0,5%, mens CIA vurdere realvæksten til ca. 14%. Og så videre.

Fremover er jeg mere forsigtig med at tillægge BNP prognoser nogen som helst værdi.

(ps. kilderne er angivet i figuren: IMF: http://2.ly/QR og CIA: http://2.ly/QS)

Del dette

1. grafen har engelsk følgetekst - jeg lavede den til tweeter, og har smidt scriptet væk. Så istedet for at lave den igen - må I klarer jer med denne
2. Den røde linje er regressionslinien mellem de to prognoser, og den kan tolkes sådan at CIA er langt mere forsigtige, hvertfald diskriminere mindre mellem landende

Kræftens Bekæmpelse har lagt indsamlingsresultater ud på internettet. Kombineret med data fra de kommunale nøgletal, kan man undersøge samenhængen mellem indsamlingsresultater og forhold som andel af beboer i bymæssig beboelse, befolkningstæthed, region, skattegrundlag m.m. Stort set alt er dog insignifikant. Kort sagt: Folk giver det de giver - sikkert en tyver som ligger lommen.

Klik for større udgave

For de nysgrerrige: Billedet er det samme (inkl. øboernes generøsitet) i 2008. Data stammer fra kræftens bekæmpelses hjemmeside, og de kommunale nøgletal.

Del dette

Hvad betyder det for de grafer der bruges ude for snævre statistiske cirkler - fx i erhvervslivet? Er den nuværende praksis, hvor excel ofte har sat standarden, optimal? Hvis du har ideer, så skriv dem endelig i kommentarfeltet nedenfor.

Foreløbig har jeg bemærket at de fleste kunder jeg har arbejdet for (ofte forskellige organisatoriske spørgeskemaer), ønsker resultater vist som søjler, hvor søjlerne angiver gennemsnitsværdi.

Argumentet for at fortsætte denne praksis er, at søjlediagrammer er velkendte, og derfor nemme at fortolke (At feinschmeikkre krymper tær når punktnedslag, så som gennemsnit, formidles med en søjle - lader jeg ligge for nu)¹. På den anden side vister Anscomb’s eksempel også, at gennemsnit er en dårlig måde at beskrive en fordeling.

I mod søjlediagrammer taler også, at de har et meget lav data-blæk ratio. Dvs. der bruges meget blæk på at beskrive meget lidt data. Så hvorfor - og særligt i disse miljøsympatiske tider - printe en hel søjle, når man blot kan printe en lille prik for den værdi man er interesseret i?

Alt i alt synes jeg der må være god grund til at personalechefer, HR-ansvarlige og andre ledere, overvejer at finde måder at visualisere fx, medarbejdertilfredshed på. Nedenfor er fire forskellige måder at angribe visualiseringen på.

Det er meningen at eksemplet illustrere en virksomhed på ca. 100 ansatte i 8 forskellige kontorer. Graferne nedenfor viser det gennemsnitlige tilfredshedsniveau i hvert kontor.

Øverst til venstre er et almindeligt søjlediagram med de problemer jeg lige har beskrevet. Øverst til højre er de faktiske værdier for hver ansat i hvert kontor, tilføjet søjlediagrammet. Herved fås et klart udtryk for at gennemsnittet i de fleste tilfælde dækker over meget store forskelle blandt medarbejderne. Nederst til venstre er søjle diagrammet skiftet ud med et traditionelt boxplot. Mange kan ikke lide boxplots’ tilsyneladende kompleksitet². Men boxplots (eller box and whisker plots) er faktisk simple. Boksen udgør det område hvor 50 procent af data befinder sig. Stregen inden i boksen angiver medianen. De tynde pinde (whiskers) strækker sig ud til mindste og største værdie i data, med mindre disse værdier er outliers³. Hvis der er outliers vises disse som individuelle datapunkter.

Det fremgår tydeligt af boxplottet, at i kontor “e” er medarbejderne generelt lige tilfredse, men en enkelt medarbejder er markant mere tilfreds end de andre. I kontor “c” derimod er der to medarbejdere som er markant mindre tilfredse end kollegerne. Denne indsigt fremgår ikke af det almindelige søjlediagram. Det fremgår også, at selv om kontor “c” og “d” næsten har samme gennemsnits scorer - er der alligevel tale om meget forskellige kontorer. I kontor “d” er der således generelt meget store forskelle i medarbejdernes trivsel. Vil en personalechef finde det relevant at tage disse forskelle i betragtning når der gennemføres udviklingstiltag i organisationen? Hvis “ja”, så er et almindeligt søjlediagram ikke godt nok.

Endelig, nederst til højre, er et dekadent blækorgie, basseret på søjlediagram, med individuelle værdier for hver ansat, tilføjet et baggrundstapet med fortolkningshjælp. Værdier i det røde felt er uacceptabel, værdier i det orange felt er skidt, værdier i det hvide felt er målsætningen, og værdier i det grønne felt er over målsætning.

En femte fremgangsmåde kunne være et såkaldt beanplot. Beanplottet viser både individuelle datapunkter, gennemsnit på tværs af alle kategorier, median og en distribution af data. I princippet er et beanplot derfor boxplottet overlegent. Men - efter min vurderin - kun ved store datasæt. I organisationsanalser hvor der næsten altid vil være mellem 10 og 20 ansatte i et kontor - højst 30, er boxplottet bedre. Beanplot nedenfor.

Så hvad der den bedste løsning? Personligt synes jeg boxplottet kommer tætest på - evt. med individuelle datapunkter tilføjet, og medianen (den midterste streg i hver boks) fremhævet meget tydeligt - måske kombineret med en diamant form der angiver gennemsnit. Imidlertid er det stadig ikke helt tilfredsstillende. Vil alle forstå det - og vil undersøgelsens blive taget alvorligt når boxplottet illustrere at hvert kontor rummer mange forskellige meninger? Jeg tror hvertfald - særligt over tid - at det kan betale sig at undersøge om nogle kontorere igen og igen, viser resultater med stor spredning. I givet fald vil det måske bedste egne sig som en særskilt afrapportering?

Jeg håber du, som læser denne post - har et forslag vi kan arbejde videre med…

nb. alle data er tilfældigt genereret.

Del dette

1. fordi en søjlegraf altid skal gå fra 0 til dens værdi, og ikke bør kunne gå under 0, er der konsensus om at søjlediagrammer primært bør bruges ved frekvensfordelinger, så som histogrammer
2. Dertil kommer at findes i et utal af afskygninger - hvorfor man ikke altid kan være helt sikker på hvordan de skal tolkes. Dette er et validt modargument - men alligevel - den mest vedtagende praksis er den som jeg beskriver ovenfor
3. normalt defineres disse som værdier der ligger mere end 1.5 gange forskellen mellem 1. kvartil og 3. kvartil, væk fra enten 1. eller 3. kvartil.

Hertil kan der siges at det netop er en pointe at en graf ikke gøre et stort nummer ud af små forskelle: Hvis man har svært ved at se forskellen på grafen, er det nok fordi forskellen er lille.

Studier i perception har desuden gentagende gange vist, at de fleste mennesker faktisk tilegner sig budskabet i en graf hurtigere end budskabet i en tabel.

Den absolut væsentligste grund til at bruge grafer er dog, at tal lyver. Ikke med vilje selvfølgelig - men statistiske nøgletal så som gennemsnit og varians, er kun klodsede måder at opsummere data på. Eksempelvis denne tabel:

Enhver der har arbejdet med tal, vil med rimelighed kunne forestille sig hvad disse tal dækker over. Du kan evt. prøve at tegne sammenhængen for dig selv først.

Du ved hvordan grafen vil se ud?

Tabellen er konstrueret af den statistikeren Frank Anscombe (*1918 +2001), netop med det formål at vise, at det altid er en god ide at kigge på en graf, før der drages forhastede konklusioner som tabellen ellers kan lokke med. Nedenstående fire grafer er således alle illustrationer af ovenstående tabel.

Anscombes Kvartet: Kilde Wikipedia

Du kan læse mere om Anscombe og hans kvartet på wikipedia. I min næste post vil jeg bede om input til hvordan Anscombe’s lektie kan bruges i almindelige rapporter, herunder medarbejdertrivsel, og ledelsesinformation. - stay tuned

Del dette

Det er ekspertgruppens vurdering, at serviceloven i langt de fleste tilfælde giver tilstrækkelige mu­ligheder for en reaktion med et socialt indhold, herunder med mulighed for at fastholde den pågæl­dende med henblik på behandling, hvis et barn eller en ung under 15 år begår alvorligere kriminali­tet.

Det står også at læse i rapporten fra 2001 at det er svært at få et statistisk overblik over omfanget af ungdomskriminalitet, fordi kriminalitet begået af unge under 15 ikke registreres på samme måde som kriminalitet begået af unge over 15¹.

Der er derfor to veje til at vurdere omfanget af ungdomskriminalitet: Den ene er at snakke med professionelle - politi, forsorg, socialrådgiverel, om deres oplevelser. De vil kunne fortælle os om unge i stigende omfang tager skylden for de ældre, om de er blevet mere forrået, om der er blevet flere episoder af den helt grove karakter, som nemt skjuler sig i statistikken.

Den anden metoder er at bruge statistik for den nærmeste aldersgruppe som indikator. Dvs. vi kigger på omfanget af kriminalitet begået af unge over 15. Det gør vi i figuren nedenfor. Bemærk dog at de to metoder kan være gensidigt udelukkende. Når vi ser et fald i kriminalitet for unge over 15, kan det skyldes at der er flere unge under 15 som strategisk tager skylden². Kort sagt: Nedenstående kan ikke bruges til særligt meget uden inddragelse af fagpersonernes kendksab til kontekst.

Udvikling i antallet af domsfældelser, 2006-2008, unge ml. 15 og 19, fordelt på forskellige typer af overtrædelser. 2006 sættes til værdien 1. I figuren er der for hvert år angivet hvor mange domsfældelser der fandt sted i seriens sidste år, 2008. Herved kan man se hvilke overtrældelser der er flest af.

Klik for at se fuld størrelse

En lidt anden måe at vise de samme data på, er med et tilpasset “bumps chart” , som jeg frimodigt oversætter til “hop plot”. I figuren nedenfor er alle kategorier af lovovertrædelser i 2006 sat til indeksværdi 1 (dvs. 100%). For hvert år, er der for hver kategori, ligesom i figur 1 ovenfor, angivet den relative ændring. Blot antager graflinjen forskellige farver afhængig af ændringen. Hvis der er færre lovovertrædelser end året før, er linjen grøn, hvis der er flere, er linjen rød.

Klik for fuld størrelse

Overordnet set er der i 2008 færre dømte lovovertrædelser end i 2006. Omvendt er der flere end i 2007. Kategorien “alvorligere vold” er i 2008 steget med ca 10% sammenlignet med 2006.

Men det ser ikke ud til at volden er eksploderet. Her skulle man bruge en længere tidsserie.

Del dette

1. da kriminalitet begået af unge over 15 opgøres skal afgøres af en dommer, kan man måske spekulerere i om statistikken i fald den fandtes, ville være sammenlignelig, eftersom jeg gætter på at sanktioner overfor unge under 15 ihøjere grad beror på en helhedsbetragtning
2. man kunne sammenligne med antallet af anmeldte forbrydelser - men der er så mange ekstra fejlkilder forbundet hermed, at den strategi næppe vil være farbar

Bemærk at y aksen varierere meget fra de forskellige typer af opholdstilladelser.

statistik opholdstilladelser 1996 2008

Overordnet, ser det ud til at AFR1 fra starten satte fokus på at nedbringe indvandring fra  familiesammenføringer, og fra personer tildelt flygtninge status. Senere ser vi en stigning i opholdstilladelser givet til uddannelse og arbejde. Primært tildelt europæere og asiater.

Jeg har ikke gravet i tallene til at vide hvad der adskiller “Andet grundlag” fra “Øvrige grunde”. Fx savner jeg humanitært ophold. Skal jeg forfine grafen vil jeg nok også slå de tre forskellige familiesammenføringer sammen til en enkelt kategori.

Edit: Her er en version hvor familiesammenføringer er slået sammen i en kategori, og hvor skala for y-aksen er den samme for alle subplots:

Del dette

Udbrændthed skyldes konflikt mellem arbejde og familieliv.

Del dette

OKcupid har i mange år været det eneste interessante netdating sted jeg har hørt om - og det er mig en gåde at ingen af de øvrige firmaer har forsøgt at efterligne deres statistikbårne koncept.

OKcupid’s datamining giver dels brugerne direkte fordele ift. matchsandsynlighed mellem to potentielle turtelduer, dels giver OKcupid os andre generelle indsigter i den menneskelige psyke såvel som sprogets finurligheder. Eksempelvis fungerer det tilsyneladende ikke at kontakete sin partner med ord som “hot”,  “sexy” eller beautifull. Men hvad med “pretty”? Pretty kan jo bruges på mange forskellige måder:

Så når “pretty” bruges til at beskrive udseende går det galt. Men når “pretty” bruges til at beskrive andre forhold på en ikke alt for skråsikker måde - går det godt.

Jeg kan i øvrigt godt lide at gennemsnits svarprocenten på 32% her udgør en slags baseline. Så det er nemt at se at grønne søjler er bedre end gennemsnittet og røde søjler er dårligere end gennemsnittet.

Du kan læse mange flere gode råd på okcupids blog.

link: http://blog.okcupid.com/index.php/2009/09/14/online-dating-advice-exactly-what-to-say-in-a-first-message/

Del dette

Så er Netflix konkurrencen slut. To lige gode hold var med i slutløbet og afleverede lige gode resultater. Men der er kun plads til et hold på toppen af skamlen. Så prisen og førstepræmien gik til det hold som efter 3 år’s konkurrence var ti minutter hurtigere end konkurrencens nr. 2. 10 minutter som betød 1 mio. us$.

Hvad er Netflix? Nefflix er en online videofilm udlejler, der ligesom alle andre online sites forsøger at udnytte det store potentiale i at kende deres kunder bedre end kunderne kender sig selv. Amazon er måske bedst kendt for at gøre deres kunder opmærksom på interessante bøger - baseret på tidligere købsmønstre. Netflix gør det samme -blot for film.

Kort fortalt gik konkurrencen ud på at forbedre Netflix’ egen metode til at forudsige brugernes vurdering af film med mindst 10%. Til syneladende en svær opgave. Imidlertid ved jeg intet om maskinlæring, så præcis hvor svær opgaven var, skal jeg ikke kunne sige.

Men jeg finder det interessant at de fleste deltager i konkurrencens sidste fase, alle var sammensmeltede hold, med deltagere fra forskellige discipliner og verdensdele. Og jeg finder det interessant at vinderholdet selv fusionerede og bragte nye folk på banen:

“When we were approaching the first progress prize as the BellKor team, there were several other teams that joined together to make a real run at us, and that was surprising to us,” said Netflix Prize-winner Chris Volinsky, originally of team BellKor. “The success of that collaboration told us that this was a real, powerful way to improve our scores. When you’re banging heads together in an office trying to come up with new ideas, you sometimes run out of ideas, and you need to bring new people into the team, and that turned out to have a great benefit in terms of the predictive power of the models.”

Som sådan forekommer Netflix konkurrencen at være en god case for frugten af tværfagligt samarbejde. Samtidig med at det måske er en pointe at vinderholdet først har mødt hinanden fysisk efter konkurrencen. De har således ikke haft mulighed for at skændes om faglige uenige på kontoret - men allene bidraget hvor de kunne hjemme fra hver deres verdensdel.
Anyways: Tillykke til BellKor’s Pragmatic Chaos.

Kilde: Wired

Update: Her er kortfattet beskrevet hvordan filmratings bliver forudset.

Del dette