Filip Salomonsson | infix.se

Vecka 1

filip.salomonsson@gmail.com — Sun, 10 Jan 2010 20:17:09 +0200

Vecka 1 börjar ta slut. Förutom kundmöte, planering, och en del kodande för nöjes skull fick jag även lite tekniska problem. Ett avbrott på min vanliga internetanslutning tydliggjorde att det inte håller att stå utan alternativ i såna situationer.

Telenor Mobilt Bredband Kontant verkar så här långt som en bra backuplösning. 500 spänn för modem och sim-kort, och sedan kan man när som helst betala 90 kr för att ha uppkoppling i en vecka. Det verkar funka hur bra som helst, även under Linux, så det får bli veckans tips till egenföretagare.

Veckans bildminne blev ansiktsuttrycket på Telenor-säljaren när han just lovat 6 MBit nerströms och 1 Mbit upp, och jag pekade på kartongen han just gett mig där det stod 3 MBit ner och 0,3 upp. Säljare i telebranschen har ofta en avslappnad inställning till sanningen. Ett klart imageproblem.

Jag tröttnade också på att det är så förbålt meckigt att komma åt sina "favoriter" på Hemnet när man kommer in via ett bevakningsmail eller -RSS, och mockade upp ett exempel på hur de skulle kunna göras mer lättillgängliga direkt från andra bostadsbeskrivningar. Det ligger ett separat blogginlägg och gror där inne någonstans.

Söndagslänkar

"Organiserat kaos" vid Ikeakurragömma - Hundratalet personer invaderar IKEA i Uppsala för att leka kurragömma; säkert obekvämt för vilket varuhus som helst, men varuhuschefen får inte panik utan lånar ut en megafon och ber dem bara leka försiktigt. Snyggt hanterat. Följ IKEA Uppsala på twitter.
Financial Times' paywall finally pays off - Mycket intressant utveckling. FT har fördelen att deras journalistik är enormt värdefull. För "vanliga" dagstidningar är situationen en annan. Men det är kul att se positiva exempel!
Hundra:Norran - Tidningen Norra Västerbotten fyller hundra år, och passar på att officiellt byta till det namn det haft i folkmun sedan länge - Norran. Snygg och okomplicerad nyprofilering.
Handling Keyboard Shortcuts in JavaScript - Jag snubblade över det här Javascript-biblioteket för att hantera tangentbordskommandon. Otroligt elegant API. Nästa gång jag behöver sånt är det definitivt det här jag kommer att använda.
Ännu är det inte för sent att bli frontend-utvecklare på svd.se. Sök senast den 15 januari.

Vecka 0

filip.salomonsson@gmail.com — Sun, 03 Jan 2010 21:18:59 +0200

2005 började jag undervisa i språkteknologi på Uppsala universitet. Sedan 2007 har jag jobbat i ett forskningsprojekt där. I torsdags tog min anställning slut.

Nu är jag egen företagare på heltid, och hjälper företag att vara så värdefulla som möjligt för sina kunder på webben. Jag behöver slipa på min elevator pitch, men tills vidare får vi nöja oss med det där. Det handlar om att göra webbtjänster mindre irriterande och mer hjälpsamma.

Det här är vecka 0, som jag avslutar med att tömma inkorgen och planera för vecka 1.

Söndagslänkar

Make Something Cool Every Day 2009 - Brock Davis gjorde något kreativt (och coolt!) varje dag under 2009 och la ut det på Flickr.
Kathy Sierra kontrar för 2010 med Something Ridiculous Every Day. Kan vara värt att hålla ögonen på.
USA Today bygger om, och de har en 2-minuters video som visar upplägget i stora drag. Jag noterar särskilt att de uttryckligen nämner snabbhet som en feature.

Tömma inkorgen, var det. Hugaligen.

Profile this

filip.salomonsson@gmail.com — Thu, 03 Sep 2009 16:40:34 +0200

Consider a very small python program, test.py:

label = "foo"

And then consider profiling that program with the very nice cProfile module:

$ python -m cProfile test.py

Finally, consider the consequences:

Traceback (most recent call last):
  File ".../lib/python2.5/runpy.py", line 95, in run_module
    filename, loader, alter_sys)
  File ".../lib/python2.5/runpy.py", line 52, in _run_module_code
    mod_name, mod_fname, mod_loader)
  File ".../lib/python2.5/runpy.py", line 32, in _run_code
    exec code in run_globals
  File ".../lib/python2.5/cProfile.py", line 190, in <module>
    main()
  File ".../lib/python2.5/cProfile.py", line 183, in main
    run('execfile(%r)' % (sys.argv[0],), options.outfile, options.sort)
  File ".../lib/python2.5/cProfile.py", line 36, in run
    result = prof.print_stats(sort)
  File ".../lib/python2.5/cProfile.py", line 81, in print_stats
    pstats.Stats(self).strip_dirs().sort_stats(sort).print_stats()
  File ".../lib/python2.5/pstats.py", line 92, in __init__
    self.init(arg)
  File ".../lib/python2.5/pstats.py", line 106, in init
    self.load_stats(arg)
  File ".../lib/python2.5/pstats.py", line 130, in load_stats
    arg.create_stats()
  File ".../lib/python2.5/cProfile.py", line 92, in create_stats
    self.snapshot_stats()
  File ".../lib/python2.5/cProfile.py", line 100, in snapshot_stats
    func = label(entry.code)
TypeError: 'str' object is not callable

(File paths shortened because mine are horribly long.)

Now consider stabbing your heart out with a fork. Though perhaps I should see if I can fix it instead, and submit a patch.

An excercise in syntax abuse

filip.salomonsson@gmail.com — Thu, 18 Jun 2009 16:01:05 +0200

Or, a random act of senselessness (which is a nice word).

>>> class s(str):
...     def __sub__(self, other):
...         return "".join(chr(c) for c in range(ord(self), ord(other)+1))
... 
>>> s("a") - s("g")
'abcdefg'

Never do this sort of shit. Thank you.

Streamxmlwriter 0.2 released

filip.salomonsson@gmail.com — Sun, 10 May 2009 22:56:40 +0200

I just uploaded streamxmlwriter 0.2 to PyPI.

Streamxmlwriter is my library for flexible size-independent XML writing, including pretty-printing and custom attribute sorting. Try it out (both easy_install streamxmlwriter and pip install streamxmlwriter should work) or dig through the source code on GitHub.

Namespace support is still experimental, and the documentation is a bit on the thin side, but you should be able to use it for Real Work. (I do.)

I'll show it off in a post of its own when it's a bit more mature.

Text-safe XML processing with iterparse

filip.salomonsson@gmail.com — Sun, 10 May 2009 22:09:55 +0200

The ElementTree API makes XML processing in Python a breeze, and the iterparse function alone can probably handle 80% of your XML processing needs. I love it.

But did you know you can lose data with it if you're not careful?

Don't worry - it's not a bug, but there are edge cases you should be aware of.

The problem

The documentation is clear:

iterparse() only guarantees that it has seen the ">" character of a starting tag when it emits a "start" event, so the attributes are defined, but the contents of the text and tail attributes are undefined at that point. The same applies to the element children; they may or may not be present.

If you need a fully populated element, look for "end" events instead.

As a rule, you should only use start events to inspect and/or modify the element's tag and its attributes.

You probably knew that already.

If you follow the link from Fredrik Lundh's iterparse page to a python-sig message from 2005, you'll see something that may not be as well known: the availability of the tail attribute during end events isn't guaranteed either.

You may not have known that.

The suggested remedy for the text attribute is simple: only touch it on end events. In most cases, you never even look at start events anyway, so that's a fine solution.

But what about tail? It's very rare that I ever use xml documents that has tail data, but when I do, this is an important issue. To be sure not to lose data, you'll have do something about it.

Luckily, there's a simple solution, but first, let's look at why this happens.

The cause

It all has to do with how the parsing works.

iterparse feeds data to the parser in 16-kilobyte chunks, and it fires off all events it can for each chunk. Then the events are handed over to you, one by one.

Say there's a foo element whose contents is the text "hello".

...<foo>hello</foo>...

As long as all of the text is in the same chunk as the preceeding ">", the text attribute will be set during the start event. We can try it out:

>>> import xml.etree.cElementTree as etree
>>> from cStringIO import StringIO
>>> doc = StringIO("<doc><foo>hello</foo></doc>")
>>> for event, elem in etree.iterparse(doc, ("start", "end")):
...     print event, elem.tag, elem.text or ""
... 
start doc
start foo hello
end foo hello
end doc

On the other hand, if a chunk ends in the middle of that text (or immediately after the start tag, before the text), iterparse will hand you a start event for the foo element without the text attribute set, and the parser comes back and sets it when it's processing the next chunk and reaches the end of the element.

          |
...<foo>he|llo</foo>...
          |

Let's trigger this by adding a long comment before the foo element.

>>> padding = "x" * 16365
>>> doc2 = StringIO("<doc><!--%s--><foo>hello</foo></doc>" % padding)
>>> for event, elem in etree.iterparse(doc2, ("start", "end")):
...     print event, elem.tag, elem.text or ""
... 
start doc
start foo
end foo hello
end doc

Now the chunk ends after "he", and this time the foo element's text attribute isn't set during the start event.

The issue with tail is exactly the same. We can trigger this by using a long comment again. This time, we'll use an empty foo element. The first chunk now ends after the "h" in "hello".

>>> doc3 = StringIO("<doc><!--%s--><foo/>hello</doc>" % padding)
>>> for event, elem in etree.iterparse(doc3, ("start", "end")):
...     print event, elem.tag, elem.tail or ""
... 
start doc 
start foo 
end foo 
end doc

No tail text to be seen.

The solution

Both text and tail data ends when another start or end tag occurs. Both of these trigger new events, so we can use a wrapper that stays one step ahead, making sure the next event has always been triggered before it let's us see the current one.

Here's our "delayed iterator":

def delayediter(iterable):
    iterable = iter(iterable)
    prev = iterable.next()
    for item in iterable:
        yield prev
        prev = item
    yield prev

Let's try it out on the last two examples above.

>>> doc2.seek(0) # "rewind" the stringio object
>>> context = etree.iterparse(doc2, ("start", "end"))
>>> for event, elem in delayediter(context):
...     print event, elem.tag, elem.text or ""
... 
start doc 
start foo hello
end foo hello
end doc 
>>> doc3.seek(0)
>>> context = etree.iterparse(doc3, ("start", "end"))
>>> for event, elem in delayediter(context):
...     print event, elem.tag, elem.tail or ""
... 
start doc 
start foo 
end foo hello
end doc

Success! This works both for Fredrik Lundh's ElementTree (which is in the standard library since python 2.5) and for Stefan Behnel's excellent lxml.

So, from no on, all your iterparsing should be text-safe. (With lxml, there are still special cases where this may not quite suffice, but we'll come back to that another time.) Happy coding!

Agree? Disagree? Found a bug? Talk back at filip.salomonsson@gmail.com.

Hoho!

filip.salomonsson@gmail.com — Fri, 03 Oct 2008 19:23:47 +0200

Vad tyst det är här.

From business to buttons

filip.salomonsson@gmail.com — Sat, 14 Jun 2008 17:37:55 +0200

Per Axbom har bloggat dagrapporter från konferensen From Business to Buttons i Malmö:

Såväl Axbom som Johan Berndtsson från inUse (och några till) har också fyllt på i FBTBs Jaiku-kanal under konferensen.

(Passa för all del också på att kolla in inUse nya webbplats, som de skeppade lagom i tid till konferensen. Aj på URLerna, men stiligt.)

Visible whitespace in the shell

filip.salomonsson@gmail.com — Fri, 23 May 2008 14:45:06 +0200

Bash alias of the day. Stuff this into your ~/.bashrc:

alias visws="sed -e 's/ /\o033[37m\xc2\xb7\o033[0m/g' \
                 -e 's/\t/\o033[37m \xe2\x86\x92  \o033[0m/g' \
                 -e 's/\r/\o033[37m\xe2\x86\xb5\o033[0m/g'"

Then pipe anything to visws, and you'll get spaces, tabs and carriage returns shown in grey as sweet unicode characters (which my django-driven blog cannot show you, embarrasingly). Dots and arrows, basically.

(This will only work if your terminal encoding is utf-8. But it is, right?)

Update: To be clear, the "cannot show you" part is my fault, not django's.

Bonus: Here it is in action.

Saknad

filip.salomonsson@gmail.com — Sat, 03 May 2008 00:24:06 +0200

Har du saknat mig?

Kairo vadå?

filip.salomonsson@gmail.com — Thu, 14 Feb 2008 17:26:04 +0200

Är det bara jag, eller har diverse undersökningar från Kairos Future ganska plötsligt börjat dyka upp precis över-jävla-allt?

Alternativ stavning

filip.salomonsson@gmail.com — Tue, 12 Feb 2008 23:31:22 +0200

Den här informationen får jag om jag utan eftertanke rycker ut sladden ur telefonen (som fungerar som USB-disk):

Och så här ser menyn ut som jag får när jag högerklickar på telefonens ikon på skrivbordet:

Ibland är hjälpen inte så hjälpsam.

Hemnet: scener ur ett äktenskap

filip.salomonsson@gmail.com — Sun, 03 Feb 2008 21:35:49 +0200

Hemnet är ett samarbete mellan Sveriges mäklare och två stora tidningar. Så här skriver de själva:

Varje månad besöker omkring en miljon människor Hemnet för att leta ny bostad, följa prisutveckling och utbud. På Hemnet visas cirka 800 000 bostadsbeskrivningar per dygn.

Känn på det en stund. En miljon människor som någorlunda aktivt söker efter något att köpa, oftast för miljonbelopp.

Med såna förutsättningar kunde man tro att man som bostadssökande skulle formligen överösas med kärlek när man tittar förbi, men när man kommer till Hemnet är det något helt annat än kärlek man möts av.

Som av en händelse spanar jag lite efter en lägenhet. En tvåa i Uppsala vore trevligt. Vi kollar.

Nämenhej, älskling. Okej, jag väljer Uppsala län och Uppsala kommun. Något område vill jag inte ange, så mina ögon dras direkt till knappen "Sök bostad". Det är ju exakt vad jag vill göra! Jag klickar!

Jaha, kära du, det var två delar kvar? Okej. Jag har inte så specifika krav, så jag väljer bara ett maxpris i listan.

Jag vet inte riktigt vad "Övrigt" kan vara för boendeform, men jag tror inte det är något för mig. En bostadsrätt är det jag söker. Men vad vill de att jag ska skriva i textfältet där intill? Jag klickar lite osäkert i den och märker att det är en kryssruta, som de har lyckats få att inte se ut som en kryssruta, genom att ändra dess storlek. Tack. Nästa.

Visningsalternativ? Visningsdatum? Hej, hallå, vänta. Det här förhållandet går för fort fram! Jag är inte redo för någon visning!

Jag inser efter ett ögonblick att "visningsalternativ" trots allt inte syftar på lägenhetsvisning, utan på hur sökresultaten ska visas. Puh. Snacka om begreppsförvirring.

Nåväl, jag börjar vara lite trött på formulär och sugen på resultat, så jag struntar i resten, klickar på "Visa lista" och håller tummarna. Hårt.

Yes! Till slut får jag min efterlängtade lista. Visserligen i form av en hemsk tabell med många brister, men det kan vi ta en annan dag.

Tyvärr, Hemnet. Det är inte jag; det är du.

Feed cleanup: links dropped

filip.salomonsson@gmail.com — Fri, 01 Feb 2008 17:26:48 +0200

To those who care: my main RSS feed will no longer include my del.icio.us link posts. If you feel you'll miss them, feel free to subscribe to my del.icio.us feed.

Improv Everywhere: Frozen Grand Central

filip.salomonsson@gmail.com — Fri, 01 Feb 2008 17:03:36 +0200

Improv Everywhere always make me smile. In their latest scene, 207 people froze in time on cue in New York's Grand Central Station. They stood frozen for five minutes, and then went on as normal.

There is no way to not love this.