CA-Networks

None

2000-01-01T00:00:00Z

python elixir session

2008-04-14T00:00:00Z

Zur Zeit mache ich beim ZID mein Praxissemester, ich programmiere für uns den Python Computer Room Manager (pycrman). Dieses Projekt ist in Python geschrieben und benutzt verschiedene Python Erweiterung. Zur einer Erweiterung will ich hiermit ein bissel was schreiben :)

Elixir ist "dünner" Wrapper für die SQLAlchemy Library . Beide zusammen vereinfachen den Umgang mit einer Datenbank in Python um ein vielfaches. Hier ein kleines Beispiel mit 2 Tabellen:

# import elixir stuff
from elixir import *

# setup db connection
metadata.bind = "sqlite:///movies.sqlite"
metadata.bind.echo = True

# first table
class Device(Entity):
  """representation of a device
  """
  using_options(tablename='device', inheritance='multi')

  id = Field(Integer, primary_key=True)
  name = Field(String(127), required=True, unique=True)
  domain = Field(String(255), required=True)
  interfaces = OneToMany('Interface')

  def __repr__(self):
    return 'Device %s' % (self.name)

# second table
class Interface(Entity):
  """network interfaces
  """
  using_options(tablename='interface')

  id = Field(Integer, primary_key=True)
  name = Field(String(16), required=True)
  ip = Field(String(38), required=True, unique=True)
  mac = Field(String(17), unique=True)

  device = ManyToOne('Device')

  def __repr__(self):
    return '' % (
        self.name, self.ip, self.mac)

setup_all()
drop_all()
create_all()

und schon kann mal auf einfache und sehr elegante Weise diese 2 Tabellen benutzen:

# create new device object
device = Device(name="foobar")
device.domain = "test.localdomain"


# create new interface object
interface = Interface(name="eth0", ip="1.1.1.1")

# add interface object to device object
device.interfaces = [interface]

# store objects in db
session.flush([device, interface])

# query
device = Device.get_by(name="foobar")

print device

Ein schönes Beispiel gibt es auch im Elixir Tutorial

Noch ein kleiner Beitrag zu den elixir/sqlalchemy sessions. In der Standard Einstellung sind die Elixir sessions sogenannte "scoped_session", d.h. das jeder Thread in einer threaded Umgebung seine eigene Elixir session hat. Das hat zur folge, das wenn ein Thread ein Objekt anlegt bzw. verändert, ein anderer Thread das nicht unbedingt mit bekommt, da Elixir/SQLAlchemy die Query Resultate cached. Am besten geht man damit um das man den Cache ausschaltet:

import elixir

elixir.options_defaults['mapper_options'] = dict(always_refresh=True)

oder bei einer Query populate_existing() benutzt.

python elixir query optimierung

2008-06-06T00:00:00Z

Ich bin vor ein paar Tagen bei der Programmierung von PyCRMan fast verzweifelt. Wie ich schon in einem früheren Eintrag beschrieb, verwende ich Elixir als Wrapper für die Datenbank und mir ist aufgefallen, das Elixir bei meinen Model sehr viele DB-Queries generiert. Die Anzahl der Queries ist so hoch das die Netzwerk Latenzzeiten eine sehr große Rolle spielen :(

Nach ewig langen erfolglosem Studieren der etwas dürftigen Elixir Dokumentation bin ich nachts um ca. 1 Uhr in der SQLAlchemy Library fündig geworden. Die "geheimen" Zauberwörter heißen "lazyload" und "eagerload", wenn ich das nur vorher schon gewußt hätte ;)

Hier ein kleines Beispiel:

Als erstes mal ein kleines Model (ja das ist das Beispiel aus der Elixir Doku :) )

from elixir import *
metadata.bind = "sqlite:///:memory:"
metadata.bind.echo = True

class Movie(Entity):
  title = Field(String(30))
  director = ManyToOne('Director')

  def __repr__(self):
    return '' % (self.title)


class Director(Entity):
  name = Field(String(60))
  movies = OneToMany('Movie')

  def __repr__(self):
    return '' % self.name

setup_all()
create_all()

Jetzt ein paar Werte einfügen:

rscott = Director(name="Ridley Scott")
glucas = Director(name="George Lucas")
unknown = Director(name="Nobody Unknown")
alien = Movie(title="Alien", director=rscott)
swars = Movie(title="Star Wars", director=glucas)
brunner = Movie(title="No Name", director=unknown)

session.flush()
session.clear()


for m in Movie.query.all():
  print "Movie: name=%s director=%s" % (m.title, m.director.name)

Wenn man nun auf die letzten sql queries schaut, sieht man das erst alle movies aus der DB geladen werden und dann für jeden einzelnen Film wird der Director einzeln geholt. Ha nun ist klar warum das alles so langsam geht :)

SELECT __main___movie.id AS __main___movie_id, __main___movie.title AS __main___movie_title, __main___movie.director_id AS __main___movie_director_id
FROM __main___movie ORDER BY __main___movie.oid
[]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name
FROM __main___director
WHERE __main___director.id = ?
[1]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name
FROM __main___director
WHERE __main___director.id = ?
[2]

SELECT __main___director.id AS __main___director_id, __main___director.name AS __main___director_name
FROM __main___director
WHERE __main___director.id = ?
[3]

Damit aus diesen beispielhaften 4 Queries EINE wird kann man an so einer Stelle [eagerload](http://www.sqlalchemy.org/docs/04/sqlalchemy_orm.html#docstrings_sqlalchemy.orm_modfunc_eagerload) verwenden.

# import eagerload from sqlalchemy
from sqlalchemy.orm import eagerload

for m in Movie.query.options(eagerload("director")).all():
  print "Movie: name=%s director=%s" % (m.title, m.director.name)

Und schon ist es eine Query:

SELECT __main___movie.id AS __main___movie_id, __main___movie.title AS __main___movie_title, __main___movie.director_id AS __main___movie_director_id, __main___director_1.id AS __main___director_1_id, __main___director_1.name AS __main___director_1_name
FROM __main___movie LEFT OUTER JOIN __main___director AS __main___director_1 ON __main___movie.director_id = __main___director_1.id ORDER BY __main___movie.oid, __main___director_1.oid

Alternativ zum "eagerload" kann man auch im Model das lazyload abschalten.

class Movie(Entity):
  title = Field(String(30))
  director = ManyToOne('Director', lazy=False) # <- lazyload now False

  def __repr__(self):
    return '' % (self.title)

Und wenn man mal das ganze Gegenteil braucht, kann man lazyload verwenden und im Model heißt die Option deferred=True.

Fotos

2009-02-25T00:00:00Z

Ich habe eine paar neue Fotos in meine Web Gallery gestellt, viel Spaß beim anschaun :)

iPhone unter Linux

2009-03-28T00:00:00Z

Ich habe mir jetzt ein iPhone zugelegt und damit meinen iPod Touch ersetzt. Nur am Rande, wenn jemand überlegt sich eins dieser beiden Geräte zu zulegen, ich kann dazu nur sagen: "Mach es!!" :)

Ok aber jetzt zum eigentlichen Artikel und dem Grund warum ich diesen Artikel schreiben musste.

Anmerkung: Das iPhone und der iPod Touch verwenden die gleiche Software und somit sind folgende Informationen für beide Geräte gleich.

iPhone und iTunes

Bevor man das iPhone benutzten kann (telefonieren usw.) muss es via der iTunes Software aktiviert werden. Da ich ja Linux benutzte stand ich nun vor einem großen Problem, die iTunes Software gibt es leider NUR für MacOS und Windows! :( Also was nun? Mac kaufen ... zu teuer! Eigene Windows Partition aufm Laptop ... aber wie kann dieses Windows auf meine Musik von der Linux Platte zu greifen? Das einzige und kostengünstige: VMware !

iTunes in einem VMware Windows XP

Die VMware Installation ist sehr einfach (ja auch unter Linux), herunterladen, Installer aufrufen, weiter, weiter, fertig! Dann schnell ein Windows XP in der VMware installiert und über die VMware meinen Music Ordner dem Windows gegeben. Das iTunes heruntergeladen und installiert.

Das ist alles noch nicht die hohe Kunst, aber leider reicht das nicht um ein iPhone zu aktivieren bzw. zu syncen :(

Konfiguration von HAL

Wenn man in dem jetzigen Setup das iPhone am Computer anschliesst, sehen das Linux und das Windows das iPhone. Dadurch funktioniert das iTunes im Windows nicht richtig, es können manche USB Kommandos nicht ausgeführt werden. Die Lösung bring dein Linux dazu das iPhone zu ignorieren, aber wie? Die Antwort lautet: Sag dem HAL , das das iPhone ihn nix angeht :)

Finde die USB ID des iPhones heraus

  # lsusb
  [snip]
  Bus 002 Device 002: ID 05ac:1292 Apple, Inc.

die USB ID (hier 05ac:1292 ) ist in der Hex Darstellung, das HAL braucht sie in der Dezimal Darstellung 1452:4754 in /etc/hal/fdi/preprobe/10-iphone.fdi folgendes eintragen

HAL restarten und das Linux ignoriert das iPhone und das iTunes sollte ohne Probleme funktionieren :)

Kletterwald Hohenfelden

2009-04-30T00:00:00Z

Hier ein paar Fotos zum Ausflug in den Kletterwald Hohenfelden von David und mir :)

Kletterwald Hohenfelden

Bungy

2009-07-27T00:00:00Z

Ich habe es getan und mich, nur an einem Gummiseil befestigt, von der 96m hohen Jauntal Brücke gestürzt. 3 ... 2 ... 1 ... JUMP :)

Bungy

Bungy Video

2009-07-27T00:00:00Z

Kärtnen Läuft Halbmarathon

2009-08-23T00:00:00Z

Ich hab es hinter mich gebracht, 21km laufen von Velden am Wörthersee nach Klagenfurt ins Strandbad. Es war eine riesen Stimmung bei diesem immer gut besuchten Laufevent. Meine offizielle Zeit war 1h55m.

Kletterwochenende in Arco Italien

2009-08-08T00:00:00Z

Klettern in Arco

Kletterwochenende in Osp Slowenien

2009-08-08T00:00:00Z

Klettern in Osp

Fallschirmspringen

2009-09-07T00:00:00Z

Wir waren am Wochenende Fallschirmspringen und haben es alle unbeschadet überlebt ;) Ich kann es nur jedem empfehlen!!! Hier ein paar Eindrücke:

Fallschirmspringen

Mozartclub Geburtstagsfeier zum 30.

2009-10-13T00:00:00Z

Geburtstagsfeier im Mozartclub zu meinem 30.

Von Wordpress zu statischen HTML Seiten

2010-02-07T00:00:00Z

... oder "Wenn Designer jetzt PHP Code schreiben, dann muss ich meine Wordpress Installation abdrehen".

Ich war gestern auf den Barcamp Klagenfurt 2010 und nahm zufällig an einer Session zum Thema "Wordpress Themes" teil. Danach hab ich den festen Entschluss gefasst meine Wordpress Installation zu löschen und gegen statische HTML Seiten zu tauschen. Wie ich das gemacht habe möchte ich hier zeigen.

Problemstellung

Da ich nicht auf einer grünen Wiese ohne Inhalt für meinen Blog anfangen wollte, musste ich erst einmal meine bisherigen Seiten in einem vernünftigen Format aus dem Wordpress heraus bekommen. Leider ist das nicht so einfach, es gibt zwar viele Konverter die mir Inhalt ins Wordpress rein bringen, aber heraus bekommen es nur wenige. Ich habe mich dann schlussendlich für das Ruby Tool Jekyll entschieden. Diese Tool, welches selbst ein "static site generator" ist, möchte ich aber nur in der Migration Phase verwenden, danach bzw. jetzt setze ich Hyde für die Generierung meiner Seiten ein.

Wordpress Seiteninhalte auslesen mit Jekyll

Erstmal die nötigen Software installieren. In meinem Fall auf einem Debian Lenny Server.

Das es das Jekyll nicht als Debian Packet gibt, muss man es von hand installieren. Erst einmal Ruby und Compiler ...

apt-get install ruby ruby1.8-dev rubygems build-essential libmysqlclient15-dev

Jetzt Jekyll ...

gem sources -a http://gems.github.com
gem install mojombo-jekyll

Nun weitere Ruby Packete die das Jekyll braucht ...

gem install mysql
gem install sequel
gem install rake-compiler -v 0.5.0

Da im Lenny ein zu altes rubygems vorhanden ist, quick & dirty aus dem unstable installieren ...

wget http://ftp.de.debian.org/debian/pool/main/libg/libgems-ruby/rubygems1.8_1.3.5-2_all.deb
dpkg -i rubygems1.8_1.3.5-2_all.deb

Nun das letzte Ruby Packet ...

gem install hoe

Jetzt kann man mit Jekyll den Wordpress Seiten Inhalt auslesen ...

export DB=my_wordpress_db
export USER=dbuser
export PASS=dbpass

ruby -r '/var/lib/gems/1.8/gems/mojombo-jekyll-__VERS__/lib/jekyll/converters/wordpress' \
     -e 'Jekyll::WordPress.process("#{ENV["DB"]}", "#{ENV["USER"]}", "#{ENV["PASS"]}")'

Nun hat man im Verzeichnis "_posts" alle seine Wordpress Inhalte. Da ich auf meinen Server keine Ruby installiert haben will und schon garnicht einen Compiler, fliegt alles wieder runter. Zu erste die Debian Packete ...

apt-get --purge remove cpp cpp-4.3 gcc gcc-4.3 libc6-dev libgmp3c2 libgomp1 \
libmpfr1ldbl libruby1.8 linux-libc-dev ruby ruby1.8 ruby1.8-dev apt-file \
libapt-pkg-perl libconfig-file-perl liblist-moreutils-perl menu irb1.8 \
libreadline-ruby1.8 rdoc1.8 rubygems rubygems1.8 build-essential dpkg-dev \
g++ g++-4.3 libstdc++6-4.3-dev libtimedate-perl make libmysqlclient15-dev \
zlib1g-dev

Danach die installierten Rubygems ...

rm -rf /var/lib/gems

Von Dr. Jekyll zu Mr. Hyde

Nun ist der Weg geebnet und ich konnte auf Hyde umsteigen. Ich bin dabei einer Anleitung von Steve Losh gefolgt, der seine Seite ebenfalls mit Hyde betreibt. Da es mit Beispielen immer leichter geht, kann ich noch Steve Losh Git empfehlen, in dem man den kompletten Code seiner Seite sieht.

Hier ist noch ein Script was die umgewandelten Wordpress Postings in die Hyde Verzeichnis Struktur umwandelt. Ich glaub der Code ist selbst erklärend.

#!/usr/bin/env bash

outdir="www.ca-net.org/content/blog/"
indir="_posts"

mkdir -p $outdir

cd $indir
for f in *; do
  # get some metainfo from filename and file content
  year=`echo $f | cut -f1 -d'-'`
  month=`echo $f | cut -f2 -d'-'`
  day=`echo $f | cut -f3 -d'-'`

  # get post title
  title=`grep "title: " $f | cut -f2- -d":"`
  # strip \" from title
  title=${title//\\\"/}
  # strip " from title
  title=${title//\"/}

  # convert url encoded german umlaute
  title=${title//\\xC3\\xBC/ü}; title=${title//\\xC3\\x9C/Ü};
  title=${title//\\xC3\\xB6/ö}; title=${title//\\xC3\\x96/Ö};
  title=${title//\\xC3\\xA4/ä}; title=${title//\\xC3\\x84/Ä};


  # strip file extension
  fwe=`basename $f .markdown`

  # create output dir
  mkdir -p ../$outdir/$year/$month

  # build output file name
  outfile="../$outdir/$year/$month/`echo $fwe | cut -f4- -d'-' | tr -s '-' '_'`.html"

  # write hyde heady
  cat - << __EOF__ > $outfile
{ % extends "_post.html" %}

{ % hyde
    title: "$title"
    created: $year-$month-$day
    categories: ["private"]
%}

{ % block article %}
__EOF__

  # write content
  tail +7 $f >> $outfile

  # write hyde footer
  echo "{ % endblock %}" >> $outfile
  echo "$outfile created"
done

Achtung: Im Script sind die 2 Zeichen "{" und "%" mit einen Leerzeichen dazwischen, bitte im abgespeicherten Script bei euch ab ändern.

Lanyrd Web Application Tricks

2012-02-11T00:00:00Z

Ich habe vor kurzen den sehr interessante Talk Building Lanyrd von dem Lanyrd Co-Founder Simon Willison gesehen. Am Ende seines Talks zeigt/beschreibt er ein paar Tipps&Tricks die ich ziemlich gut finde. Damit ich diese nicht vergesse, will ich sie hier festhalten :)

Phantom Load Testing

Neue Version der Site auf eigenen Server/Cluster deployen
Alte Version der Site bestehen lassen
Unsichtbaren img link <img src='new_server/cluster' width=1 heigth=1>

cache_version

model.py

class Conference(models.Model):
  ...
  cache_version = models.IntegerField(default=0)
  ...
  def save(self, *args, **kwargs):
    self.cache_version += 1
    super(Conference, self).save(*args, **kwargs)

template.html


{% cache 36000 conf-topics conference.pk conference.cache_version %}
  the cached template code

  {{ conference.name }} ...

  {% for topic in conference.topics.all %}
    {{ topic.description }}
  {% endfor %}
{% endcase %}

Signing

Django >= 1.4
zb Username im Cookie 'abspeichern' für 'You are logged in as foobar'. Somit kein Datenbankzugriff nötig

from django.core import signing

signing.dumps({"foo": "bar"})

signing.loads(signed_string)

response.set_signed_cookie(key, value, ...)

response.get_signed_cookie(key)

Hash static asset filesnames

global.js

global.ed1d119.js

static.foobar.host.com/js/global.ed1d119.js

Benefits
- Far future expiry header
```
Cache-Control: max-age=315360000
Expires: Fri, 18 Jun 2021 00:00:00 -0000 GMT
```
- Keine Client Cache Problem mit CSS oder JS (zb im IE)
- Deployment von assets in advance
- schnelles Rollback möglich, alte Version ist noch auf der Platte
./manage.py push_static
- Minifies JS and CSS
- Renames files to include sha1(contents)[:6]
- Push all assets to static server

mysql-proxy

Lua customisable proxy für mysql traffic
log.lua - logs out ALL queries

NoSQL == Not Only SQL

Suchen statt Datenbank Joins
Die Joins denormalisieren und Daten in Redis und Solr ablegen

MVC Mini Profiler

http://www.codinghorror.com/blog/2011/06/performance-is-a-feature.html
Die Joins denormalisieren und Daten in Redis und Solr ablegen

Global Settings are BAD

Feature Switches verwenden (gargoyle)
Einstellungen (DEBUG, TIME_ZONE, MIDDLEWARE, ...) in DB ablegen

Links

Talk + Slides	http://lanyrd.com/2011/brightonpy-building-lanyrd/sgptt/
Lanyrd	http://lanyrd.com
log.lua	https://gist.github.com/1039751
MVC Mini Profiler	http://www.codinghorror.com/blog/2011/06/performance-is-a-feature.html

CA-Networks update

2012-02-07T00:00:00Z

Auf den Tag genau 2 Jahre nach meinen letzten Posting habe ich endlich mal wieder meinen Blog aufgefrischt.

Design: Twitter Bootstrap

Kommentarfunktion: Disqus (macht weiter so Jungs)

Noch immer powered by Python und Hyde.

InstaDoc

2012-02-07T00:00:00Z

Ich wollte mir schon seit einiger Zeit das JavaScript Framework Backbone.js anschauen. Als Demo zu diesem Framework habe ich InstaDoc gebaut, eine WebApp mit der man schnell in Dokumentationen nachschlagen kann, zZ. weil ich diese am meisten brauche, Python, CSS, JavaScript, HTML und jQuery. Die Applikation ist in Python/Django geschrieben und benutzt ausserdem Twitter Bootstrap für das Design.
Der Quellcode steht in meinem GitHub Repository zur verfügung.

CA-Networks

Archives

None

python elixir session

python elixir query optimierung

Fotos

iPhone unter Linux

iPhone und iTunes

iTunes in einem VMware Windows XP

Konfiguration von HAL

Kletterwald Hohenfelden

Bungy

Bungy Video

Kärtnen Läuft Halbmarathon

Kletterwochenende in Arco Italien

Kletterwochenende in Osp Slowenien

Fallschirmspringen

Mozartclub Geburtstagsfeier zum 30.

Von Wordpress zu statischen HTML Seiten

Problemstellung

Wordpress Seiteninhalte auslesen mit Jekyll

Von Dr. Jekyll zu Mr. Hyde

Links

Lanyrd Web Application Tricks

Phantom Load Testing

cache_version

Signing

Hash static asset filesnames

mysql-proxy

NoSQL == Not Only SQL

MVC Mini Profiler

Global Settings are BAD

Links

CA-Networks update

Links

InstaDoc

Links