xenji.com

xenji.com http://xenji.com Developer Blog posterous.com Sun, 15 Jan 2012 01:59:00 -0800 Parallel "mv" with Google Go http://feedproxy.google.com/~r/xenjicom/~3/YbSEKe3fdr8/parallel-mv-with-google-go http://xenji.com/parallel-mv-with-google-go <p> <p>The first question, that might come into you mind, could be "why the heck should I do a parallel "mv""? The answer is quite easy: Imagine you have a bunch of folders that you unpack and move to a specific location -  your http document root. Those folders are dependend on each other, using php files via include or require, etc. You need to move them consitently as "the new release" to their destination. You might ask, why the normal linux "mv" is not enough, even when combining the call with "&&"? Imagine that the webserver has a normal traffic of over 1000 page impressions per second. How big is the timeframe you have for moving the folders without having an inconsistent state? The answer is heavy to guess or to calculate. With a transfer time of ~1 msec you hit the 1% rate of getting a request for a page with an inconsistent state. The more you get under the 1 msec mark, the better it is.</p> <p>The parallel version, which uses Goroutines - a threading model that is even more lightweight than posix threads - does a move of two folders in ~0.019 msec. This reduces the chance of failure under 1%, even under 0.2%.</p> <p>As we use it for our release process, the folders are compiled in the binary. This is not very flexible, but prevents typos or human failure while using it.</p> <p>As posterous does not like my embedded code, please find it here <div class="data type-go"> <table class="lines" cellspacing="0" cellpadding="0"> <tr> <td> <pre class="line_numbers"><span rel="#L1" id="L1">1</span> <span rel="#L2" id="L2">2</span> <span rel="#L3" id="L3">3</span> <span rel="#L4" id="L4">4</span> <span rel="#L5" id="L5">5</span> <span rel="#L6" id="L6">6</span> <span rel="#L7" id="L7">7</span> <span rel="#L8" id="L8">8</span> <span rel="#L9" id="L9">9</span> <span rel="#L10" id="L10">10</span> <span rel="#L11" id="L11">11</span> <span rel="#L12" id="L12">12</span> <span rel="#L13" id="L13">13</span> <span rel="#L14" id="L14">14</span> <span rel="#L15" id="L15">15</span> <span rel="#L16" id="L16">16</span> <span rel="#L17" id="L17">17</span> <span rel="#L18" id="L18">18</span> <span rel="#L19" id="L19">19</span> <span rel="#L20" id="L20">20</span> <span rel="#L21" id="L21">21</span> <span rel="#L22" id="L22">22</span> <span rel="#L23" id="L23">23</span> </pre> </td> <td width="100%"> <div class="highlight"><pre /><div class="line" id="LC1"><span class="k">package</span> <span class="n">main</span></div><div class="line" id="LC2"><br /></div><div class="line" id="LC3"><span class="k">import</span> <span class="p">(</span><span class="s">"os"</span><span class="p">;</span><span class="s">"runtime"</span><span class="p">)</span></div><div class="line" id="LC4"><br /></div><div class="line" id="LC5"><span class="k">func</span> <span class="n">main</span><span class="p">()</span> <span class="p">{</span></div><div class="line" id="LC6">    <span class="k">var</span> <span class="n">aFromList</span> <span class="p">[</span><span class="mi">2</span><span class="p">]</span><span class="nb">string</span><span class="p">=</span> <span class="p">[</span><span class="mi">2</span><span class="p">]</span><span class="nb">string</span><span class="p">{</span><span class="s">"/tmp/checkout/folder1_new"</span><span class="p">,</span><span class="s">"/tmp/checkout/folder2_new"</span><span class="p">}</span></div><div class="line" id="LC7">    <span class="k">var</span> <span class="n">aToList</span> <span class="p">[</span><span class="mi">2</span><span class="p">]</span><span class="nb">string</span> <span class="p">=</span> <span class="p">[</span><span class="mi">2</span><span class="p">]</span><span class="nb">string</span><span class="p">{</span><span class="s">"/var/www/folder1"</span><span class="p">,</span><span class="s">"/var/www/folder2"</span><span class="p">}</span></div><div class="line" id="LC8"><br /></div><div class="line" id="LC9">    <span class="n">runtime</span><span class="p">.</span><span class="n">GOMAXPROCS</span><span class="p">(</span><span class="mi">2</span><span class="p">)</span></div><div class="line" id="LC10">    <span class="n">c</span> <span class="p">:=</span> <span class="nb">make</span><span class="p">(</span><span class="k">chan</span> <span class="nb">int</span><span class="p">)</span></div><div class="line" id="LC11"><br /></div><div class="line" id="LC12">    <span class="k">for</span> <span class="n">k</span><span class="p">,</span><span class="n">v</span> <span class="p">:=</span> <span class="k">range</span> <span class="n">aFromList</span> <span class="p">{</span></div><div class="line" id="LC13">        <span class="k">go</span> <span class="n">move</span><span class="p">(</span><span class="n">v</span><span class="p">,</span> <span class="n">aToList</span><span class="p">[</span><span class="n">k</span><span class="p">],</span> <span class="n">c</span><span class="p">)</span></div><div class="line" id="LC14">    <span class="p">}</span></div><div class="line" id="LC15"><br /></div><div class="line" id="LC16">    <span class="p"><-</span><span class="n">c</span></div><div class="line" id="LC17">    <span class="n">os</span><span class="p">.</span><span class="n">Exit</span><span class="p">(</span><span class="mi">0</span><span class="p">)</span></div><div class="line" id="LC18"><span class="p">}</span></div><div class="line" id="LC19"><br /></div><div class="line" id="LC20"><span class="k">func</span> <span class="n">move</span><span class="p">(</span><span class="n">f</span> <span class="nb">string</span><span class="p">,</span> <span class="n">t</span> <span class="nb">string</span><span class="p">,</span> <span class="n">c</span> <span class="k">chan</span> <span class="nb">int</span><span class="p">)</span> <span class="p">{</span></div><div class="line" id="LC21">    <span class="n">os</span><span class="p">.</span><span class="n">Rename</span><span class="p">(</span><span class="n">f</span><span class="p">,</span> <span class="n">t</span><span class="p">)</span></div><div class="line" id="LC22">    <span class="n">c</span> <span class="p"><-</span> <span class="mi">1</span></div><div class="line" id="LC23"><span class="p">}</span></div></pre></div> </td> </tr> </table> </div></p> </p> <p><a href="http://xenji.com/parallel-mv-with-google-go">Permalink</a> | <a href="http://xenji.com/parallel-mv-with-google-go#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/YbSEKe3fdr8" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/parallel-mv-with-google-go Mon, 19 Dec 2011 21:43:00 -0800 A few reasons why we do not need meta languages... http://feedproxy.google.com/~r/xenjicom/~3/SLkcI2d6mng/a-few-reasons-why-we-do-not-need-meta-languag http://xenji.com/a-few-reasons-why-we-do-not-need-meta-languag <p> <p>Just for the trolls: This is no bashing of the articles about <a href="http://lesscss.org/">less</a>, <a href="http://sass-lang.com/">sass</a>, <a href="http://haml-lang.com/">haml</a>, <a href="http://jashkenas.github.com/coffee-script/">coffeescript</a>, etc. Especially <a href="http://blog.mayflower.de/archives/802-09.12.-10-good-reasons-why-to-learn-a-css-meta-language-like-sass-or-less.html" target="_blank">the one I've read on Mayflower's blog</a> is very true.</p> <p>But! </p> <blockquote> <p><span style="color: #555555; font-family: helvetica, arial, freesans, clean, sans-serif; line-height: 20px; background-color: #f8f8f8;">A language that doesn't change the way you think about programming is not worth learning.— Alan Perlis</span></p> </blockquote> <p><span style="font-family: helvetica, arial, freesans, clean, sans-serif; line-height: 20px; background-color: #f8f8f8; color: #000000;">And I think Alan is right. None of the languages mentioned above changes the way you think about the language it "generates". The only thing you change, is the way you write stuff in shorter, maybe more oop-ish or whatever style. But does it change the way we think about HTML & CSS? As long as people still addicted to table layouts, we might have more important problems than just writing less code, don't we?</span></p> <p><span style="font-family: helvetica, arial, freesans, clean, sans-serif; line-height: 20px; background-color: #f8f8f8; color: #000000;">I did not met any - pure - HTML/CSS guy/gal yet, who ever said, that haml, sass or less did the right job for him/her. Only the PHP and Ruby guys and gals who are forced to write stylesheets love this style of writing. And by the way: As we generate HTML strings with PHP, why don't we use the same cool technology to generate CSS in a proper way? We (the PHP world) have invented a thousand ways to abstract and instrument the generation of websites (which means HTML - just wanted to mention it ;) ), that we need another two or three ways to generate some other text (CSS, JavaScript, ...)? </span></p> <p><span style="font-family: helvetica, arial, freesans, clean, sans-serif; line-height: 20px; background-color: #f8f8f8; color: #000000;">Let me take something from "<a href="http://www.python.org/dev/peps/pep-0020/">the zen of python</a>" for a quote:</span></p> <blockquote class="posterous_short_quote"> <p>There should be one-- and preferably only one --obvious way to do it.</p> </blockquote> <p>For me, the obivous way to do it is "use the weapons at hand", use your well known language (PHP, Ruby, Python ... whatever it might be).</p> <p><span style="background-color: #f8f8f8; font-family: helvetica, arial, freesans, clean, sans-serif; line-height: 20px;">Just for my information: Is there anyone out there who does HTML/CSS only (no PHP, no RoR or whatever) and uses haml, sass and/or less?</span></p> </p> <p><a href="http://xenji.com/a-few-reasons-why-we-do-not-need-meta-languag">Permalink</a> | <a href="http://xenji.com/a-few-reasons-why-we-do-not-need-meta-languag#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/SLkcI2d6mng" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/a-few-reasons-why-we-do-not-need-meta-languag Thu, 24 Nov 2011 22:58:54 -0800 Dependency Injection mit in PHP mit Any\Di/ http://feedproxy.google.com/~r/xenjicom/~3/NuaMwPp8BR4/dependency-injection-mit-in-php-mit-anydi http://xenji.com/dependency-injection-mit-in-php-mit-anydi <p> <p><a href="http://twitter.com/timglabisch" target="_blank">Tim Glabisch</a> und ich durften auf gestrigen PHPUG D/DU/KR Veranstaltung einen Vortrag zum Thema Dependency Injection halten. Tim und ich haben uns die Präsentation aufgeteilt, der Eine hat ein wenig über das Pattern und den Architektur Ansatz gesprochen, der Andere hat einen DI-Container vorgestellt.</p> <p>Tim war so nett seinen eigenen DIC vorzustellen: "<a href="http://anydi.ainfach.de/" target="_blank">Any\Di</a>". Any\Di erinnert, für die Leute, die sich auch mal mit Java beschäftigen, an Google Guice - auch wenn es kein direkter Port von Guice ist.</p> <p>Die Benutzung von Any\Di ist recht einfach (worin meiner Meinung nach auch gleichzeitig die größte Macht steckt). Die Beispiele sind von den Tutorial Seiten von Tim "ausgeliehen" ;).</p> <p>Man hat einer Seits die Möglichkeit seine Dependencies programmatisch zu deklarieren. Any\Di nennt das "bind":</p> <p><code>di();</code><br /> <code>$di->bind('\de\any\di\test\example\basics\iLogger')<br />->to('\de\any\di\test\example\basics\Logger');</code></p> <p>Wir binden also ein Interface an eine konkrete Implementierung. Über ein  <code>$di->get('\de\any\di\test\example\basics\iLogger');</code> Komme ich nun auch wieder an die dem Interface folgende Instanz heran. Ich kann nur empfehlen es sich mal anzuschauen, Tim freut sich auf Feedback!</p> <p>Hier sind noch die Prezi Slides von gestern:</p> <div class="prezi-player"> <object height="400" classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" width="480"> <param name="movie" value="http://prezi.com/bin/preziloader.swf" /> <param name="allowfullscreen" value="true" /> <param name="allowscriptaccess" value="always" /> <param name="bgcolor" value="#ffffff" /> <param name="flashvars" value="prezi_id=zijnwebmohfx&lock_to_path=1&color=ffffff&autoplay=no&autohide_ctrls=0" /><embed src="http://prezi.com/bin/preziloader.swf" type="application/x-shockwave-flash" height="400" flashvars="prezi_id=zijnwebmohfx&lock_to_path=1&color=ffffff&autoplay=no&autohide_ctrls=0" width="480"></embed> </object> <div class="prezi-player-links"> <p><a href="http://prezi.com/zijnwebmohfx/dependency-injection/" title=" No description ">dependency injection</a> on <a href="http://prezi.com">Prezi</a></p> </div> </div> </p> <p><a href="http://xenji.com/dependency-injection-mit-in-php-mit-anydi">Permalink</a> | <a href="http://xenji.com/dependency-injection-mit-in-php-mit-anydi#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/NuaMwPp8BR4" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/dependency-injection-mit-in-php-mit-anydi Thu, 10 Nov 2011 03:43:00 -0800 Trouble um MongoDB http://feedproxy.google.com/~r/xenjicom/~3/XX96zjH0Ho0/trouble-um-mongodb http://xenji.com/trouble-um-mongodb <p> <p>Was ist nur los im Social Web? <a href="http://pastebin.com/raw.php?i=FD3xe6Jt" target="_blank">MongoDB wurde rüde von einem Unbekannten attakiert</a>, der <a href="http://news.ycombinator.com/item?id=3202081" target="_blank">CTO von 10gen antwortet über ycombinator</a>. Im Verlauf der Kommentare meldet sich dann auch der der angeblich ursprüngliche Autor zu Wort und konstatiert, dass es sich um einen Hoax handelt. </p> <p>Verwirrt? Ich auch. Liest man allerdings brav weiter, dann erfährt man, dass es sich um zwei Autoren handelt. nmongo und nomoremongo. Der Eine ist ein <span style="text-decoration: line-through;">Troll</span> <a href="http://twitter.com/#!/TomSCHnet/status/134294199959957504" target="_blank">Internetnutzer mit Frustrationshintergrund</a>, der Andere der tatsächliche Autor des Pastbin-Textes. Auf Grund der Anonymität sind etliche Kommentarautoren skeptisch, was die Verwertbarkeit und den Wahrheitsgehalt der Aussagen angeht. Er verspricht jedoch die Veröffentlichung seines Names nach der Auflösung der Verträge mit 10gen.</p> <p>Hat MongoDB wirklich diese Art von grundsätzlichen Problemen, dann haben die New York Times, GitHub, Sourceforge, <a href="http://www.slideshare.net/jorgeortiz85/mongosf-mongodb-foursquare" target="_blank">Foursquare</a> und <a href="http://www.slideshare.net/ibwhite/how-business-insider-uses-mongodb" target="_blank">BusinessInsider</a> sie auch. Alle genannten Firmen setzen nach eigener Aussage auf MongoDB - wo ich entsprechende Slides gefunden habe sind diese verlinkt. </p> <p>Es bleibt spannend.</p> </p> <p><a href="http://xenji.com/trouble-um-mongodb">Permalink</a> | <a href="http://xenji.com/trouble-um-mongodb#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/XX96zjH0Ho0" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/trouble-um-mongodb Tue, 08 Nov 2011 02:24:00 -0800 Zarafa, z-push und iOS5 http://feedproxy.google.com/~r/xenjicom/~3/Y8XvibEkvqg/zarafa-z-push-und-ios5 http://xenji.com/zarafa-z-push-und-ios5 <p> <p>Meine Migration von meinem Hosted-Exchange zu <a href="http://www.zarafa.com/" target="_blank">Zarafa</a> ist nun endlich komplett. Leider gab es da noch ein Problem mit <a href="http://z-push.sourceforge.net/" target="_blank">z-push</a> - einer in PHP geschriebenen ActiveSync Implementierung - und meinem iPhone mit iOS 5. Tante Google spuckt dazu einen <a href="http://z-push.sourceforge.net/phpbb/viewtopic.php?f=7&t=1618" target="_blank">Forenthread</a> aus, der ein Downgrade auf die Version 1.4.3 empfiehlt sowie einige Modifikationen an den Sourcen. Ich habe das mal ausprobiert und kann sagen ... ja, es läuft, aber! Bei mir gingen leider die Umlaute nicht mehr. Zarafa's Webaccess zeigt mir Diese wunderbar an, das iPhone wandelt ü,ö,ä und ß leider in "?" um. Scheiß Encoding. Die Version 1.5.5, also die aktuelle Stable, lief zuerst garnicht. </p> <p>Die Lösung ist einfacher als gedacht. Ich hatte zuerst keine SSL Verschlüsselung für den ActiveSync Endpoint eingerichtet, da ich das Setup nur testen wollte. Leider hielt genau dies die Version 1.5.5 davon ab ihren Dienst zu tun. Mit einem Snake-Oil Zertifikat läuft die Version 1.5.5 auch mit iOS5 einwandfrei. Alle mit der Version 1.4.3 beschriebenen Probleme (Sync der Mails kann nicht mehr als eine Woche zurück vollzogen werden, gelöschte Mail werden nicht wirklich gelöscht, Push oder CalDav laufen nicht korrekt) kann ich mit dieser Version nicht nachvollziehen. Ebenso das Umlautproblem hat sich erledigt.</p> </p> <p><a href="http://xenji.com/zarafa-z-push-und-ios5">Permalink</a> | <a href="http://xenji.com/zarafa-z-push-und-ios5#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/Y8XvibEkvqg" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/zarafa-z-push-und-ios5 Sat, 05 Nov 2011 09:10:44 -0700 Sehr geehrte Headhunter, liebe Personalvermittler http://feedproxy.google.com/~r/xenjicom/~3/3DFDoy_k7bc/sehr-geehrte-headhunter-liebe-personalvermitt http://xenji.com/sehr-geehrte-headhunter-liebe-personalvermitt <p> aus aktuellem Anlass und in der Hoffnung, dass ihr - neben meinem Xing Profil - auch meinen Blog lest, schreibe ich euch diese Zeilen. Ich habe zum Anfang September den Job gewechselt, das habt ihr sicherlich bemerkt. Ich gehe zwar nicht davon aus, dass ihr es in eure "sprech ich ihn jetzt an?"-Überlegung einbezieht, aber ich wollte in meiner grenzenlosen Naivität trotzdem mal darauf aufmerksam machen. Ich frage mich manches Mal ernsthaft, ob ihr nicht lieber hättet weiter euren gelernten Beruf weiter ausüben sollen. Vielleicht wart ihr ja gut darin? Und selbst wenn ihr diesen Beruf gelernt habt, scheinen die Meisten doch wo anders besser aufgehoben. Die Ignoranz, mit der ihr jedoch über mich und mein öffentliches Profil herfallt, kennt leider kaum eine Grenze. Warum hat euch keiner beigebracht Profile auch mal zu interpretieren, nicht nur zu lesen? Selbst Google reagiert besser auf Keywords als ihr! Nur weil ich "XYZ" in meinem Profil stehen habe, seht ihr die Chance mich zum Experten zu erheben und in euer Suchprofil zu pressen? Ich bin gerade von einer Agentur zu einem völlig anders strukturierten Unternehmen gewechselt. Habt ihr mal nachgedacht, ob das vielleicht ... Absicht war? Würde ich in eine Agentur wollen, hätte ich nicht dann auch eine Agentur gewählt? Meint ihr ernsthaft, ich wechsle nach nicht mal zwei Monaten direkt wieder den Job? Kennt ihr das Wort "Treue" oder auch "Nachhaltigkeit"? Wäre es euch nicht genauso wichtig, dass ein Mitarbeiter in dem Unternehmen bleibt, an den ihr in vermittelt? Nunja, die Erwartungshaltung, dass Psychologie oder auch nur grundsätzliches analytisches Verhalten in eure Arbeit mit einfließt, ist wohl doch zu viel erwartet, schließlich ist der Mensch eure Ware und Nachhaltigkeit nicht euer Problem. Leider wandelt sich euer Verhalten mehr und mehr zu dem eines Spam-Bots und meine Reaktion darauf entspricht auch immer mehr diesem Schema - leider gibt es bei Xing noch keinen Spamfilter. Persönliche Ansprachen sind selten geworden, die Stiefelleckerei in euren Texten und eure Penetranz kotzen mich an. Die Zeiten, wo ihr Nerds und Geeks mit Schmeicheleien hinterm Ofen hervor locken konntet, sind nun seit Jahren vorbei. Ich suche mir meinen Job selbst aus. Und das habe ich bereits getan. <em>Ich weiß, dass ich einigen Vertretern eurer Zunft Unrecht antue. Leider sind mir bis zum heutigen Tage nur ein oder zwei von euch begegnet, von denen ich das oben gesagte nicht behaupten kann.</em> </p> <p><a href="http://xenji.com/sehr-geehrte-headhunter-liebe-personalvermitt">Permalink</a> | <a href="http://xenji.com/sehr-geehrte-headhunter-liebe-personalvermitt#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/3DFDoy_k7bc" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/sehr-geehrte-headhunter-liebe-personalvermitt Fri, 04 Nov 2011 12:59:00 -0700 Ein Newsletter Tool selbst gebaut - Neo4J, RabbitMQ, Vaadin http://feedproxy.google.com/~r/xenjicom/~3/u9wKnNo-83U/ein-newsletter-tool-selbst-gebaut-neo4j-rabbi http://xenji.com/ein-newsletter-tool-selbst-gebaut-neo4j-rabbi <p> <p>Seit einiger Zeit arbeite ich jetzt als Java Developer bei der <a href="http://www.trivago.de/" target="_blank">trivago GmbH</a>. Zum ersten Mal durfte ich nun auch an den trivago Developer Days teilnehmen, welche vom Konzept her etwas an die <a href="http://www.google.com/jobs/lifeatgoogle/englife/index.html">Google'sche 20% Regelung</a> erinnern. Wir Developer bekommen in regelmäßigen Abständen 3-4 Tage Zeit, sich ein Projekt auszuwählen (aus dem internen Ideenportal oder aus eigener Motivation) und dieses Umzusetzen. Für mein erstes DevDays Projekt habe ich mich, zusammen mit <a href="http://www.redbrick.de/">Christian Krause</a> (<a href="http://twitter.com/#!/redbrick" target="_blank">@redbrick</a>) an ein Mail Delivery System gesetzt. Drei Tage (plus ein Halber für das Vorbereiten der Präsentation und ein weiterer Halber für das Setup) sind nun nicht viel, auch wenn man die Definition von "Tag" irgendwo zwischen acht und 14 Stunden ansiedeln kann. Wir haben uns also auf die Kern-Features beschränkt, die wir selbst von einem solchen System erwarten würden. Klar war, dass Mail-Delivery die Kernkompetenz sein sollte. Wir wollten jedoch, auf der Delivery Schicht basierend, auch eine Applikation erstellen, damit der Nicht-Tekkie auch etwas davon hat. So ist die Idee des Newsletter Systems entstanden, welchem wir den Arbeitstitel Mail-Pigeon verpasst haben. Die Wunsch-Features im Überblick: Mail-Delivery:</p> <ul> <li>Versand über mehrere Clients (horiz. Skalierbarkeit)</li> <li>Kein Datenverlust beim Absturz einer oder aller Sending-Daemons</li> <li>Bounce Handling (zumindest erst mal rudimentär)</li> <li>Ein Datenformat, dass sowohl von PHP und JavaScript, als auch von Java beherrscht wird. Bleibt nicht viel: XML und JSON. Und XML war es nicht ;)</li> </ul> <p>Newsletter System:</p> <ul> <li>Absender Management (Durch die vielen Nationen und Sprachen bei trivago haben wir sehr verschiedene Absender)</li> <li>Empfänger und Empfängergruppen</li> <li>Newsletter und Vorlagen für neue Newsletter sowie Personalisierungsmöglichkeiten</li> <li>Wirkungsgradbestimmung durch Trackingpixel und Kampangen</li> <li>Live Versandstatus und Fortschritt</li> <li>Tagging für einen Versand</li> </ul> <p>Als Technologien kamen <a href="http://neo4j.org">Neo4J</a>, eine GraphDB, <a href="http://www.rabbitmq.com/">RabbitMQ</a>, eine MessageQueue und <a href="https://vaadin.com/home">Vaadin</a>, ein auf <a href="http://code.google.com/webtoolkit/%20">GWT</a> basierendes UI Framework zum Einsatz. Ich werde alle Technologien, deren Verwendung und eine kurze Begründung zur Wahl im Folgenden anreißen.</p> <div><strong>RabbitMQ </strong>ist ein MessageQueue Server, der von VMWare's SpringSource Devision in Erlang entwickelt wird. Die Wahl fiel auf RabbitMQ, weil er sowohl AMQP und JSONRPC over AMQP, als auch STOMP unterstütz und damit für alle bei trivago eingesetzten Sprachen erreichbar ist. RabbitMQ ist zudem hochperformant und kommt unserem Vorhaben, Tonnen von Mail zu versenden, zu Gute.</div> <p /> <div><strong>Neo4J</strong> ist eine <a href="http://de.wikipedia.org/wiki/Graphdatenbank" target="_blank">Graphdatenbank</a>, geschrieben in Java. Neo4J unterstützt sowohl gerichtete, als auch gewichtete Kanten, ebenso wie Eigenschaften an Knoten. Das Konstrukt wird ergänzt durch einen Lucene Index für Knoten, über den man recht schnelle Key-basierte Lookups durchführen kann. Die Wahl fiel deswegen auf eine GraphDB, weil sie am sinnvollsten unsere Daten abbildet. Es entstehen sehr viele Beziehungen zwischen den Entitäten unserer Applikation, die durch RDBMS - JOIN - Konstrukte sicherlich nur unter hohem Rechenaufwand abbildbar wären.Ein Beispiel ist die Relationsmenge zwischen Empfänger (E), Empfängergruppe (G) und versendetem Newsletter (N). Hier gibt es folgende Relationen abzubilden:</div> <div> <ul> <li> <div class="CodeRay"> <div class="code"><pre>N -> versendet an -> G</pre></div> </div> </li> <li> <div class="CodeRay"> <div class="code"><pre>E -> hat empfangen -> N</pre></div> </div> </li> <li> <div class="CodeRay"> <div class="code"><pre>E -> hat geöffnet -> N</pre></div> </div> </li> <li> <div class="CodeRay"> <div class="code"><pre>G -> enthält Empfänger -> E</pre></div> </div> </li> </ul> <div>Nehmen wir noch einen weiteren Knotentype "Bounce" (B) hinzu, wird das Konstrukt noch etwas interessanter:</div> <div> <ul> <li> <div class="CodeRay"> <div class="code"><pre>N <- ist hard-bounced <- B -> ist hard-bounced -> E</pre></div> </div> </li> <li> <div class="CodeRay"> <div class="code"><pre>N <- ist soft-bounced <- B -> ist soft-bounced -> E</pre></div> </div> </li> </ul> <div>Damit lässt sich also recht schnell darstellen, welcher Bounce-Typ bei welchem  Newsletter oder Empfänger vorkam. Kanten lassen sich übrigen mit linearem Aufwand zählen, wenn man den Knoten kennt!</div> <p /> <div><strong>Vaadin</strong> ist ein auf dem Google Web Toolkit basierendes UI Framework. Ich bin kein großer HTML/CSS Künstler, also musste etwas anderes her, was erwachsen und optisch ansprechend war. Mit Vaadin konnte ich im Liferay - Bereich schon mal Erfahrungen sammeln und fand es schon damals sehr ansprechend. Wer mal Swing oder AWT benutzt hat, der wird sich bei Vaadin recht schnell heimisch fühlen. Jedenfalls bekommt man bei Vaadin jede Menge "geschenkt", was Optik, Kompatibilität und Technologie angeht. Ich kann euch nur den <a href="http://demo.vaadin.com/sampler">Sampler</a> ans Herz legen, dann versteht ihr was ich meine ;)</div> <p /> <div><strong>Personalisierung</strong>  haben wir durch das Einbetten von <a href="http://velocity.apache.org/engine/releases/velocity-1.7/">Apache's Velocity</a> erreicht. Die Mail Templates, aus denen man neue Newsletter erstellen kann, können in Velocity geschrieben werden. Beim Versand wird der Template-Context mit den Daten des Empfängers, der Gruppe, der Kampange und Metadaten befüllt und für jeden Empfänger evaluiert. So wird eine komplette Personalisierung ermöglicht.</div> <p /> <div><strong>Tracking</strong> wird durch das automatische Einfügen eines <img/> Tags in die HTML Version der Mail erledigt. Das Image ruft ein separates Servlet auf, welches den Newsletter und die Empfänger ID benötigt. In der Folge kann dann die gerichtete Kante E -> hat geöffnet -> N erstellt werden.</div> <p /> <div><strong>Tagging </strong>erscheint vielleicht auf den ersten Blick für einen Newsletter ein wenig sinnfrei. Wenn man jedoch die GraphDB in die Rechnung mit einbezieht und das Tracking hinzu nimmt, dann entsteht die Möglichkeit "User-Interest-Tracking". Die Kobination Tag (T) sieht dann z. B. folgendermaßen aus (Die Pipe soll zwei Kanten darstellen):</div> <div class="CodeRay"> <div class="code"><pre>T <- hat Tag <- N <- hat empfangen | hat geöffnet <- E.</pre></div> </div> Aus diesen Relationen können wir also, bei entsprechender Skalierung, ablesen, für welche Tags sich ein Empfänger interessiert.</div> </div> </p> <p><a href="http://xenji.com/ein-newsletter-tool-selbst-gebaut-neo4j-rabbi">Permalink</a> | <a href="http://xenji.com/ein-newsletter-tool-selbst-gebaut-neo4j-rabbi#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/u9wKnNo-83U" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/ein-newsletter-tool-selbst-gebaut-neo4j-rabbi Tue, 01 Nov 2011 15:44:00 -0700 Mit ownCloud iCloud nachbauen http://feedproxy.google.com/~r/xenjicom/~3/Dc--gfa1LPM/mit-owncloud-icloud-nachbauen http://xenji.com/mit-owncloud-icloud-nachbauen <p> <p><a href="http://xenji.com/wp-content/uploads/2011/11/owncloud-logo.png"></a> iCloud ist ja seit dem Erscheinen von iOS5 aus dem Beta - Stadium raus und wird ersetzt den bisherigen Me.com, bzw. den ganz alten .Mac Service. Ich bin recht froh, dass ich meine Me.com E-Mail nun kostenlos als Spamfänger weiter betreiben kann. Die 79€ im Jahr taten nach einiger Zeit ganz schön weh. Wer nun kein iPhone besitzt oder einfach nur kein Interesse hat iCloud zu nutzen, dem sei ownCloud ans Herz gelegt. OwnCloud basiert auf bekannten und bewährten Technologien, darunter PHP 5.2, MySQL (alternativ auch SQLite oder PostgreSQL) und dem WebDAV Protokoll. Hinzu kommen noch CardDav und CalDav. OwnCloud bringt, neben Kalender- und Kontaktsynchronisierung, auch Bookmarks und Datei-Storage mit. Hier wird noch zwischen Musikdaten, welche direkt a la GoogleMusic gestream'ed werden können, und anderen Daten unterschieden. Die "anderen Daten" können publiziert werden, ähnlich, wie man es vielleicht von Ubuntu One kennt. Die Installation gestaltet sich recht einfach, die Nutzung ebenfalls. Die UI wird durch jQuery unterstütz und der Doctype steht auf HTML5 - wobei ich jedoch keine in HTML hinzugekommenen Elemente bisher gesehen habe. Wer sich ownCloud anschauen will, der findet unter <a href="http://owncloud.org">http://owncloud.org</a> weitere Informationen. Es wäre jedoch ratsam, die Installation nicht auf einem unterdimensionierten Webspace zu versuchen. Wenn man eine mittlere Musiksammlung (als "mittel" nehm ich jetzt mal einfach 20 Gbyte) hochladen möchte, dann kann es beim Hostingangebot "WebVisitenkarte XYZ" doch recht schnell problematisch werden ;).</p> </p> <p><a href="http://xenji.com/mit-owncloud-icloud-nachbauen">Permalink</a> | <a href="http://xenji.com/mit-owncloud-icloud-nachbauen#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/Dc--gfa1LPM" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/mit-owncloud-icloud-nachbauen Tue, 18 Oct 2011 16:25:14 -0700 Weg von Squarespace - zurück zu Wordpress http://feedproxy.google.com/~r/xenjicom/~3/SpMCsXjcf3A/weg-von-squarespace-zuruck-zu-wordpress http://xenji.com/weg-von-squarespace-zuruck-zu-wordpress <p> ePress ist ja leider noch in der Planung, sonst hätte ich mir gern diesen Schritt gespart. Jedoch ist Squarespace einfach zu teuer geworden, gemessen an der erbrachten Leistung. Wordpress ist zwar auch nicht der Himmel auf Erden und ich hoffe, dass mir die Wahl nicht zum Verhängnis wird. Ich möchte noch mal dazu aufrufen Feature Requests für <a href="https://github.com/ePress/ePressBlog" target="_blank">ePress</a> zu erstellen. Macht einfach ein <a href="https://github.com/ePress/ePressBlog/issues?sort=created&labels=RFC&direction=desc&state=open" target="_blank">neues Ticket auf GitHub</a> auf und wir schauen es uns an! </p> <p><a href="http://xenji.com/weg-von-squarespace-zuruck-zu-wordpress">Permalink</a> | <a href="http://xenji.com/weg-von-squarespace-zuruck-zu-wordpress#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/SpMCsXjcf3A" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/weg-von-squarespace-zuruck-zu-wordpress Mon, 17 Oct 2011 21:19:14 -0700 PageRank für Community Ratings nutzen - Teil 2 http://feedproxy.google.com/~r/xenjicom/~3/oINdNik0e-Y/pagerank-fur-community-ratings-nutzen-teil-2 http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-2 <p> <p>Im zweiten Teil der Serie nehmen wir uns mal das Datenmodell vor. <br />Zuerst brauchen wir einen Nutzer, der durch einen Knoten im Graph dargestellt wird. Dieser Nutzer erhält die Eigenschaften "id", welche in den Lucene Index von Neo4J übertragen wird, und einen PageRank. Vom Nutzer selbst gehen bis zu zwei verschiedene Kantentypen ab. Die "RATE_SUBJECT" Kante und die "RATE_USER" Kante. Beide werden mit der Eigenschaft "value" versehen. Daraus schließt sich schon die erste eingehende Kante, denn der User kann ebenfalls bewertet werden (in Form eines RATE_USER). Die RATE_USER Kante bekommt zusätzlich noch eine Eigenschaft, die einen Bezug zur Bewerteten Bewertung darstellt. Diese ist für unsere Berechnung nicht direkt relevant, lässt sich aber für Visualisierungszwecke gut nutzen. Die RATES_SUBJECT Kante bekommt die subject id aus dem selben Grund verpasst. Man könnte das Subject noch als Cluster Kriterium für den PageRank einsetzen, was aber die Komplexität deutlich steigern würde. Hinzu kommt ein Knoten für das zu bewertende Subject. Dieser bekommt auch die Eigenschaft "id" und einen aus dem Grahen errechneten Faktor, der in das Ranking der Suche einfließt. Aktuell evaluiere ich die Menge der Nodes, die bei einem Vollimport aller Ratings seit 2008 entstehen würden. 500.000 and counting. Es bleibt zu evaluieren, ob Neo4J sich bei diesen Mengen noch als praktikabel erweist...</p> </p> <p><a href="http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-2">Permalink</a> | <a href="http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-2#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/oINdNik0e-Y" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-2 Wed, 12 Oct 2011 19:01:38 -0700 PageRank für Community Ratings nutzen - Teil 1 http://feedproxy.google.com/~r/xenjicom/~3/bAkd-Znmn10/pagerank-fur-community-ratings-nutzen-teil-1 http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-1 <p> <p>Heute starte ich eine Serie über ein Thema mit dem ich mich aktuell beschäftige. Dabei geht es unter Anderem um die Qualität von Suchergebnissen und die Einbindung von Crowd Sourcing zur Verbesserung der Suchergebnisse unter Verwendung von Graph-Datenbanken - in diesem Fall evaluiere ich Neo4J - und dem PageRank Algoritmus.</p> <p>In vereinfachter Form läuft das so ab:</p> <p>Nutzer bewerten ein Subjekt (z. B. ein Toaster bei Amazon) und geben ein nummerisches Rating innerhalb einer definierten Skala ab (0 - X Sterne, Punkte, etc). Diese Information fließt in das Suchergebnis ein und verbessert die Relevanz des Toasters. Gehen wir jedoch davon aus, dass der Nutzer, der als einziger bisher den Toaster bewertet hat, überhaupt keine Ahnung vom Gerät hat und den größten Mist in seiner Bewertung verfasst hat - dennoch aber die volle Punktzahl vergeben hat. Fazit daraus: Die Bewertung ist unbrauchbar. Um diesem Umstand Sorge zu tragen hat man in der Vergangenheit das Konzept “Bewerte die Bewertung” eingeführt. Damit sind wir in der Position, qualitativ minderwertige Bewertungen zu filtern. Spinnen wir den Faden wiederum etwas weiter, dann merken wir, dass hier der selbe Strick auftaucht, den wir auch bei der initialen Bewertung hatten. Wer sagt uns, dass der Nutzer, der die Bewertung bewertet hat, ebenfalls Ahnung davon hat?</p> <p>Diese Fragestellung endet in einer Endlosschleife ;)</p> <p>Um dem Problem auf die Schliche zu kommen schaut man sich den <a href="http://de.wikipedia.org/wiki/PageRank">PageRank Algoritmus</a> an und transportiert ihn vom Thema Webseiten und Hyperlinks auf Nutzer und Bewertungen. Hinzu kommt jedoch die Gewichtung der gerichteten Kanten (X Sterne, Punkte, etc.). Um diesen Punkt adäquat abzubilden bedient man sich einer Graph-Datenbank, welches das <a href="https://github.com/tinkerpop/blueprints/wiki/Property-Graph-Model">Property-Graph Modell</a> unterstützt. Damit lässt sich die Speicherung der Daten, die wir für die PageRank basierte Auswertung benötigen, realisierten.</p> <p>Ich schraub jetzt erst mal ein wenig ;)</p> </p> <p><a href="http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-1">Permalink</a> | <a href="http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-1#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/bAkd-Znmn10" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/pagerank-fur-community-ratings-nutzen-teil-1 Tue, 13 Sep 2011 20:16:49 -0700 Enterprise Wordpress - es geht los. http://feedproxy.google.com/~r/xenjicom/~3/aNMDpwUSzTg/enterprise-wordpress-es-geht-los http://xenji.com/enterprise-wordpress-es-geht-los <p> <p>Ich erwarte euch auf GitHub, die ihr so fleißig eure Hilfe angeboten habt ;)</p> <p><a href="https://github.com/ePress/blog">https://github.com/ePress/blog</a></p> <p>Es bleibt dabei, schickt mir eine Nachricht auf GitHub (xenji) oder einfach per Twitter (@xenji) Bescheid geben.</p> <p>Der Name ist Verhandlungssache und bleibt erstmal ein Arbeitstitel. Die passende Google Group findet sich hier: <a href="http://groups.google.com/group/epressblog">http://groups.google.com/group/epressblog</a></p> </p> <p><a href="http://xenji.com/enterprise-wordpress-es-geht-los">Permalink</a> | <a href="http://xenji.com/enterprise-wordpress-es-geht-los#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/aNMDpwUSzTg" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/enterprise-wordpress-es-geht-los Sun, 11 Sep 2011 13:16:36 -0700 Enterprise Wordpress - kann es losgehen? http://feedproxy.google.com/~r/xenjicom/~3/oyRUljf3Ang/enterprise-wordpress-kann-es-losgehen http://xenji.com/enterprise-wordpress-kann-es-losgehen <p> <p>Der Post widmet sich allen Kommentarautoren bei PHM und bei meinem letzten Artikel zum Thema Wordpress Enterprise. </p> <p>Da viele von euch die Bereitschaft gezeigt haben an einem solchen Projekt teilzunehmen, würde ich das ganze gern auf den Weg bringen. Ich denke, dass GitHub eine allgemein akzeptierte Plattform wäre? Oder doch lieber Google Code (SVN, Git oder Hg)? </p> <p>Der erste Schritt wäre wohl im jeweiligen Wiki die Konzepte und Technologien festzuhalten und in der Folge die Umsetzungsaufgaben zu verteilen. Ist einer der Mitlesenden zufällig Projektmanager und wäre interessiert an einer Planungsunterstützung?</p> </p> <p><a href="http://xenji.com/enterprise-wordpress-kann-es-losgehen">Permalink</a> | <a href="http://xenji.com/enterprise-wordpress-kann-es-losgehen#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/oyRUljf3Ang" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/enterprise-wordpress-kann-es-losgehen Thu, 08 Sep 2011 07:33:23 -0700 Enterprise Wordpress http://feedproxy.google.com/~r/xenjicom/~3/siELODw1rZM/enterprise-wordpress http://xenji.com/enterprise-wordpress <p> <p>Ich greife mal <a href="http://www.phphatesme.com/blog/projektwerk/projektwerkstatt-wordpress-enterprise/">Nils’ Idee eines “Enterprise Wordpress”</a> hier auf und spinne ein wenig herum.</p> <p>In den Kommentaren wurde diskutiert, ob man nicht Symfony2 oder auch generell ein Framework einsetzen solle oder welche Datenbankart es sein soll. Ich schreib meine Vorschläge dazu mit entsprechender Begründung mal runter ;)</p> <h3>Datenbank: MongoDB</h3> <p>Die Anatomie eines Blogposts kommt einem Dokument sehr nahe, daher sehe ich eine dokumentenorientierte Datenbank ganz weit vorn. <a href="http://www.mongodb.org/">MongoDB</a> ist deswegen meine Wahl, weil es im Punkt der Abfrage von Daten einfacher zu verstehen ist, als eine <a href="http://couchdb.apache.org/">CouchDB</a>. Index Queries sind halt greifbarer für einen MySQL Umsteiger als eine Map & Reduce Funktionalität. Wenn nur ich das so sehe, dann kann es auch gern eine CouchDB sein - wäre mir pers. sogar lieber. Es kam auch ein Kommentar, der nach Beidem verlangte. An dieser Stelle muss ich mich jedoch klar dagegen aussprechen. Die Art der Abfragen und der Ansatz der Perfomanceoptimierung sind grundsätzlich anders - ein Wrapper würde also den jeweiligen Besonderheiten kaum gerecht werden.</p> <h3>Backend: ExtJS (jetzt <a href="http://www.sencha.com/">Sencha</a>) und PHP</h3> <p><a href="http://www.pimcore.org/">Pimcore</a> hat es auf exzellente Art vorgemacht und ich finde dieses gute Beispiel immitationswürdig. Gerade die Möglichkeit, über Widgets eigene Masken zu definieren, ist für z. B. Plugin Entwickler wunderbar einfach. Wer jetzt nicht weiss, wo von ich rede, der sollte sich mal Objekte im Pimcore Backend anschauen. Sencha bringt auch einen <a href="http://www.sencha.com/products/touch/">Support für Mobile Devices</a> mit, daher kann man auch sehr schön Apps für Touch Devices bauen.</p> <h3>Frontend: Pure PHP 5.3 mit jQuery und selektivem jQueryUI</h3> <p>Nein, ich bin kein Framework-Muffel, sehe aber nicht die Notwendigkeit für ein Blogsystem ein ganzes Framework Ramp-up “auszugeben”, wenn einer der Hauptaspekte des Rewrites Performance ist. Sehr wohl bin ich dafür Komponentenframeworks, wie z. B. Teile vom ZF(2), SF2 oder den ZetaComponents zu nutzen, wo es Sinn macht. jQuery ist für mich immer noch das beste Framework im JavaScript bereich. jQueryUI ist allerdings ganz schön Fett geworden und muss daher sehr selektiv eingesetzt werden.</p> <h3>Caching: Varnish inkl. ESI, Redis</h3> <p>Varnish ist aktuell das schnellste Pferd auf dem Platz und gerade per <a href="http://www.phphatesme.com/blog/webentwicklung/edge-side-includes/">ESI</a> macht die Sache Spaß. <a href="http://redis.io">Redis </a>ist für mich der “Memcached successor” und gehört in jedes Setup was vorher mit Memcached gearbeitet hat.</p> <h3>“Sontiges”</h3> <p>Ansonsten gibt es ja bei Wordpress noch die Probleme, die immer und immer wieder kehren. Bei Lastverteilung fehlt die Möglichkeit ein gemeinsames CDN zu definieren. Meist hängt man dann mit einer NFS-mount Lösung herum. Diese geht bis zu einem gewissen Punkt auch gut, bei zu viel I/O geht es jedoch eher schlecht.</p> <p>Trennung von Frontend und Backen ist ein weiteres Thema. Es sollte einen “Shared Library” Ordner geben, der auf Beiden vorhanden sein muss, jedoch sollte man ein oder mehrere Frontend betreiben können, ohne dass man auf jedem Frontend ein Backend “geschenkt bekommt”. Ein Backend gehört aus meiner Sicht auf einen IP-Range beschränkten Server.</p> <p>Workflows - ein Feature, was ich sehr vermisse. Blogs sind Redaktionssysteme geworden. So erschreckend das sein mag und so sehr Systeme wie <a href="http://www.e-spirit.com/">FirstSpirit </a>an dieser Stelle besser sein könnten, so intensiv werden Wordpress & Co. als eben solche gebraucht. Warum also nicht wenigstens einen vier-Augen-Workflow implementieren?</p> <p>Vielleicht kann man ja sogar auf das Release von PHP5.4 bauen und sich Traits mal genauer anschauen. Ich denke, dass gerade in der Pluginentwicklung Traits von Vorteil sein könnten.</p> <p>Zu guter Letzt muss ich noch einen Kommentar von mir am original Artikel korrigieren. Ich würde das WP-EE nicht Plugin-kompatibel schreiben. Der mitgeschleppte Müllberg wäre zu enorm ;). Sicherlich bin ich nicht auf alle Themen, die man an WP optimieren könnte, eingegangen. Da liegt es nun am eifrigen Leser den nächsten Blogpost oder Kommentar zu schreiben und die Idee weiter zu spinnen. Lasst mal was hören!</p> </p> <p><a href="http://xenji.com/enterprise-wordpress">Permalink</a> | <a href="http://xenji.com/enterprise-wordpress#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/siELODw1rZM" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/enterprise-wordpress Sun, 04 Sep 2011 22:09:29 -0700 Einer für alle - Import unification http://feedproxy.google.com/~r/xenjicom/~3/MHIOyuNATOQ/einer-fur-alle-import-unification http://xenji.com/einer-fur-alle-import-unification <p> <p>Mashups sind nichts Neues mehr. Die halbe digitale Welt besteht aus der Aggregation von Inhalten aus verschiedensten Quellen. Dieser Artikel beschreibt eine Herangehensweise aus technischer Sicht, um solche Importe aus performante und skalierbare Weise zu planen und zu entwickeln.</p><p>Die Ausgangssituation ist folgendermaßen definiert:<br />Gegeben ist eine Plattform in beliebiger Hochsprache mit der Möglichkeit XML Daten performant zu verarbeiten. Diese Plattform stellt Daten in aufbereiteter Form Nutzern zur Verfügung und bezieht diese Daten aus einer oder mehreren Quellen in diversen strukturierten Formaten (XML, JSON, CSV, etc.). Alle Datensätze werden in einer beliebigen, relationalen Datenbank persistiert. NoSQL Datenbanken werden hier bewusst ausgelassen, da die Möglichkeiten, die diese Art der Datenhaltung mitbringen, das Ziel dieses Artikels überschreiten würden und eher in einem weiteren Artikel Beachtung finden sollten.</p><p>Ein erster Gedankengang geht in die Richtung für jede der gegebenen Quellen einen eigenen Prozess zu planen, ein Mapping oder eine Transformation zu definieren und darauf hin einen Importer zu entwickeln, der diesem Prozess Folge leistet. Diese Herangehensweise hat Vor- und Nachteile. Der, in meinen Augen, größte Vorteil liegt in der Detailtreue des einzelnen Imports. Er kann auf die Eigenheiten und Feinheiten der jeweiligen Datenstrukturen eingehen. Doch hier beginnt schon der erste nachteilige Aspekt zu wirken, denn es schleicht sich meist zu viel Applikationslogik mit in den Import ein, der im Grunde nur Daten transportieren und transformieren soll. Skalieren wir das Szenario nun auf 100 verschiedene Importe, so wird eine Anpassung an der eigenen Datenhaltung zum teuren Unterfangen. Jeder Import muss daraufhin angepasst werden, getestet werden und vielleicht sogar neu optimiert werden. In meinen Augen ein erschreckendes Bild, dass es, nicht nur aus betriebswirtschaftlicher Sicht, zu vermeiden gilt. Ein weiterer Nachteil ist, dass solche Importe meist selbst schlecht skalieren. Wenn ein Import Prozess bei einer Eingangsdatenmenge von 100 MB 60 Sekunden zur Verarbeitung benötigt, dann werden 1000 MB im besten Fall 600 Sekunden brauchen. Schneller kann es nur unter zwei Bedingungen gehen - ich kaufe bessere Hardware oder ich optimiere den Import. Beides hat seine Grenzen, denn irgendwann habe ich den schnellsten Server und den schnellsten (und zumeist auch am wenigsten wartbaren) Quellcode - das Ende der Fahnenstange in diesem Fall.</p><p>Es ist hoffentlich deutlich geworden, dass eine Alternative gefunden werden muss, die neben der Wartbarkeit und Skalierbarkeit auch Geschwindigkeit hergeben muss. </p><p>Für diese Lösung ist ein wenig umdenken erforderlich. Wir teilen dafür die Aufgabe in zwei Teile. Der Erste ist adaptiv, also auf das Eingangsformat abgestimmt. Der Zweite ist stetig der Selbe, also ein einziges, fest definiertes und validierbares Format, in diesem Szenario XML, zu importieren. Es drängt sich die Frage auf, was sich damit an der Lösung der Problemstellung ändert? Einiges, wenn nicht sogar alles.</p><p>Wir rollen das Feld von hinten auf und beginnen mit dem zweiten Teil, der Import Phase. Wir gewinnen durch die Festlegung eines einzigen Formates die Möglichkeit den Import auf genau ein Format zu optimieren - sowohl den Speicherverbrauch, als auch die Ausführungsgeschwindigkeit. Änderungen an der Datenstruktur brauchen nur in einem Import reflektiert werden. Der Aufwand für eine Änderung wird damit berechenbar. Obendrein bekommen wir mit einem Bruchteil von Tests eine deutlich höhere Abdeckung zu Stande - was wiederum zu erhöhter Qualität führt. Diese Kausalkette darf jeder gern für sich selbst fortsetzen, die Richtung sollte jedoch klar geworden sein.</p><p>In der ersten Phase, der Unify Phase, geht es schlich darum, das Fremdformat in das Eigene zu überführen. Auch dieser Prozess kann für sich selbst pro Quelle optimiert werden. Der Vorteil, der hierbei jedoch heraus sticht, ist die gewonnene Verteilbarkeit dieses Prozesses. Unter Verwendung von z. B. Hadoop lässt sich die Verarbeitungsgeschwindigkeit nicht nur mit der Leistung der Hardware sonder viel mehr mit der Anzahl der Hardware skalieren.</p><p>Sicherlich lässt sich dieser Ansatz nicht auf jeden Import in jedes System übertragen, jedoch ist es gerade für beständige Systeme (z.B. Shops, News Sites oder Aggregatorsuchen) aus meiner Sicht ein Gewinn.</p><p>An dieser Stelle noch ein Hinweis aus eigener Erfahrung. Die Import Phase ist vom Grunde her ebenfalls verteilbar. Jedoch ist hier die Leistung der Datenbank-Server, bzw. -Hardware der "Deckel". Man kann schon mit einem kleinen Hadoop Cluster einen gut dimensionierten Datenbank Server ausknocken. Es ist Vor- und Umsicht geboten ;).</p> </p> <p><a href="http://xenji.com/einer-fur-alle-import-unification">Permalink</a> | <a href="http://xenji.com/einer-fur-alle-import-unification#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/MHIOyuNATOQ" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/einer-fur-alle-import-unification Sun, 31 Jul 2011 19:39:52 -0700 Riot - Leichtgewicht unter den Java CMS http://feedproxy.google.com/~r/xenjicom/~3/SqAskGtX2kQ/riot-leichtgewicht-unter-den-java-cms http://xenji.com/riot-leichtgewicht-unter-den-java-cms <p> <p>Auf meiner stetigen Suche nach neuen CM Systemen bin ich vor einiger Zeit über <a href="http://www.riotfamily.org">Riot</a> gestolpert. Riot erscheint mir als, wenn man das Wort im Java Bereich wirklich gebrauchen darf, als angenehm leicht und wenig überladen - wenn man <a href="http://dotcms.com/">dotCMS</a> oder <a href="http://www.opencms.org/">openCMS</a> dagegen betrachtet. Riot basiert auf <a href="http://static.springsource.org/spring/docs/3.0.x/reference/mvc.html">Spring’s MVC</a> und verwendet neben <a href="http://www.hibernate.org/">Hibernate</a> noch weitere OpenSource Bibliotheken, z. B. <a href="http://freemarker.sourceforge.net/">Freemaker</a>. Das Skeleton verfügt über ein <a href="http://ant.apache.org/">Ant</a> Buildfile und das Dependency Management erfolgt über <a href="http://ant.apache.org/ivy/">Ivy</a>. Die original Sourcen werden per <a href="http://www.gradle.org/">Gradle</a> gebaut.</p> <p>Riot ist ein seitenbasiertes CMS, es gibt als erstmal keine Trennung von Struktur und Content. Der Content wird direkt per Inline-Edit gepflegt. In den Templates werden Bereiche definiert, in denen Freemaker Macros und sog. <a href="http://www.riotfamily.org/docs/components.html">Components</a> - persistente, komplexe Datentypen - ein oder mehrfach platziert werden dürfen. </p> <p>Die Components machen das System für mich erst interessant, da man eigentlich jeden Anwendungsfall im unteren und mittleren Komplexitätsbereich damit gut abdecken kann. </p> <p>Das Produkt selbst scheint eine open-source’ed Agenturlösung zu sein. Nach einigem Suchen kommt man von Riotfamily auf die nicht ganz unbekannte Agentur <a href="http://www.neteye.de/">NETEYE</a> aus Hamburg. Die <a href="https://github.com/riotfamily/riot">Sourcen</a> wurden freundlicherweise auf Github zur Verfügung gestellt.</p> </p> <p><a href="http://xenji.com/riot-leichtgewicht-unter-den-java-cms">Permalink</a> | <a href="http://xenji.com/riot-leichtgewicht-unter-den-java-cms#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/SqAskGtX2kQ" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/riot-leichtgewicht-unter-den-java-cms Tue, 12 Jul 2011 06:46:57 -0700 XML, Text, Hadoop, CouchDB und die Google Search Engine http://feedproxy.google.com/~r/xenjicom/~3/QCaWWMwnh54/xml-text-hadoop-couchdb-und-die-google-search http://xenji.com/xml-text-hadoop-couchdb-und-die-google-search <p> <p>Größere Datenmengen bringen deutlich andere Herausforderungen mit sich. Durch eine Teststellung ergab sich eine Herausforderung, deren Lösung eine kleine Evolution durchgemacht hat. Ziel des Vorhabens ist, jedes Element aus der ersten Menge mit einer unbekannten Anzahl von weiteren Informationen aus der zweiten Menge anzureichern und das Ergebnis zu einer für die Google Search Appliance brauchbaren HTML Seite zu vereinen.</p> <p><strong>Ausgangssituation</strong></p> <ul> <li>18 Gbyte XML Daten in einzelnen Dateien</li> <li>ca. 60 Gbyte “Metadaten” in einzelnen Dateien (JPG, HTM, XML) und einer 1:n Zuordnung zu den XML Daten aus dem ersten Punkt</li> </ul> <p> In den XML Daten, nennen wir sie mal “Produkte”, gibt es zu jedem Produkt verschiedene Typen von Metadaten. Dies können Bilder, erweiterte Beschreibungen und sonstige Zusatzinformationen sein. Jedes Produkt hat mindestens eine eindeutige ID aus einem von zwei Nummernkreisen. Diese ID findet sich ebenfalls im Dateinamen der zugehörigen Metadaten wieder. Die Anzahl der Produkte liegt bei ca. 5,7 Mio.</p> <p>Beispiel: Produkt 4711 -> Produktbilder/Bild_4711_Ansicht1.jpg</p> <p>Der erste Ansatz ist es, bei einer Iteration durch alle Produkte, jeweils alle Metadaten zu finden. Hier kann ein kleiner Shell Aufruf schon ausreichen:</p> <div class="CodeRay"> <div class="code"><pre>find . -name "*_4711_*" -type f</pre></div> </div> <p>Dabei sollte 4711 natürlich durch den aktuellen Wert des Produktes ersetzt werden. Wer nun die Hände über dem Kopf zusammenschlägt und I/O Probleme wittert, dem sei gesagt … yes! Ist verflucht lahm.</p> <p><strong>Kurz ein paar Variabeln definiert</strong></p> <p>p = Produkt</p> <p>C<span style="vertical-align: sub;">(p)</span> = Count<span style="vertical-align: sub;">(Produkt)</span> -> ca. 5.700.000</p> <p>m = eine Metainformation</p> <p>C<span style="vertical-align: sub;">(m)</span> = Count<span style="vertical-align: sub;">(m)</span> Gesamtanzahl der Metadaten -> ca. 25.000.000</p> <p>k = Konstante für die Kosten des I/O Seek auf der HDD, hier in Sekunden gemessen.</p> <p><strong>Laufzeiten</strong></p> <p>Bei einer Laufzeit von O(C<span style="vertical-align: sub;">(p)</span> * C<span style="vertical-align: sub;">(m)</span>) ist die Platte (Seek I/O) hier sicherlich noch als Konstante zu sehen, womit sich O(C<span style="vertical-align: sub;">(p)</span> * C<span style="vertical-align: sub;">(m)</span> * k) ergibt und nach erster Beobachtung k > 8 ist. Ohne es bewiesen zu haben, liegt die errechnete Laufzeit bei weit mehr als einem Jahr ;).</p> <p>Die nächste Variante war per find ein Directory Index zu erstellen, also find über alle Verzeichnisse zu schicken und das Ergebnis in Textdateien zu Speichern. Diese Textdateien kann man mit grep durchsuchen. Auch hier entsteht eine Laufzeit von O(C<span style="vertical-align: sub;">(p)</span> * C<span style="vertical-align: sub;">(m)</span> * k), wobei sich k = 8 herausstellte. Auch hier liegt die Laufzeit bei ca. einem Jahr.</p> <p>Die Anzahl der Metadaten pro Produkt spielt keine Rolle, da immer die gesamte Menge an Metadaten durchsucht werden muss.</p> <p>Das Problem bei beiden Ansätzen besteht deutlich in der Multiplikation der Ergebnismengen. 142.500.000 Operationen sind auch ohne Konstante schon eine viel zu große Menge. </p> <p>Was kann man also tun, damit man die Multiplikation los wird? Es müsste eine Möglichkeit geschaffen werden, dass der Iterator nur eine “Anfrage” an die Ergbnismenge stellen muss und daraufhin alle Metadaten zurück geliefert werden - alternativ ist die Menge 0 auch eine valide Antwort. Um dies zu erreichen brauchen wir einen Index, der auf Basis eines Schlüssels eine Liste von Werten zurück geben kann. Dieser Index muss einmalig befüllt werden. Die technologische Entscheidung fiel hier auf Hadoop für die Vorbereitung der Daten, ein PHP Script zum Einfügen der Daten in den Index und eine CouchDB als eigentlicher Index. Vorteil bei dieser Konstellation ist, dass CouchDB über HTTP angesprochen werden kann. Es gibt also nur zwei Möglichkeiten für die Antwort auf die Frage nach dem Schlüssel: HTTP 200 OK oder HTTP 404 NOT FOUND. Sicherlich könnte man dies auch über Redis abbilden, jedoch war die Anbindung der CouchDB einfacher und schneller für diesen Anwendungfall.</p> <p><strong>Wir führen neue Variabeln ein</strong></p> <p>h = Vorbereitungszeit Hadoop Map & Reduce</p> <p>v = Vorbereitungszeit für den Index</p> <p>r = Konstante für die Kosten eines HTTP Requests, ebenfalls in Sekunden gemessen.</p> <p>Wenn wir unsere Rechnung unter den neuen Gesichtspunkten aufsetzen, ergibt sich O(h + v + C<span>(p)</span> * r). Durch die Nutzung der Loopback Device konnten wir r = 0.2 erreichen. Die Konstanten h und v sind im Vergleich zur voherigen Multiplikation nahezu lächerlich klein. h liegt bei 146 Sekunden und v bei ca. 600 Sekunden.</p> <p><strong>Hadoop als Vorbereiter</strong></p> <p>Die im <em>find </em>vorbereiteten Daten werden nun zu 60Mbyte Blöcken zusammengefasst. Hierbei hilft uns ein kleines PHP Script. Man kann hier auch die von Hadoop angebotene Klasse CombineFileInputFormat verwenden. Die neu geschaffenen Dateien kommen dann auf das HDFS und sind damit für den Map & Reduce Schritt verfügbar.</p> <p>Der Map Job ist recht simpel. Das Ergebnis des finds wird zeilenweise an die Map Methode geliefert. Der LongWritable key ist der byte-Offset, der Text value ist die Zeile selbst.</p> <p></p><div class="CodeRay"> <div class="code"><pre>public void map(LongWritable key, Text value, OutputCollector output, Reporter reporter) throws IOException { final String line = value.toString(); final String[] parts = line.split("/"); if (parts.length > 1) { final String filename = parts[parts.length-1]; final String[] fileParts = filename.split("_"); final StringBuilder sb = new StringBuilder(); sb.append(fileParts[1]); sb.append(fileParts[0]); keyVal.set(sb.toString()); valVal.set(line); output.collect(keyVal, valVal); } else { reporter.incrCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_SKIPPED_RECORDS", 1); } }</pre></div> </div> <p>Wenn der Mapper alle Values, in unserem Fall also die Pfade, zu den Keys, also den IDs, gefunden hat, wird das Ergebnis an den Reducer weitergeleitet. Der Reducer iteriert über alle Values zum Key und erstellt bereit einen String, der später als Liste in JSON weiterverwendet werden kann.</p> <p></p><div class="CodeRay"> <div class="code"><pre>public void reduce(Text key, Iterator values, OutputCollector output, Reporter reporter) throws IOException { StringBuilder sb = new StringBuilder(); sb.append('['); while (values.hasNext()) { sb.append('"'); sb.append(values.next().toString()); sb.append('"'); if (values.hasNext()) sb.append(','); } sb.append(']'); outVal.set(sb.toString()); output.collect(key, outVal); }</pre></div> </div> <p>Die Ausgabedatei, die der Reducer schreibt ist ca. 300 Mbyte groß. Den Abschluss der Vorbereitung ist wieder ein PHP Script, welches pro 10.000 Zeilen der Ausgabedatei einen Batch Request an die CouchDB absetzt. Für die 5.700.000 Zeilen, die die Ausgabedatei beseitzt, sind das ca. 600 Sekunden.</p> <p>Der abschließende Prozess ist nun die Zusammenführung von Produkten und Metadaten. Hierzu gibt es ein Java Projekt, dessen Sourcen ich hier leider nicht zeigen darf ;). Es entstehen HTML Seiten und Link-übersichtsseiten, welche der GSA zum Crawling vorgesetzt werden.</p> <p>Dieser Crawling Prozess dauert unter Verwendung von CouchDB nur noch ca. 3 Tage statt mehr als 400 Tage. Ein deutlicher Gewinn ;).</p><p>Bei nächster Gelegenheit schreibe ich noch ein FollowUp zusammen, da eine Alternative zu CouchDB auch Redis sein könnte.</p> </p> <p><a href="http://xenji.com/xml-text-hadoop-couchdb-und-die-google-search">Permalink</a> | <a href="http://xenji.com/xml-text-hadoop-couchdb-und-die-google-search#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/QCaWWMwnh54" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/xml-text-hadoop-couchdb-und-die-google-search Sun, 26 Jun 2011 11:36:19 -0700 Kreativität sucht Perspektiven http://feedproxy.google.com/~r/xenjicom/~3/6BcmfeHksr8/kreativitat-sucht-perspektiven http://xenji.com/kreativitat-sucht-perspektiven <p> <p>Das Schöne an unserem Handwerk ist, dass es so facettenreich ist. Nicht nur die Arbeit, die wir jeden Tag vollbringen, sonder auch die Herangehensweisen an diese Arbeit. Der Eine sieht sich als 9-to-5 - Typ und macht wie ihm aufgetragen wurde. Meist sind diese Menschen fest an einen Wissenstand gebunden und haben "das ja schon immer so gemacht". Um es scherzhaft zu sagen, haben diese Leute einen Horizont, der mit einem Kreis mit dem Radius von null beschrieben werden kann - auch einfach "Standpunkt" genannt. Andere sehen sich als progressiv an, bilden sich weiter und nutzen neue Projekte um es besser zu machen als im Vorherigen. Ich behaupte, dass mit einem Großteil solcher mitarbeiter viele Unternehmen und Agenturen gut über die Runden kommen, jedoch außer der Unternehmensgröße bzw. dem Umsatz, sich nichts Wesentliches bewegt. Wiederum Andere versuchen neues zu schaffen und neue Wege zu beschreiten. Wenn jetzt einigen das Buzzword "innovationsgetrieben" vorschwebt muss ich wahrscheinlich deutlicher werden, da ich es eher als kreativ bezeichne. Nur am oberen Ende der Innovationsleiter zu stehen ist nicht allein das, was für mich Kreativität bedeutet. Kreativität ist auch, sich mit der neuen Anwendbarkeit von Bekanntem zu beschäftigen, Innovationen einfließen lassen und einfach den Ansatz von "das haben wir schon immer so gemacht" fallen zu lassen.</p><p>Ein gutes Beispiel ist die NoSQL Bewegung. Als falsch empfinde ich es, wenn man nun versucht jede Datenspeicherung in Dokumente, Key-Values, Wide-Columns oder Graphen zu pressen. Hier kann man doch als erstes überlegen, was man in der Vergangenheit vielleicht in ein relationales Modell gepresst hat und es darauf hin auf ein passenderes NoSQL Format umstellen. Kreativität ist für mich also auch Bestehendes in Frage zu stellen. </p><p>Regelmäßig treffen in der IT zwei Welten aufeinander. Aus Projektmanagersicht leiden Entwickler am Elfenbeinturm-Syndrom. Alles muss perfekt sein, skalierbar sein. Man will sich mit der guten Arbeit auch profilieren können, Stolz empfinden dürfen. Der Entwickler jedoch sieht mit einer gewissen Grundangst dem Projektmanager ins Gesicht und wartet darauf, dass Qualität zu Gunsten des Preises oder der Zeit minimiert wird oder der kreative Spielraum zu Gunsten einer kostengünstigen und weniger risikobehafteten Lösung eingeschränkt wird. Die Darstellung mag vielleicht übertrieben erscheinen, aber das soll sie auch. Risiko ist das Stichwort. Kreative Herangehensweisen sind risikobehaftet und Risiko wird vom Management in Geld gemessen. Beim Thema Finanzen wird es dann meist sehr schnell ruhig. Kreativität darf kein Geld kosten - womit sich jegliche Diskussion für mich erledigt. Wenn Kreativität und Innovation kein Geld kosten dürften, würden wir heute alle noch den VW Käfer der ersten Serie fahren. Der funktionierte doch wunderbar.</p><p>Ein Unternehmen muss also die Wahl treffen, ob es kreative Entwickler unterstützt und damit auch Risiken eingeht oder ob es keine zusätzlichen Risiken eingehen möchte und damit die Gefahr eingeht, kreative Entwickler einzuschränken und auf Dauer zu verlieren. Also die Leute zu verlieren, die in den Momenten, wo neue Ansätze gebraucht werden, da sind und vielleicht die zündende Idee haben, die Leute zu verlieren, die einfach Ideen umsetzen die Geld bringen oder Geld sparen können. </p><p>Klar scheint mir zu sein, dass Vorreiter in der Branche sich nicht durch konservatives Verhalten hervorbringen, es liegt jedoch in der Entscheidung jedes Unternehmens wie ernst es seine sich erdachte Rolle nehmen will.</p><p>Kreativität sucht Perspektiven.</p> </p> <p><a href="http://xenji.com/kreativitat-sucht-perspektiven">Permalink</a> | <a href="http://xenji.com/kreativitat-sucht-perspektiven#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/6BcmfeHksr8" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/kreativitat-sucht-perspektiven Thu, 16 Jun 2011 20:06:17 -0700 Wenn Autoren es nicht zu Ende bringen http://feedproxy.google.com/~r/xenjicom/~3/gOGrsye4b7c/wenn-autoren-es-nicht-zu-ende-bringen http://xenji.com/wenn-autoren-es-nicht-zu-ende-bringen <p> <p>In unserer Branche lernt man viel durch Abschauen, durch Lesen und durch Trial & Error. Das Lesen allerdings macht mir in letzter Zeit Probleme - genauer gesagt, das Lesen von Fachbüchern die eine Einführung in z. B. ein Framework "X" oder ein CMS "Y" sein sollen. Meist teilen sich solche Bücher in einen kurzen Sprachteil (bei Frameworks) oder sonstige Einführung, dann kommt der Teil, in dem man Laufen lernt. Später gibts dann noch ein wenig tieferes Wissen und dann ... ? Ende. Wo ist der Teil mit dem Release Management, der Teil über Testing oder der über "Hey, wenn Du das hier im echten Leben einsetzt, dann achte doch mal darauf"? Essenz dessen ist, dass meist der realitätsnahe Teil auf der Strecke bleibt. Weiterführende Literatur zu den meisten Themen ergießt sich dann über Spezialthemen oder einzelne Teile des CMS, selten findet man jedoch einen Text über "So hab ich es probiert und bin gescheitert, deswegen habe ich es so versucht und es war auch nicht besser", etc. Blogs bieten hier meist Abhilfe, jedoch vergehen diese Perlen häufig im Grundrauschen des Mülls, der im Netz landet. Schade.</p> </p> <p><a href="http://xenji.com/wenn-autoren-es-nicht-zu-ende-bringen">Permalink</a> | <a href="http://xenji.com/wenn-autoren-es-nicht-zu-ende-bringen#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/gOGrsye4b7c" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/wenn-autoren-es-nicht-zu-ende-bringen Thu, 09 Jun 2011 20:59:41 -0700 CouchDB als Import Logger http://feedproxy.google.com/~r/xenjicom/~3/DX8YKadhSZ8/couchdb-als-import-logger http://xenji.com/couchdb-als-import-logger <p> <p>Bei einem unserer eCommerce Kunden besteht die Herausforderung, dass ein Großteil des täglichen und stündlichen Imports in der Nachweispflicht steht. Hat wohl auch damit zu tun, dass wir aus dem Import durch eine fast perverse Logik allerhand machen sollen. Es ist also unsere Pflich den Import der Artikel und dessen Ergebnis auf nachvollziehbare Art und Weise zu speichern und bei Bedarf Auskunft darüber zu geben. Bisher haben wir dies über Logfiles getan, die sich bei Größenordnungen jenseits der Gigabyte Marke als unpraktisch erwisen haben. Mein Lösungsansatz heißt heute ... CouchDB. Die Versionierung der Dokumente kommt dem Vorhaben der Nachweisbarkeit sehr zu Gute. Wir können auf Grund der Schlüssel, die wir vom ERP Dienstleister geliefert bekommen, sehr gut einen Key für die Dokumente generieren und auf Basis dessen widerum auch die Updates der Artikel als Revisionen in der CouchDB abbilden. Das zugrundeliegende XML wird einfach als Attachment an das Dokument gehanden. Das Attachment hat den Vorteil, dass es durch CouchDB komprimiert werden kann. Insgesamt bietet sich also ein Versionsfähiger, abfragbarer Logger an, der auch durch Projektmanager über Futon bedient werden kann.</p> <p> </p> <p>Ich find es klasse ;)</p> </p> <p><a href="http://xenji.com/couchdb-als-import-logger">Permalink</a> | <a href="http://xenji.com/couchdb-als-import-logger#comment">Leave a comment  »</a> </p><img src="http://feeds.feedburner.com/~r/xenjicom/~4/DX8YKadhSZ8" height="1" width="1"/> http://files.posterous.com/user_profile_pics/1616655/41646_1073854343_8934_n.jpg http://posterous.com/users/cPvdSqvQmx3Pc Mario Mueller xenji Mario Mueller http://xenji.com/couchdb-als-import-logger