FabGuy's Blog

HowTo mirror a phpBB3 forum via wget

fabguy@gmx.de (FabGuy) — Fri, 30 Dec 2011 18:13:23 +0000

I ran a phpBB3 forum for several years and activity has been slowing down step by step. Now I thought I'd get rid of that old, security-impaired (read seldomly updated) phpBB3 forum and mirror it as plain HTML files. After Googling a bit I found an entry at superuser.com stating that I could use wget which I thought of as "brilliant"!

Using

wget -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt 'http://www.example.com/forum/'

I tried to fetch the whole forum while excluding many of the useless pages (reporting posts, sending private messages, ...).

Soon I noticed that I got nearly *no* pages - all were deleted because of the reject list. Checking the logfile it turned out that I had a session id (sid) in all the URLs and they are rejected as per the -R parameter above.
Also it did not even try to fetch many pages as they were for registered users only.
It took me quite some time and some more Googling to find that I needed to have my wget register as a bot as these would not receive a session ID. Using the cookie mechanism in wget did not work. I tried but failed miserably as I soon got a new session id as the downloading took some time.

So next step was to protect the forum via .htaccess against unwanted visitors. Next was adding a new UserAgent string to my phpBB3.

As in the picture above you need to go to the administrative panel and choose "Spiders/Robots" and add your own. I chose "FabCopy".

Also I chose to extend the access rights of the "Bots" group to allow access to all forums and the attachments of posts (embedded images and so on). You need to do the same both on the "group-specific forum rights" and the group rights in the first section "global permissions". For me "allow downloading attachments" was the main thing.

After some more tuning I got to this command to mirror the whole phpBB3 as HTML:

screen wget -U 'FabCopy' -k -m -E -p -np -R memberlist.php*mode=email*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*view=print*,*start=0*,mcp.php*,report.php* --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt --user=username --password=**** -o log.txt 'http://www.example.com/forum/index.php'

So a bit of insight on this one:

screen = as it may take some time I've put the command in a screen. This will keep it going even if I loose the connection to my shell.
-U 'FabCopy' = The user agent. It should match what you chose for your bot in phpBB3.
-R = The reject list. I wanted to include the profile pages (memberlist.php) but not sent e-mails to people - so I excluded the email mode. mcp.php is used to sent messages to people - I also did not want that.
--user -- password = This is for the .htaccess protection.
-o log.txt = As the screen will die once the command is finished I would not see any log messages. Sending the log to disk allows you to check on the progress easily and debug any errors.

Hope this helps others facing a similar issue.

Alte Schätze - Ascendancy

fabguy@gmx.de (FabGuy) — Thu, 17 Nov 2011 20:36:07 +0000

Nachdem ich zuletzt aktuelle Spiele von Steam präsentiert habe, komme ich heute Mal wieder zu einem alten Schatz: Ascendancy von The Logic Factory.

Das Spiel aus dem Jahr 1995 ist in einem Atemzug mit Master of Orion und Outpost zu nennen. Es bringt für jene Zeit großartige Grafiken mit und macht auch nach über 15 Jahren noch Spaß.

Ich habe es ausgegraben, da ich wenig Speicherplatz auf meinem Linux-Stick (Ubuntu 11.04 direkt auf dem Stick installiert) übrig habe und nie weiß, wie viel Power der Rechner hat.

Als besonders interessant empfand ich auch vor Jahren schon den Forschungsbaum... und die Möglichkeiten ihn auszutricksen. Eine Spezies darf alle hundert Züge einfach die aktuelle Forschung abschließen. Auf der anderen Seite gibt es auf vielen Planeten Ruinen alter, untergegangener Zivilisationen, die wertvolle Technologien abwerfen.

Etwas nervig ist der Ausbau der Planeten. Zum Einen gibt es unzählige Gebäude (die Meisten nutzlos), zum Anderen muss ich auf jedem Planeten jeden Ausbau selbst vornehmen. Das wird bei der Anzahl von Planeten nach kurzer Zeit nervig.

Es gibt darüber hinaus Diplomatie und einiges Anderes. Das habe ich aber immer ignoriert.

Zuletzt gibt es noch die Raumkämpfe. Die sind nicht sonderlich spannend, da es am Ende immer auf Dutzende und Hunderte Schiffe gegeneinander hinausläuft. Und das wieder im Rundenmodus selbst steuern zu müssen, ist recht nervig.

Trotzdem ist das Spiel es Wert ausgekramt und gespielt zu werden. Und wer es neumodisch mag: Logic Factory hat Ascendancy in eine iPhone-App gepackt...

Hoard - Feuriges Spiel

fabguy@gmx.de (FabGuy) — Sun, 17 Jul 2011 07:13:41 +0000

Letzte Woche wurde ich im Steam-Store mal wieder schwach. Man muss ja etwas aufpassen, was die Preise bei Steam angeht - nicht nur im Vergleich zum Ladenpreis sieht es dort manchmal schlecht aus, auch zwischen unterschiedlichen Regionen kann es deutliche Unterschiede geben, wie die Website Steamprices.com beweist.

Trotzdem - ich bin schwach geworden und habe für unschlagbare sechs Euro ein Spiel erworben.

Hoard - erst testen dann kaufen

Zuerst habe ich die kostenlose Demo gespielt und mich in das Kleinod verliebt.

Die Demo erlaubt es, das Tutorial zu spielen, welches in etwa fünf Minuten vermittelt, wie man das Spiel bestreitet und welche Aufgabe man hat.

Im Wesentlichen geht es darum als Drache zu tun, was man als Drache so tut:

Häuser anzünden
Felder anzünden
Städte anzünden
Burgen anzünden
Ritter anzünden
Prinzessinen anzünden ähh rauben

Und jedes Mal bekommt man Gold, dass man in seinen Hort (englisch Hoard) bringen muss. Das Ganze findet in der Vogelperspektive statt und man steuert seinen Lindwurm mit den altbekannten W-S-A-D Tasten. Dazu kommt noch die Maus und die Leertaste für Upgrades.

Die Grafik haut mich dabei zwar nicht um, ist aber liebevoll gestaltet und entsprechend der Geschwindigkeit des Spiels eher schnörkellos.

Die Vollversion von Hoard

Da es in der Vollversion des Spiel jede Menge Karten und vier unterschiedliche Spielmodi plus Multiplayer gibt, glaube ich, mit der Investition sehr richtig gelegen zu haben. Da wäre der klassische Modus "Schatz" - hier geht es mit Zeitlimit darum, möglichst viel Gold zu horten. Beim Modus "Prinzessinenbalz" geht es nur darum, möglichst viele Prinzessinen zu verschleppen und dick Lösegeld zu kassieren. Beim Modus "Hoard" wiederum gibt es keinen solchen um sich zu regenerieren und lästige Brandpfeile aus dem Panzer zu ziehen - hier muss man einfach möglichst lange am Leben bleiben. Der vierte Modus ist "Koop". Wie der Name dem erfahrenen Spieler schon sagt, geht es hierbei darum, gemeinsam mit anderen Drachen Angst und Schrecken zu verbreiten. Tolle Sache!

Dabei sollte man übrigens nicht alles wegbrennen, was sich in den Weg stellt, denn je stärker die Gegner werden, desto reicher ist auch die Belohnung - wenn die Siedlung gewachsen ist, kann sie halt mehr Tribut entrichten!

Wie viel da so los sein kann, sieht man auf dem letzten Bild. Von mir jedenfalls eine ganz dicke Empfehlung für Hoard.

Berateralltag - Richtig packen

fabguy@gmx.de (FabGuy) — Tue, 10 May 2011 19:21:52 +0000

Wie schon beschrieben bin ich jetzt ja öfter Mal unterwegs und muss dabei gut Packen.

Dabei kommt es nicht nur auf einen guten Koffer an (ich empfehle einen Trolley mit zwei großen Rädern), sondern auch auf die Organisation IM Koffer.

Vor Jahren habe ich bei Woick in der Nähe von Stuttgart die sogenannten "Pack it Cube"s von Eagle Creek erstanden. Diese zeigen jetzt erneut ihre Qualitäten:

schnell Einpacken
klar getrennte Pakete machen das Auffinden leicht
Zum Auspacken kommt der Cube einfach in den Schrank
dank des Stückchens Netzstruktur kann ich jederzeit sehen, was noch drin ist.

Am Ende der Woche packe ich dann in den leeren Cube meine schmutzige Wäsche ein - dadurch wird das Phänomen gemildert, dass man auf der Rückreise nicht mehr alles in den Koffer bekommt.

Tolle Sache!

Streetview in Stuttgart

fabguy@gmx.de (FabGuy) — Tue, 10 May 2011 19:09:08 +0000

Da schau an... vor nicht langer Zeit ging es durch den Blätterwald, dass Google keine neuen Fotos von Deutschland online stellen mag. Wie damals schon der Isotopp schrieb, fahren die Autos aber trotzdem noch herum. Und ich habs gesehen:

TDWI-Schulung in Frankfurt

fabguy@gmx.de (FabGuy) — Sun, 17 Apr 2011 16:35:06 +0000

Letzte Woche war echt anstrengend - erst nach Darmstadt zu meinem Kunden, dann nach Bonn für ein(!) Meeting und dann am selben Tag nach Frankfurt, damit ich dort eine Schulung des TDWI besuchen konnte.

Der Kurs "TDWI Data Modeling: Data Analysis and Design for BI and Data Warehousing Systems"

Der TDWI begleitet mich nun schon einige Jahre und ich bin immer wieder von deren Angeboten begeistert. Toller Verein.
Dieses Mal bin ich kurzfristig in oben genannten Kurs hineingerutscht. Die Inhalte dieses Modellierungskurses für Datawarehousing finden sich auf der Website des TDWI.

Die Schulung hat mir endlich ein paar Hintergründe zu meiner Zertifizierung beigebracht - damals war das Zachman-Framework für mich noch ziemlich verwirrend und hätte mich auch gerne mein Zertifikat gekostet.

Besonders wertvoll: Die Diskussionen

Wie ich schon häufiger feststellen konnte, waren die Inhalte der Schulung nur halb so interessant, wie die Diskussionen darum. Es bringt mir einfach viel mehr, wenn ich von Problemen und Lösungen anderer Unternehmen höre und daraus lernen kann. Nicht falsch verstehen: die Schulung war gut. Aber die Gespräche noch besser!

Meine Unterbringung: The Corner

Übernachtet habe ich nahe des Hauptbahnhofs im Hotel "The Corner". Es liegt nur vier oder fünf Gehminuten vom Hauptbahnhof Frankfurt entfernt und bietet solide Unterbringung. Sehr schön fand ich das Bad. Der Fernseher war okay, das Bett angenehm.

Sparen konnte man sich das Frühstück. Für neun Euro kann man im direkt neben der Rezeption gelegenen "Wall Street Café" - nur leider kam mir das etwas teuer vor.

Leider war das Hotel etwas schlecht zu finden - oder ich bin doof. Damit es euch nicht genau so geht, hier ein Bild des Eingangs:

Das NH Hotel Niederrad - der Tagungsort

Wirklich super fand ich das Tagungshotel. Es gab ungefähr alle zwei Stunden Knabbereien und Kaffee und Mittags ein umfangreiches Buffet. Die Lage ist sicherlich nicht optimal, wenn man in der City etwas erledigen will, aber bis zum Hauptbahnhof braucht man nur 10 Minuten zu Fuß plus fünf Minuten mit der S-Bahn.

Sehr beeindruckend fand ich, wie schön die semi-öffentliche Toilette im Lobbybereich war. Konnte man sich wohl fühlen beim Händewaschen:

Köln for the win!

fabguy@gmx.de (FabGuy) — Sun, 10 Apr 2011 08:26:46 +0000

Ich treibe mich dieses Wochenende in Köln herum bevor ich morgen wieder ins Beraterleben abtauche. Die Stadt ist natürlich total toll, wenn man aus dem schwäbischen Dorf kommt (ja... Stutttgart ist ein Dorf. Also viele Dörfer zusammengesteckt, aber trotzdem!).

Am Samstag war Shopping angesagt, was hier ziemlich gut geht, da es nicht nur die eine Straße gibt, sondern sich in vielen Seitenstraßen auch Geschäfte finden. War echt nett, wobei ich mir nichts zugelegt habe (wer mich kennt ist vermutlich nicht überrascht).

Vorsicht beim Essen

Vorsichtig sein muss man, wenn es ums Essen geht. Während am Freitag im Brauhaus Sion alles super war, sind wir Samstag im Altstadt-Restaurant am Heumarkt total reingefallen.

Erst nach einer Stunde - unsere Getränke kamen spät und waren dann auch schon fast leer - wurde klar, dass der Kellner unsere Bestellung einfach nicht an die Küche weitergegben hat. Als wir dann auch noch ewig auf die Rechnung für unsere Cola warten mussten, waren wir schon echt genervt.

Anschließend sind wir umhergeirrt und beim Italiener direkt neben dem Brauhaus Sion zu landen - und da wieder schlechter Service. Die Dame war pampig und verstand Deutsch nur ganz schlecht.

Daher: Vorsicht, wenn ihr in Köln Essen geht. Am Besten hält man sich wohl von den Touristen-Ecken fern - die haben kein Interesse an Kundenbindung.

90er Jahre Disko im Alten Wartesaal

Abends gab es dann wieder ein Highlight: wir sind in die Diskothek "Alter Wartesaal" direkt zwischen Dom und Hauptbahnhof gegangen. Dort stieg 90s reloaded - jeder Song ein Klassiker und jede Melodie bekannt. Ich habe lauthals mitgesungen (haben sich meine Freunde bestmmt schon gedacht) und war die ganze Zeit auf der Tanzfläche.

Die Preise waren nicht so super - 8 Euro Eintritt, einsfünfzig für die Garderobe und dann noch Mal gut acht Euro für ne Vodka-Lemon... das ist nicht günstig.

Dafür war die Stimmung super und das Publikum sehr gemischt. Keine Teenies, dafür alles von 20 bis 45? 50? Was auffiel: kaum Hetero-Männer. Aber das liegt vielleicht an der Stadt. ;-)

Wir waren von halb eins bis ungefähr halb vier und haben fast durchgängig getanzt. Zum Abschluss ging es dann - wie es die Tradition erfordert, wie man mir sagte - in den McDonalds zum Burger-Essen.

Und dann leider in die Dusche, weil das Rauchverbot mißachtet wurde. Eeee-kel-ig!

Mein erster Tag als echter Berater

fabguy@gmx.de (FabGuy) — Mon, 04 Apr 2011 21:02:20 +0000

Tja - seit mehr als einem Monat bin ich nun als Berater bei einem Beratungsunternehmen angestellt.

Was bisher geschah...

Ich bin im Februar bei Capgemini eingestiegen und konnte die letzten Wochen einige interne Arbeit leisten, mich im Thema Social Media Analytics einarbeiten und mich über verschiedene Studien dem Gesamtkomplex Social Media Tools annähern.

Wo ich jetzt stecke...

Tja... jetzt bin ich endlich "auf Projekt" - ich sitze seit heute Mittag in Darmstadt beim Kunden und jetzt gerade im Hotel. Ich darf mich endlich Mal wieder in einem Business Intelligence Projekt einbringen und mein technisches Wissen mit meinem Domänenwissen verbinden.

Ich bin gespannt.

Wie das Hotel so ist...

Das Hotel Contel kostet nicht unglaublich viel, aber wirklich günstig finde ich es nicht.

Das Zimmer ist ziemlich groß, sieht jedoch etwas rustikal aus.

Das Bad finde ich okay - bin mal gespannt, wie es morgen früh mit dem Duschen wird.

Der Schreibtisch ist nicht sonderlich praktisch, aber akzeptabel.

Zeitumstellung - Warum nur?

fabguy@gmx.de (FabGuy) — Mon, 28 Mar 2011 07:04:17 +0000

Oh man! Es ist jetzt genau.... ähhh... ich glaub um acht. Oder doch schon Neun?

Wer es verpasst hat: es war Zeitumstellung am Wochenende - unsere Uhren wurden von 2 auf 3 gestellt, ihr habt also eine Stunde weniger geschlafen oder gefeiert oder wasauchimmmer.

Ich habe zu dem Thema eine ziemlich starke Meinung, da ich im IT-Umfeld schon ein paar Mal angeeckt bin mit diesem Zeug - darum hier ein paar Tipps und meine persönliche Meinung:

Warum eigentlich ne Zeitumstellung?

Die ursprüngliche Idee war, dass man doch Energie sparen kann, wenn man den länger anhaltenden Sonnenschein im Sommer nutzt. Darum hat man sich überlegt: wir stehen alle etwas eher auf und können Abends noch bei Sonnenlicht lesen. Eigentlich nicht doof. Geregelt ist sowas in Deutschland natürlich gesetzlich - das Einheiten- und Zeitgesetz (EinhZeitG) ist dafür gut.

Dummerweise ist dieser Nutzen recht fraglich - es gibt Studien, die besagen, dass es keine Energie spart. Auch sonst gibt es einen Haufen Probleme.

Warum störe ich mich daran?

Ich gehöre zum Glück nicht zu den Menschen, die sich über zu wenig Schlaf oder einen furchtbar gestörten Biorhythmus beschwerden müssen. Ich schlafe gut und stehe auch nach der Umstellung pünktlich auf. Aber hier ein paar Punkte, die auch mich stören:

nicht alle Uhren stellen sich automatisch um

Hallo?! Leben wir im Jahr 2011 oder was? Warum holt sich mein Videorekorder die Zeit nicht vom Fernseher? Der hat die doch mindestens im Videotext... Und mein Radio? Im RDS-Signal ist auch die Zeit drin. Die wird aber ignoriert und ich bekomme lieber die schöne blinkende vierfach-Null.

Von den manuellen Uhren reden wir lieber erst gar nicht. Überall in der Landschaft und der Wohnung stehen die rum und laufen einfach so weiter, als ob nichts gewesen wäre!

auch die Funkuhren stellen sich nicht zuverlässig um

Merkwürdig... dachte ich gestern, weil meine Funk-Solar-Armbanduhr immer noch die alte Zeit zeigte. Schade eigentlich. Grund dafür ist, dass die Uhr nur ein Mal am Tag auf das Zeitsignal lauscht. Das ist dummerweise zwischen 1 und 3 Uhr nachts - da das Signal um 1 empfangen wurde, hat sich meine Uhr gedacht: alles super. Hätte sie um 3 gelauscht, hätte sie gemerkt, dass sie eine Stunde zurück liegt. Naja... hat sich heute Nacht natürlich korrigiert.

es ist gesetzlich bestimmt

Das ist natürlich nicht per se schlimm (außer für die Hardcore-Liberalen... da gäbe es wohl ne Zeitbörse irgendwo, damit der Markt die aktuelle Uhrzeit regeln kann). Leider, leider haben Regierungen die Angewohntheit manchmal blöde Sachen zu beschließen. So wurde die Sommerzeit in Australien für die Olympischen Sommerspiele einfach Mal per Gesetz verlängert. Das war jetzt für die Meisten sicherlich nicht so schlimm, aber wenn ein IT-System ein Update braucht nur um mit der Uhrzeit an der Wand gleich zu ziehen, dann dreht sich bei mir durchaus was um.

Ich mag ja Ordnung und so. Da kommen (semi-)spontane Veränderungen der Uhrzeit bei mir gar nicht gut an.

Tipps zur Sommerzeit

Der wichtigste Tipp ist aus meiner Sicht: NICHTS in die Zeit zwischen 2 und 3 legen.

Das meint insbesondere Cronjobs. Ich habe das ein Mal erlebt, dass wichtige Jobs doppelt gelaufen sind. Und dann im Herbst gar nicht. Alles ein großer Spaß, wenn man es hinterher wieder sauber machen muss und die verlorene Zeit reinholen.

Der zweite Tipp: Ab-schal-ten, Ab-schal-ten!

Na... ihr kennt das ja jetzt aus dem Fernsehen. Bei uns im Schwäbischen wird gegen alles demonstriert (was ich absolut beführworte) und ich finde da sollte so ein Thema nicht fehlen! Wer gründet eine Bürgerinitiative und schreibt ne Petition? Ich verspreche, dass ich das dann auch garantiert belächle, wenn ich es auf Heise lese. :-D

Und der letzte Tipp: Genießen!

Ja... richtig gelesen. Ich habe das heute morgen genossen. Und warum? Weil ich die Chance habe, zu normaler Uhrzeit ins Büro zu fahren und trotzdem wieder den Sonnenaufgang zu genießen. Ein toller Anblick, der den Start in den Tag einfach viel schöner macht.

Mehr RAM bitte!

fabguy@gmx.de (FabGuy) — Thu, 10 Mar 2011 21:42:40 +0000

So! Ich habe mir eben weitere 4 GB RAM gegönnt. Der Einbau war dabei echt nervig!

Wer sorgt dafür, dass die Riegel so verdammt schwer in die RAM-Bänke gehen!??

Naja... manchmal braucht man viel Kraft und denkt, dass man das Mainboard zerbricht, aber es geht dann doch.

Jetzt muss ich noch Windows 7 installieren (Nur wegen den Spielen!), dann kann ich die auch nutzen. Für mein aktuelles 32-Bit Win XP ist es zumindest ein GB mehr geworden...