Sascha Dittmann

Webseitenpfade einer Windows Azure Web Rolle bestimmen

Mon, 14 May 2012 08:38:00 +0200

In einem meiner letzten Projekte sollte ein Startup Skript, sowie die Run Methode der RoleEntryPoint Klasse, auf die Webseiten einer Windows Azure Web Rolle zugreifen. Die Herausforderung hierbei bestand in den sich wechselnden Pfaden zu den Webseiten der Rolle. Diese können sich in verschiedenen Situationen, wie z.B. beim Upgrade der bestehenden Cloud Anwendung, ändern.

Genauer gesagt, ändert sich hierbei "nur" der Laufwerksbuchstabe.

Dennoch suchte ich nach einem Weg, der mir alle Webseitenpfade in Form einer Collection wiedergeben kann.

Die Lösung lag in der RoleModel.xml Datei der Web Rolle...

Die RoleModel.xml

Um an eine Auflistung aller Webseiten (inkl. relativer Pfadangabe) zu gelangen, kann die RoleModel.xml Datei verwenden werden.
Diese befindet sich im Stammverzeichnis der Web Rolle, welches über die Umgebungsvariable "RdRoleRoot" abgefragt werden kann.

Bespiel einer RoleModel.xml Datei:

<?xml version="1.0" encoding="utf-8"?>
<RoleModel xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xmlns:xsd="http://www.w3.org/2001/XMLSchema" 
  name="DemoApp.WebRole" version="1.6.21103.1459" 
  xmlns="http://schemas.microsoft.com/ServiceHosting/2008/10/ServiceDefinition">
  <Runtime>
    <EntryPoint>
      <NetFxEntryPoint assemblyName="DemoApp.WebRole.dll" />
    </EntryPoint>
  </Runtime>
  <Properties>
    <Property name="RoleType" value="Web" />
    <Property name="RoleName" value="DemoApp.WebRole" />
    <Property name="ProjectName" value="DemoApp.WebRole" />
    <Property name="Configuration" value="Release" />
    <Property name="Platform" value="AnyCPU" />
    <Property name="OutputDir" 
              value="C:\TFS\DemoApp\DemoApp\obj\Release\DemoApp.WebRole\" />
    <Property name="EntryPoint" value="CloudBloggers.WebRole.dll" />
    <Property name="SourceDir" value="C:\TFS\DemoApp\DemoApp.WebRole\" />
    <Property name="RoleTargetFramework" value="v3.5" />
    <Property name="SitePhysicalPath" 
              value="C:\TFS\DemoApp\DemoApp\obj\Release\DemoApp.WebRole\" />
    <Property name="OriginalItemSpec" 
              value="C:\TFS\DemoApp\DemoApp\DemoApp.ccproj" />
    <Property name="MSBuildSourceProjectFile" 
              value="C:\TFS\DemoApp\DemoApp\DemoApp.ccproj" />
    <Property name="MSBuildSourceTargetName" 
              value="ResolveSingleWebRoleReference" />
    <Property name="TargetFrameworkVersion" value="v3.5" />
    <Property name="TargetRuntimeVersion" value="v2.0" />
  </Properties>
  <Sites>
    <Site name="Web1" physicalDirectory="sitesroot\0">
      <Bindings>
        <Binding name="Endpoint1" endpointName="Endpoint1" />
      </Bindings>
    </Site>
    <Site name="Web2" physicalDirectory="sitesroot\1">
      <Bindings>
        <Binding name="Endpoint1" endpointName="Endpoint1" />
      </Bindings>
    </Site>
  </Sites>
</RoleModel>

Das Windows Azure Startup Task

Für das Windows Azure Startup Task, habe ich ein PowerShell Skript verwendet, da ich hierbei, ohne größeren Aufwand, Zugriff auf die Umgebungsvariable, sowie die Daten der XML Datei, erhalte:

$roleRoot = $Env:RdRoleRoot
$roleModelFile = Join-Path $roleRoot "RoleModel.xml"
$roleModel = [xml](Get-Content $roleModelFile)
foreach ($site in $roleModel.RoleModel.Sites.Site)
{
  Write-Output $site.name
  Write-Output $site.physicalDirectory
}

Die RoleEntryPoint Klasse

Für die Verwendung innerhalb der RoleEntryPoint Klasse, wurde eine statische Eigenschaft erstellt, die auch hier den Zugriff auf die XML Datei gewährt:

private static IEnumerable<string> WebSiteDirectories
{
  get
  {
    var roleRootDir = Environment.GetEnvironmentVariable("RdRoleRoot");
    if (roleRootDir == null)
      return Enumerable.Empty();
    XNamespace roleModelNs = 
      "http://schemas.microsoft.com/ServiceHosting/2008/10/ServiceDefinition";
    var roleModelDoc = XDocument.Load(Path.Combine(roleRootDir, "RoleModel.xml"));
    if (roleModelDoc.Root == null)
      return Enumerable.Empty();

    var sites = roleModelDoc.Root.Element(roleModelNs + "Sites");
    if (sites == null)
      return Enumerable.Empty();

    var siteElements = sites.Elements(roleModelNs + "Site");

    return
      from siteElement in siteElements
      where siteElement.Attribute("name") != null
            && siteElement.Attribute("name").Value == "Web"
            && siteElement.Attribute("physicalDirectory") != null
      select Path.Combine(roleRootDir, 
             siteElement.Attribute("physicalDirectory").Value);
  }
}

Weitere Informationen:

Verwendete Bildquellen:
© Barbara Eckholdt / PIXELIO

Windows Azure Gewinnspiel "Ziehen Sie um in die Cloud"

Wed, 09 May 2012 15:40:00 +0200

Microsoft Deutschland veranstaltet wieder einmal ein Gewinnspiel zum Thema Windows Azure unter dem Namen "Ziehen Sie um in die Cloud".
Für die Teilnahme muss eine bereits existierende oder von Mircosoft vorgefertigte Anwendung in die Cloud hochgeladen und gestartet werden.
Dafür können Interessierte einen kostenlosen Testzugang nutzen oder, als Inhaber einer MSDN Subscription, ihr Freikontingent einsetzen.

Für jeden aktiven Tester von Windows Azure gibt es bis zum 31.05.2012 einen 10 € Essensgutschein und die Chance auf weitere Preise:

1 x 500 € IKEA Gutschein
3 x Visual Studio 2010 mit Gratis-Update auf Visual Studio 11
5 x Visual Studio LightSwitch 2011

Die genauen Details, können der Gewinnspielseite entnommen werden.

Weitere Informationen:

dotnet Cologne 2012 - RavenDB auf Windows Azure

Tue, 08 May 2012 08:32:00 +0200

Am vergangen Freitag war es wieder soweit:
Die dotnet Cologne öffnete zum vierten mal seine Pforten.

Aydin Mir Mohammadi, Alexander Zeitler und ich sind hierbei kurzfristig für Thorsten Hans eingesprungen und haben einen Vortrag zum Thema "RavenDB, schnell und skalierbar" gehalten...

Hintergründe zur Themenwahl

Vor einigen Wochen kam Alexander Zeitler auf mich zu und frage, ob man RavenDB nicht auch in der Windows Azure Plattform betreiben könnte.

Spontan hatte ich leider keine Antwort, und ein Blick ins Internet war auch sehr ernüchternd.
Es gab zwar einige Lösungsansätze, aber die meisten davon waren entweder nicht skalierbar, veraltet oder unvollständig.

Aber prinzipiell sollte das doch funktionieren, oder!?

Also begannen wir unsere eigene Windows Azure Worker Role zu bauen, die die aktuelle RavenDB Version (Build 1.0.888) in die Microsoft Cloud bringen sollte.

Als dann Thorsten Hans kurzfristig bei der dotnet Cologne 2012 ausgefallen ist, war der Plan geboren, dieses Projekt der .NET Entwickler Community vorab zu präsentieren.

PowerPoint Slides

Source Code

Den aktuelle Source Code, haben wir auf github zur Verfügung gestellt:
http://github.com/SaschaDittmann/RavenDbOnAzure

Leider ist dieser noch ein wenig fehlerbehaftet.
Sobald aber eine gewisse Produktionsreife erreicht ist, geben wird dies in einem weiterem Blog Post bekannt.

Apache Hadoop für Windows Azure - MapReduce mit C#

Fri, 27 Apr 2012 08:33:00 +0200

Nachdem ich in meinem Blog Post "Apache Hadoop für Windows Azure - MapReduce mit JavaScript" einen MapReduce-Algorithmus mit JavaScript vorgestellt hatte, möchte ich diesmal das Ganze mit Microsoft Bordmitteln umsetzen.
Auch hier kommt wieder die Developer Preview der Apache Hadoop-based Services for Windows Azure zum Einsatz.

Hadoop Streaming

MapReduce-Algorithmen lassen sich, dank der Streaming-Funktionalität des Apache Hadoop Frameworks, in jeder Programmiersprache umsetzen, die auf dem zu Grunde liegenden Betriebssystem ausführbar ist.

Hadoop Streaming wurde standardmäßig für Text-Datenströme ausgelegt, obwohl in der Version 0.21.0 auch Binärströme implementiert wurden.

Da also die Apache Hadoop-based Services for Windows Azure auf Windows 2008 Server Instanzen ausgeführt werde, wollte ich einmal die Umsetzung mit dem .NET Framework, genauer gesagt mit C#, ausprobieren.

Das Map Programm

Das Map Programm bekommt hierbei den Text-Datenstrom Zeile für Zeile übermittelt, und gibt, über seine Konsolenausgabe, die Ergebnis Schlüssel / Wert - Paare (durch ein Tab-Zeichen getrennt) zurück.

Als Beispiel greife ich erneut das Wörterzählen-Szenario, aus dem Blog Post "Apache Hadoop für Windows Azure - MapReduce mit JavaScript", auf.
Somit würde der C# Code des Map Programms wie folgt aussehen:

using System;
using System.Text.RegularExpressions;

namespace WordCountMapper
{
  class Program
  {
    static void Main(string[] args)
    {
      string line;
      var regex = new Regex("[a-zA-Z]+");

      // Einlesen des Hadoop Datenstroms
      while ((line = Console.ReadLine()) != null)
      {
        foreach (Match match in regex.Matches(line))
        {
          // Schreiben in den Hadoop Datenstrom
          Console.WriteLine("{0}\t1", match.Value.ToLower());
        }
      }
    }
  }
}

Das Reduce Programm

Beim Reduce Programm wird der zu schreibende Code nicht ganz so schön, wie bei meinem JavaScript Beispiel, da zwar vom Hadoop MapReduce Framework die Liste der Schlüssel / Wert - Paare vorsortiert wird, aber gemeinsamen Werte nicht wie gehabt in einem Array, sondern Zeile für Zeile übermittelt werden.

using System;

namespace WordCountReducer
{
  class Program
  {
    static void Main(string[] args)
    {
      string line;
      string prevWord = null;
      int count = 0;

      // Einlesen des Hadoop Datenstroms
      while ((line = Console.ReadLine()) != null)
      {
        if (!line.Contains("\t"))
          continue;
        var word = line.Split('\t')[0];
        var cnt = Convert.ToInt32(line.Split('\t')[1]);

        if (prevWord != word)
        {
          if (prevWord != null)
            Console.WriteLine("{0}\t{1}", prevWord, count);

          prevWord = word;
          count = cnt;
        }
        else
          count += cnt;
      }

      Console.WriteLine("{0}\t{1}", prevWord, count);
    }
  }
}

Ausführen des MapReduce-Algorithmus

Die Vorbereitungen

Um den in C# entwickelten MapReduce-Algorithmus ausführen zu können, müssen als Erstes die kompilierten Konsolenapplikationen in das Hadoop Distributed File System (HDFS) übertragen werden.
Auch hier bietet sich wieder die Interaktive JavaScript Konsole an:

Für das spätere Wiederfinden der Assemblies, bieten sich absolute Pfadangaben, wie z.B. /examples/apps/WordCountMapper.exe, beim Upload an:

js> fs.put()
File uploaded.

Dann noch eine kurze Kontrolle, ob alles erfolgreich in Hadoop gelandet ist:

js> #ls texte
Found 17 items
-rw-r--r-- 3 Sascha supergroup  366 2012-04-26 16:48 /user/Sascha/texte/Faust_01.txt
-rw-r--r-- 3 Sascha supergroup  351 2012-04-26 16:48 /user/Sascha/texte/Faust_02.txt
-rw-r--r-- 3 Sascha supergroup  340 2012-04-26 16:48 /user/Sascha/texte/Faust_03.txt
-rw-r--r-- 3 Sascha supergroup  358 2012-04-26 16:48 /user/Sascha/texte/Faust_04.txt
-rw-r--r-- 3 Sascha supergroup 1071 2012-04-26 16:48 /user/Sascha/texte/Faust_05.txt
-rw-r--r-- 3 Sascha supergroup  335 2012-04-26 16:48 /user/Sascha/texte/Faust_06.txt
-rw-r--r-- 3 Sascha supergroup  353 2012-04-26 16:48 /user/Sascha/texte/Faust_07.txt
-rw-r--r-- 3 Sascha supergroup  583 2012-04-26 16:49 /user/Sascha/texte/Faust_08.txt
-rw-r--r-- 3 Sascha supergroup  659 2012-04-26 16:49 /user/Sascha/texte/Faust_09.txt
-rw-r--r-- 3 Sascha supergroup  170 2012-04-26 16:49 /user/Sascha/texte/Faust_10.txt
-rw-r--r-- 3 Sascha supergroup 1056 2012-04-26 16:49 /user/Sascha/texte/Faust_11.txt
-rw-r--r-- 3 Sascha supergroup  995 2012-04-26 16:49 /user/Sascha/texte/Faust_12.txt
-rw-r--r-- 3 Sascha supergroup 1128 2012-04-26 16:49 /user/Sascha/texte/Faust_13.txt
-rw-r--r-- 3 Sascha supergroup  489 2012-04-26 16:49 /user/Sascha/texte/Faust_14.txt
-rw-r--r-- 3 Sascha supergroup  609 2012-04-26 16:49 /user/Sascha/texte/Faust_15.txt
-rw-r--r-- 3 Sascha supergroup  611 2012-04-26 16:49 /user/Sascha/texte/Faust_16.txt
-rw-r--r-- 3 Sascha supergroup  444 2012-04-26 16:49 /user/Sascha/texte/Faust_17.txt

js> #ls /example/apps
Found 2 items
-rw-r--r-- 3 Sascha supergroup 5120 2012-04-26 16:46 /example/apps/WordCountMapper.exe
-rw-r--r-- 3 Sascha supergroup 5120 2012-04-26 16:46 /example/apps/WordCountReducer.exe

Bestimmen der NameNode IP Adresse

Um die hochgeladenen Dateien im HDFS eindeutig angeben zu können, benötigen wir noch die IP Adresse des HDFS Verzeichnisservers, genauer gesagt die des HDFS Name-Nodes.

Eine Einführung in den Aufbau und die Funktionsweise des HDFS werde ich in einem der kommenden Blog Post nachreichen.

Hierzu verbinden wir uns am Besten mit dem Name-Node-Server via Remote Desktop Connection:

Dieser enthält die Hadoop Konfigurationsdateien unter C:\Apps\dist\conf.
Die für uns interessante Konfigurationsdatei ist die core-site.xml.

Diese enthält u.a. die fs.default.name Einstellung:

Ausführen des MapReduce Jobs

Nachdem nun alle Vorbereitungen abgeschlossen sind, kann via JavaScript Konsole der Job gestartet werden:

js> runJar('apps/hadoop-streaming.jar', 
  '-files "hdfs://10.186.148.116:9000/example/apps/WordCountMapper.exe,
  hdfs://10.186.148.116:9000/example/apps/WordCountReducer.exe"
  -mapper "WordCountMapper.exe" -reducer "WordCountReducer.exe"
  -input "texte" -output "Woerter"')

Das MapReduce Protokoll

Das dabei entstehende Log, sieht wie folgt aus:

packageJobJar: [] [/C:/Apps/dist/lib/hadoop-streaming.jar] D:\Users\Sascha\AppData\Local\Temp\streamjob1630339583880296337.jar tmpDir=null
12/04/26 17:18:06 INFO mapred.FileInputFormat: Total input paths to process : 17
12/04/26 17:18:08 INFO streaming.StreamJob: getLocalDirs(): [/hdfs/mapred/local]
12/04/26 17:18:08 INFO streaming.StreamJob: Running job: job_201204261607_0002
12/04/26 17:18:08 INFO streaming.StreamJob: To kill this job, run:
12/04/26 17:18:08 INFO streaming.StreamJob: C:\Apps\dist/bin/hadoop job  -Dmapred.job.tracker=10.186.148.116:9010 -kill job_201204261607_0002
12/04/26 17:18:08 INFO streaming.StreamJob: Tracking URL: http://10.186.148.116:50030/jobdetails.jsp?jobid=job_201204261607_0002
12/04/26 17:18:09 INFO streaming.StreamJob:  map 0%  reduce 0%
12/04/26 17:18:33 INFO streaming.StreamJob:  map 18%  reduce 0%
12/04/26 17:18:34 INFO streaming.StreamJob:  map 82%  reduce 0%
12/04/26 17:18:35 INFO streaming.StreamJob:  map 100%  reduce 0%
12/04/26 17:18:54 INFO streaming.StreamJob:  map 100%  reduce 100%
12/04/26 17:19:06 INFO streaming.StreamJob: Job complete: job_201204261607_0002
12/04/26 17:19:06 INFO streaming.StreamJob: Output: Woerter

Das Ergebnis

Das Ergebnis kann, wie gewohnt, mit fs.read(...) angezeigt werden:

js> fs.read("Woerter")
ab              1
abendrot        1
aber            1
abgesponnen     1
ach             2
akkorden        1
alle            4
allein          1
allen           1
allenfalls      1
aller           1
allerliebste    1
allerschlimmste 1
alles           1
allgemeinen     1
als             2
alte            1
alten           1
alter           1
am              3
an              10
anblick         1
andern          1
angefochten     1
...

Die Blogs der deutschen Cloud Computing Community

Mon, 02 Apr 2012 09:10:00 +0200

Die "Azure Blogger vereinigt Euch" Initiative geht in die nächste Runde:
In Zusammenarbeit mit Christoph Wille und Alexander Zeitler ist ein News-Aggregator, für die deutschsprachige Cloud Computing Community, entstanden.

Neben den bereits bekannten Portalen, wie DotNetGeman Bloggers, SQLServerBlogs.de oder itproblogs.de, existiert seit wenigen Tagen ein neuer News-Aggregator für die Blogs der deutschen Cloud Computing-Community:

http://cloudbloggers.de

Hier sollen Blog Posts über Themen, wie z.B. die Windows Azure Plattform, Office 365 oder auch Windows Intune zu einem gemeinsamen News-Stream zusammengefasst werden.

Noch ist die Anzahl der aggregierten Blogs recht überschaubar, aber ich hoffe das sich das schnell ändern wird.

Für weitere Ideen, die diese Initiative vorantreiben können, sind wir Euch dankbar.
Hinterlasst einfach einen Kommentar auf diesem Blog Post.

Vorträge 2011: Einführung in die Windows Azure Plattform für Entwickler

Mon, 05 Mar 2012 13:38:00 +0200

In 2011 habe ich den Vortrag "Die Windows Azure Plattform - Eine Einführung für Entwickler" bei der .NET Online User Group (15. August 2011), sowie bei der .NET Usergroup Rhein-Neckar (05. Oktober 2011), gehalten.
Da vergangenen Samstag die Videoaufzeichnung des Vortrags online gestellt wurde, möchte ich die Gelegenheit nutzen, die Aufzeichnung, sowie aktualisierten Slides, in diesem Post zur Verfügung zu stellen.

Synopse

Die Windows Azure Plattform hatte ihren offiziellen Start am 01. Februar 2010 und wird seitdem stetig erweitert.
Dennoch wissen bislang wenige Entwickler welche Möglichkeiten Windows Azure bietet.

Dieser Vortrag liefert einen Überblick über die Konzepte bzw. Dienste der Windows Azure Plattform, wie z.B. die Windows Azure Rollen, Azure Storage & SQL Azure, die Azure Management API sowie die Windows Azure AppFabric.

Kombiniert mit einigen Code Beispielen und Erfahrungen aus der Praxis, soll so der Einstieg in die Softwareentwicklung mit Windows Azure vereinfacht werden.

.NET Online User Group

.NET User Group Rhein-Neckar

Dateien blockweise im Windows Azure Blob Storage speichern

Thu, 23 Feb 2012 15:53:00 +0200

In letzter Zeit stehe ich regelmäßig vor der Herausforderung größere Dateien, über eine langsame und teilweise instabile Verbindung, in den Windows Azure Blog Storage übertragen zu müssen.
Hierbei kommt es zwangsläufig zu Timeouts, sowie diversen Fehlermeldungen.
Eine Möglichkeit, mit dieser Herausforderung umzugehen, ist es die Dateien blockweise zu übertragen.

Dateien in einem Stück übertragen

Um eine Datei im Windows Azure Blob Storage zu speichern, würde man normalerweise wie folgt vorgehen:

Blob Client Objekt erzeugen.
Blob Referenz erzeugen und ggf. Meta-Daten angeben, wie z.B. den Content Type.
Blob mit der UploadFile Methode speichern.

var storageAccount = CloudStorageAccount
  .FromConfigurationSetting("AzureStorageConnectionString");
var blobClient = storageAccount.CreateCloudBlobClient();

var blob = blobClient.GetBlobReference("container/datei.bin");
blob.Properties.ContentType = "application/octet-stream";

blob.UploadFile(@"C:\datei.bin");

Dateien Block für Block übertragen

Was mache ich aber, wenn die Datei größer als 64 MB ist,
oder ich nur eine langsame, instabile Verbindung nutzen kann?

Die Lösung heißt Block Blob's

Hier bieten sich die Eigenschaften eines Block Blob's an, da dieser aus einer Sequenz von Blöcken besteht.

Genauer gesagt:

Diese Blöcke können einzeln übertragen werden und unterschiedlich groß sein (Max. 4MB).
Mehrere Blöcke können gleichzeitig hochgeladen werden.
Einzelne Blöcke können auch mehrfach übertragen werden, wie z.B. bei fehlerhaften Übertragen.
Sobald alle Blöcke übertragen wurden, kann der Vorgang durch einen Commit abgeschlossen werden.
Dieser Übertragungsvorgang kann jederzeit unterbrochen, und zu einem späteren Zeitpunkt fortgeführt, werden.
Nach einer Woche werden unbestätigte Blöcke automatisch verworfen.
Ein Block Blob kann aus maximal 50.000 bestätigten Blöcken bzw. 100.000 unbestätigten Blöcken bestehen.
Jeder dieser Blöcke wird über eine eindeutige, 64 Byte große, Block ID identifiziert.

Bei Dateien, die größer als 200MB und kleiner als 1TB sind, bieten sich Page Blobs an.

Datei aufteilen und übertragen

Um eine Datei in Blöcke zu zerteilen und diese einzeln zu übertragen, kann man wie folgt vorgehen:

using (var fileStream = new FileStream(fileName, 
  FileMode.Open, FileAccess.Read))
{
  var blockIdList = new List<string>();
  var blockId = 0;

  while(fileStream.Position < fileStream.Length)
  {
    // Buffergröße anhand der gewünschten Blockgröße (in KB)
    // bzw. anhand der restlichen Datenmenge bestimmen.
    var bufferSize = 
      blockSize * 1024 < fileStream.Length - fileStream.Position
      ? blockSize * 1024
      : fileStream.Length - fileStream.Position;
    var buffer = new byte[bufferSize];

    // Daten in das Bufferarray einlesen
    fileStream.Read(buffer, 0, buffer.Length);

    // Block zum Windows Azure Blob Storage übertragen
    using (var stream = new MemoryStream(buffer))
    {
      // Block ID konvertieren.
      var blockIdBase64 =
        Convert.ToBase64String(
          Encoding.UTF8.GetBytes(
            blockId.ToString(CultureInfo.InvariantCulture)
            .PadLeft(64, '0')));

      // Optional kann bei der PutBlock Methode ein
      // MD5 Hash zur Validierung angegeben werden.
      blob.PutBlock(blockIdBase64, stream, null);
      blockList.Add(blockIdBase64);
      blockId++;
    }
  }
}

Blöcke wieder zusammenführen

Nach der erfolgreichen Übertragung aller Blöcke, müssen diese beim Windows Azure Blob Storage als "vollständig" bestätigt werden:

// Hierbei ist die richtige Reihenfolge der Block-ID's entscheidend!
blob.PutBlockList(blockList);

Erst jetzt steht der Blob, wie gewohnt, zum Download zur Verfügung.

Beispielprojekt

Um das Ganze auch mal Live erleben zu können, habe ich diesem Blog Post ein Beispielprojekt angehängt.

Je nach Installationsverzeichnis des Windows Azure SDK, muss der Pfad zum Windows Azure Storage Emulator, in der UploadBlockBlobStorageForm.cs, angepasst werden:

#region Private Felder

private const string WindowsAzureEmulator = 
  @"C:\Program Files\Windows Azure Emulator\emulator\csrun.exe";

#endregion

Download der Beispielanwendung:
WABlockBlobStorageDemo1.zip (107,29 kb)

Weitere Informationen

Verwendete Bildquellen:
© Dieter Schütz / PIXELIO

Apache Hadoop für Windows Azure - MapReduce mit JavaScript

Tue, 14 Feb 2012 07:56:00 +0200

Meine Reise mit der Developer Preview des neuen Cloud Speicherdienstes "Apache™ Hadoop™-based Services for Windows Azure" geht weiter:
Diesmal stehen die Interaktive Konsole und ein einfacher MapReduce-Algorithmus mit JavaScript auf dem Plan.

Im meinem letzten Blog Post "Apache Hadoop Dienste für Windows Azure (Developer Preview)" hatte ich von der Erstellung eines eigenen Hadoop Clusters berichtet.
Nachdem dieses dann einsatzbereit war, wollte ich mich auf den Weg zu ein wenig Quellcode machen.

Doch eine grundlegende Frage beschäftigte mich:

Was ist MapReduce?

Eine kurz Suche im Internet ergab, dass es sich um einen von Google entwickelten Algorithmus handelt, mit dessen Hilfe man verteile Berechnungen über große Datenmengen (im Petabyte-Bereich) durchführen kann.

Hierzu müssen eine Map- sowie eine Reduce-Funktion zur Verfügung gestellt werden.
Optional kann zusätzlich eine Combine-Funktion angegeben werden.

Die Map-Funktion

Die Map-Funktion berechnet dann, pro Knoten im Cluster, einen Teil des Gesamtergebnisses.
Die so entstehenden Zwischenergebnisse, werden in einer Liste von Schlüssel-Wert-Paaren (Key-Value-Pairs) zurückgegeben.

Die Combine-Funktion

Falls eine Combine-Funktion implementiert wurde, wird dieses auf dem gleichen Clusterknoten wie die Map-Funktion ausgeführt.

Ziel ist es hierbei die Menge der Zwischenergebnisse zu verkleinern, um die darauffolgende Netzwerkbelastung, die bei der Übertragung der Zwischenergebnisse entsteht, zu minimieren.

Die Reduce-Funktion

Wurden alle Map- und Combine-Funktionen erfolgreich durchgeführt, beginnt die Reduce-Phase.

Hierbei berechnet die Reduce-Funktion aus den Zwischenergebnismengen die Gesamtergebnismenge.

Doch wie funktioniert dies in der Praxis?

Als einfaches Beispiel möchte ich das Wörterzählen in Textdateien aufgreifen.

Die Interaktive Konsole

Zu Beginn loggte ich mich also in mein Cluster der Apache™ Hadoop™-based Services for Windows Azure ein.

Im Dashboard wählte ich anschließend die Interaktive Konsole aus:

Mit der Interaktiven Konsole kann, mittels JavaScript Funktionen bzw. UNIX-ähnlichen Befehlen, auf das verteilte Dateisystem zugegriffen werden. Außerdem stehen weitere Funktionalitäten, wie z.B. das Starten von Berechnungen oder die Anzeige von einfachen Graphen, zur Verfügung.

Die Vorbereitungen

Um ein wenig Text zum analysieren zu haben, bediente ich mich einiger Passagen aus Goethes Faust I.
Diese speicherte ich absatzweise in einzelne Textdateien.

In der Konsole musste ich dann nur noch ein Verzeichnis für die Texte erstellen, ...

js> #mkdir texte

... sowie die einzelnen Dateien in das Hadoop Dateisystem (HDFS) hochladen.

js> fs.put()
File uploaded.

Dann noch eine kurze Kontrolle, ob alles erfolgreich in Hadoop gelandet ist ...

js> #ls
Found 2 items
drwxr-xr-x - MyUser supergroup    0 2012-02-12 /user/MyUser/.oink
drwxr-xr-x - MyUser supergroup    0 2012-02-12 /user/MyUser/texte

js> #ls texte
Found 17 items
-rw-r--r-- 3 MyUser supergroup  366 2012-02-12 /user/MyUser/texte/Faust_01.txt
-rw-r--r-- 3 MyUser supergroup  351 2012-02-12 /user/MyUser/texte/Faust_02.txt
-rw-r--r-- 3 MyUser supergroup  340 2012-02-12 /user/MyUser/texte/Faust_03.txt
-rw-r--r-- 3 MyUser supergroup  358 2012-02-12 /user/MyUser/texte/Faust_04.txt
-rw-r--r-- 3 MyUser supergroup 1071 2012-02-12 /user/MyUser/texte/Faust_05.txt
-rw-r--r-- 3 MyUser supergroup  335 2012-02-12 /user/MyUser/texte/Faust_06.txt
-rw-r--r-- 3 MyUser supergroup  351 2012-02-12 /user/MyUser/texte/Faust_07.txt
-rw-r--r-- 3 MyUser supergroup  581 2012-02-12 /user/MyUser/texte/Faust_08.txt
-rw-r--r-- 3 MyUser supergroup  657 2012-02-12 /user/MyUser/texte/Faust_09.txt
-rw-r--r-- 3 MyUser supergroup  168 2012-02-12 /user/MyUser/texte/Faust_10.txt
-rw-r--r-- 3 MyUser supergroup 1054 2012-02-12 /user/MyUser/texte/Faust_11.txt
-rw-r--r-- 3 MyUser supergroup  993 2012-02-12 /user/MyUser/texte/Faust_12.txt
-rw-r--r-- 3 MyUser supergroup 1126 2012-02-12 /user/MyUser/texte/Faust_13.txt
-rw-r--r-- 3 MyUser supergroup  487 2012-02-12 /user/MyUser/texte/Faust_14.txt
-rw-r--r-- 3 MyUser supergroup  609 2012-02-12 /user/MyUser/texte/Faust_15.txt
-rw-r--r-- 3 MyUser supergroup  611 2012-02-12 /user/MyUser/texte/Faust_16.txt
-rw-r--r-- 3 MyUser supergroup  444 2012-02-12 /user/MyUser/texte/Faust_17.txt

... und schon konnte ich zum eigentlich Coding übergehen.

MapReduce mit JavaScript

Die Map-Funktion

Die Map-Funktion generiert für jedes Wort in der Textdatei einen Eintrag (Key-Value-Pair) und fügt diesen der Zwischenergebnismenge hinzu.
Hierzu wird ein Regulärer Ausdruck, sowie eine Schleife, benutzt.

var map = function (key, value, context)
{
  var words = value.split(/[^a-zA-Z]/);
  for (var i = 0; i < words.length; i++) {
    if (words[i] !== "") {
      context.write(words[i].toLowerCase(), 1);
    }
  }
};

Die Combine-Funktion

Da für jedes Wort ein Key-Value-Pair mit der Anzahl 1 erstellt wird, können diese in der Combine-Funktion bereits vorsummiert werden.

Außerdem können unerwünschte Wörter herausgefiltert werden, wie z.B. "und", "der", "die", "das", etc., da auf Grund der unterschiedlichen Häufigkeit von Wörtern in der natürlichen Sprache, bei einem deutschen Text sehr oft eine Ausgabe in der Form ("und", 1) erzeugt werden würde.

var combine = function (key, values, context) {
  var sum = 0;
  if (key == 'und' 
     || key == 'der'
     || key == 'die' 
     || key == 'das') return;
  while (values.hasNext()) {
    sum += parseInt(values.next());
  }
  context.write(key, sum);
};

Die Reduce-Funktion

Identisch zur Combine-Funktion, werden bei der Reduce-Funktion die Zwischenergebnisse aufsummiert, um die Gesamtsummen aller Textdateien zu erhalten.

var reduce = function (key, values, context) {
  var sum = 0;
  while (values.hasNext()) {
    sum += parseInt(values.next());
  }
  context.write(key, sum);
};

JavaScript Funktionen ausführen

Die nun definierten Funktionen können auf unterschiedliche Arten ausgeführt werden:

Direkt

Die erste Möglichkeit, die ich hierbei vorstellen möchte, benötigt in der hochgeladenen JavaScript Datei eine Funktion, die als Hauptprogramm dient.

Dies könnte in unserem Beispiel wie folgt aussehen:

var main = function (factory) {
    var job = factory.createJob("woerterZaehlen", "map", "reduce");
    job.setCombiner("combine");
    job.waitForCompletion(true);
};

Anschließend kann man das Ganze, unter Angabe der JavaScript Datei, sowie einem Quell- und Zielverzeichnis, starten:

js> #ls
Found 3 items
drwxr-xr-x - MyUser supergroup   0 2012-02-13 13:40 /user/MyUser/.oink
-rw-r--r-- 3 MyUser supergroup 661 2012-02-13 16:52 /user/MyUser/WordCount.js
drwxr-xr-x - MyUser supergroup   0 2012-02-13 15:10 /user/MyUser/texte

js> runJs("WordCount.js", "texte", "woerter")
View Log

Mit Pig verfeinern

Eine weitere Möglichkeit stellt das Einbetten in Apache Pig dar.
Hierbei kann der Output-Stream des eingebetteten MapReduce-Algorithmus, mittels des Pig Latin Syntax, weiter verfeinert werden.

js> pig.from("texte").mapReduce("WordCount.js", "word, count:long")
    .orderBy("count DESC").take(15).to("Top15Woerter")
View Log

Im hier gezeigten Beispiel wird nach "count" sortiert und nur die ersten 15 Schlüssel/Wert-Paare im Output-Stream gespeichert.

Die Live-Ansicht des Protokolls, kann über den Link "View Log" angezeigt werden.

Ergebnisse Anzeigen

Nachdem der MapReduce-Job erfolgreich beendet wurde, kann die Ergebnismenge mit folgendem Befehl angezeigt werden (inkl. Objektreferent zur weiteren Verarbeitung):

js> ergebnisse = fs.read("Top15Woerter")
ihr	25
ein	23
sich	22
was	20
es	19
ich	17
nicht	16
zu	16
euch	16
ist	16
in	15
sie	14
man	14
so	14
mit	13

Diese Ergebnismenge kann anschließend, mit Hilfe der o.g. Objektreferenz, in ein JSON-Objekt umgewandelt, ...

js> daten = parse(ergebnisse.data,"Wörter, Anzahl:long")
[
    0: {
        Wörter: "ihr"
        Anzahl: 25
    }
    1: {
        Wörter: "ein"
        Anzahl: 23
    }
    2: {
        Wörter: "sich"
        Anzahl: 22
    }
    3: {
        Wörter: "was"
        Anzahl: 20
    }
    4: {
        Wörter: "es"
        Anzahl: 19
    }
    5: {
        Wörter: "ich"
        Anzahl: 17
    }
    6: {
        Wörter: "nicht"
        Anzahl: 16
    }
    7: {
        Wörter: "zu"
        Anzahl: 16
    }
    8: {
        Wörter: "euch"
        Anzahl: 16
    }
    9: {
        Wörter: "ist"
        Anzahl: 16
    }
    10: {
        Wörter: "in"
        Anzahl: 15
    }
    11: {
        Wörter: "sie"
        Anzahl: 14
    }
    12: {
        Wörter: "man"
        Anzahl: 14
    }
    13: {
        Wörter: "so"
        Anzahl: 14
    }
    14: {
        Wörter: "mit"
        Anzahl: 13
    }
]

sowie als Balkengrafik angezeigt werden.

js> metadaten = { title: "Top 15 Wörter", orientation: 30, x: "Wörter", y: "Anzahl" }
{
    title: "Top 15 Wörter"
    orientation: 30
    x: "Wörter"
    y: "Anzahl"
}

js> graph.bar(daten, metadaten)

Apache Hadoop Dienste für Windows Azure (Developer Preview)

Tue, 07 Feb 2012 07:26:00 +0200

Eine weitere NoSQL Implementierung für die Windows Azure Plattform kündigt sich an:
Zum bisherigen Key-Value-Pair Speicher, dem Windows Azure Table Storage, wird in Zukunft ein weiterer Speicher für große Datenmengen (Big Data, Petabyte-Bereich) hinzukommen.
Dieser Speicherdienst baut auf dem Apache™ Hadoop™ Framework auf.

Diese Meldung erreichte mich Ende Letzten Jahres und erweckte mein Interesse.
Doch was ist eigentlich Hadoop?

Apache™ Hadoop™

Apache™ Hadoop™ ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem bekannten MapReduce-Algorithmus von Google Inc., sowie auf Vorschlägen des Google-Dateisystems. Hadoop wurde ursprünglich durch den Lucene-Erfinder Doug Cutting initiiert.
Am 23. Januar 2008 wurde es zum Top-Level-Projekt der Apache Software Foundation.
Quelle: http://de.wikipedia.org/wiki/Hadoop

Anmelden zur Developer Preview

Mitte Dezember war es dann soweit.
Die Apache™ Hadoop™-based Services for Windows Azure standen als Developer Preview zur Verfügung.

Um einen der begehrten Zugänge zu bekommen, musste man sich unter folgendem Link bewerben:
Microsoft Connect: Apache Hadoop for Azure & Windows Server

Gesagt - Getan!

Einige Tage später traf dann auch die Willkommens-Email ein.

Erstellen eines Hadoop Clusters

Um die Hadoop Dienste für Windows Azure dann auch testen zu können, muss man zuerst ein Cluster anfordern:

Hierzu müssen ein DNS Name, eine Cluster Größe und ein Benutzerkonto für das Cluster angegeben werden.

Anschließend dauert es einige Minuten bis die einzelnen Clusterknoten ...

... und Netzwerkeinstellungen erstellt wurden.

Während dieses Erstellungsprozesses, kann der Browser zwischenzeitlich geschlossen werden.

Nachdem das Cluster erstellt wurde, kann dieses für 2 Tage genutzt werden, bevor es automatisch gelöscht wird:

Wie geht es weiter?

In den nächsten Wochen werde ich mich mit diesen neuen Diensten für Azure beschäftigen.
Besonders die MapReduce Implementierung und das verteilte Dateisystem (HDFS) stehen im Fokus.

Gibt es noch weitere Themen, die ich mir in diesem Zusammenhang ansehen sollte?
Wenn ja, können diese gerne als Kommentar, am Ende dieses Artikels, hinterlassen werden.

Welcher Browser unterstützt welche HTML5-Features

Fri, 03 Feb 2012 08:07:00 +0200

Je mehr ich mich in letzter Zeit mit den umfangreichen und spannenden Funktionen von HTML5 und CSS3 beschäftige, desto häufiger stelle ich mir die Frage:
Welcher Browser unterstützt eigentlich welche HTML5-Features?
Abhilfe schaffen u.a. zwei Suchmaschinen, die die HTML5- bzw. CSS3 Browserkompatibilität detailliert darstellen.

Eine rein technische Sicht der Dinge liefert hierbei die When can I use... Seite.
Über die Suchmaske kann nach HTML5-, CSS3- und SVG-Befehlen gesucht werden.

Wer noch zusätzlich ein paar Tipps & Tricks gezeigt haben möchte, findet bei dem Community Projekt HTML5 Please Rat: