Transcription

Hallo und willkommen zu diesem Video.
Heute möchte ich darüber sprechen, wie eine Suchmaschine funktioniert.

Das wird der erste Teil sein von zwei oder drei Ausgaben, die die Funktion der Suchmaschinen betreffen. Da die Funktion der Suchmaschinen sehr umfangreich ist, möchte ich heute im ersten Teil nur die Grundfunktionen abdecken.

Ich werde also erklären, wie eine Suchmaschine grundsätzlich funktioniert. Alle weiteren Dinge wie Filter und Algorithmen möchte ich in der nächsten Ausgabe abdecken.

Zuerst ist es einmal wichtig zu wissen, was der Unterschied zwischen einem Web-Verzeichnis bzw. Web-Katalog und einer Suchmaschine ist.

In das Web-Verzeichnis oder den Web-Katalog werden URLs manuell vom Seitenbetreiber oder vom Betreiber des Verzeichnisses eingetragen. Die Suchmaschine hingegen betreibt Cralwer oder Robots die mehr oder weniger automatisch das Web crawlen. In diesem Fall ist keine manuelle Eingabe einer URL notwendig. Daher ist natürlich die Menge an URLs, die eine Suchmaschine indexieren kann, weit größer als dies manuell gemacht werden könnte.

Auch wichtig zu wissen ist, dass die Suchmaschine Daten auf andere Weise als ein Web-Katalog speichert. Ein Web-Katalog oder Web-Verzeichnis verwendet fixe Datenbankstrukturen, wie z. B. eine MySQL-Datenbank oder eine Access Datenbank. Jedenfalls werden die Informationen in Tabellen abgespeichert. Dies ist bei der Suchmaschine nicht so.

Wir werden in der nächsten oder übernächsten Ausgabe hören, wie das genau passiert. Es handelt sich um ein sogenanntes „Information Retrieval System“, das es der Suchmaschine erlaubt, das relevanteste Ergebnis zu präsentieren. Dies wäre nicht möglich, wenn es in Tabellen gespeichert würde. Aber dazu mehr in der nächsten oder übernächsten Ausgabe.

Das User-Interface ist mehr oder weniger alles, was wir von diesem ganzen Grundgerüst im Hintergrund sehen. Damit ist eigentlich nur die Startseite der Suchmaschine gemeint, etwa bei Google der Suchschlitz, in den man die Frage oder Suchbegriffe eingibt. Hier versucht die Suchmaschine, Ihnen die relevanteste Information ganz oben auszuliefern.

Je relevanter eine Information ist, umso weiter oben versucht Google oder auch jede andere Suchmaschine diese auszugeben. Hier ist es wichtig zu wissen, dass diese Ergebnisse keine Live-Ergebnisse sind. Jedes Ergebnis, das hier angezeigt wird, durchläuft diesen ganzen Prozess. Es gibt natürlich noch mehr Prozesse, etwa spezielle Filter oder Algorithmen, die dann bestimmen, in welcher Position zum Beispiel Ihre Website angezeigt wird, für wie relevant sie also von der Suchmaschine gesehen wird.

Kommen wir zum Grundaufbau der meisten Suchmaschinen. Bei den meisten  Suchmaschinen ist die Grundstruktur dieselbe. Das heißt, Sie haben:

A) einen Scheduler.
Der Scheduler ist mehr oder weniger der “Chef” oder “Manager” der Crawler. Das heißt, er kümmert sich darum, dass die Crawler immer etwas zu tun haben. Er managt die Crawler. Das heißt, ein Crawler hat zwei Aufgaben, die von der Suchmaschine bestimmt werden. Manche Suchmaschinen legen sehr viel wert darauf, den Index enorm zu erweitern. Andere gehen eher dazu über, den Index zu pflegen und bereits gecrawlte Seiten erneut zu crawlen, um sicherzustellen, dass die Daten noch da sind oder die Datenqualität noch gegeben ist.
Es gibt auch  Suchmaschinen, die das in Form von Wellen machen. Manchmal stellen sie die Erweiterung in den Vordergrund, manchmal die Pflege, so dass der Scheduler mit Informationen aus dem Index die Crawler anweist, entweder neue Daten zu sammeln oder eben bestimmte URLs zu crawlen. So kann er feststellen, ob diese immer noch aktuell sind. Es findet hier also eine Kommunikation zum Crawler statt. Der Crawler kann z.B. dem Scheduler mitteilen, dass er frei ist für den nächsten Job. Dann kann der Scheduler ihm eine neue URL zuweisen. Oder er arbeitet gerade an einem Job, oder er wartet auf einen Response von einem Server, oder er lädt gerade etwas herunter. So weiß der Scheduler, was passiert, und kann die Last gleichmäßig auf die Crawler verteilen, so dass diese so viele Dokumente wie möglich durchsuchen können.

Je nach Suchmaschinen-Größe gibt es natürlich  Suchmaschinen wie Google, die zigtausende Crawler betreiben. Im Normalfall setzen die Suchmaschinen-Betreiber auf Linux-Servertechnik, auf einzelne Linux-Server. Eine Suchmaschine betreibt dann mehrere tausend Linux-Server. Dieses System bietet folgenden Vorteil: Wenn einer dieser Linux-Server ausfällt, fällt das nicht ins Gewicht, da ein paar tausend andere immer noch normal arbeiten. Der Scheduler wird dann merken, dass dieser Crawler nicht mehr crawlt, oder dass dort irgendetwas passiert ist, und er wird an diesen Crawler keine Aufträge mehr zuweisen, bis dieser Crawler oder diese Hardware ausgetauscht ist.

Dann wird er wieder Aufträge an diesen Crawler weitergeben. So bleibt permanent das ganze System am Leben. Es ist also nicht so, dass ein großer Server ausfallen kann, der für das ganze Crawling verantwortlich ist, und das System stehen bleibt. Der Crawler hat also die Aufgabe, die URL aufzurufen, die er vom Scheduler bekommen hat. Dann lädt er die Daten herunter oder prüft, ob dieses Dokument noch dasselbe ist, wie es im Index vorliegt.

Der ganze Prozess läuft so ab:

Der Scheduler gibt dem Crawler die URL. Der Crawler wird dann die Domain auflösen, d.h. er ermittelt die dahintersteckende IP. Er geht dann über die IP auf die Website und führt einen HTTP-Request aus.

Dabei verwendet er die GET-Methode, um Dokumente downzuloaden. Hier wird nicht nur der Inhalt, sondern auch die Header-Information heruntergeladen. Die ist dann später wichtig für den Store Server. Der Store Server entscheidet auch anhand der Header-Information, was er mit den Dokumenten machen wird, die ihm von den Crawlern übergeben werden.

Es werden also Dokumente heruntergeladen und vom Crawler an den Store-Server übergeben. Der Crawler meldet dann zurück an den Scheduler, dass er jetzt wieder frei ist für den nächsten Auftrag.

Hier ist noch zu anzumerken, dass es spezielle Crawler für PDFs oder für Flash gibt. Dabei handelt es nicht um Spezielle-Crawler. Manche dieser Crawler können bereits nach dem Crawl eine Konvertierung vornehmen, so dass sie dem Store Server schon konvertierte Daten (beispielsweise ist PDF schon ein Text) übermitteln können.

Der Store Server dient der Speicherung der Daten, die vom Crawler übermittelt wurden. Er wird aber auch eine Überprüfung des Headers und damit eine Erweiterung des Index vornehmen und  anschließend den Index updaten. Wenn also zum Beispiel zum Dokument vom Crawler der Statuscode 200 mitgeliefert wird, weiß der Store Server, dass alles in Ordnung ist und die Webseite oder der Speicherplatz erreicht werden konnte. Er wird die Information vom Crawler weiterverarbeiten und dann den Index und das Repository updaten. Wenn es zum Beispiel die 301 ist, weiß er: Diese alte URL besteht nicht mehr. Es gibt ein Redirect und er informiert den Indexer die Anweisung, dass diese alte URL gegen die neue Redirect-URL ausgetauscht wird.

Ein 404 Error hat zur Folge, dass der Store Server dem Indexer anweist, die URL zu löschen, da eine Fehlermeldung zurückkommt. So kann Speicherplatz gespart werden. Die Server Errors 500 oder 503 “Server nicht erreichbar” bedeuten: Die Suchmaschine setzt eine interne Markierung und wird die Seite später nochmal crawlen. Es sollte natürlich nicht zu oft passieren, dass eine 500-Fehlermeldung auftritt, da man dann aus dem Index fliegt und der Store Server zu viele Markierungen hat und die URL rausschmeißt.

Das ist übrigens die erste Möglichkeit, mit seiner Webseite von der Suchmaschine abgewiesen zu werden. Wenn Sie z.B. einen 404-Fehler oder öfter einen 500-Fehler haben, kann es  sein, dass Sie gar nicht erst aufgenommen werden oder rausfliegen. Das ist auch der Fall, wenn Sie irgendeine seltsame Datei zur Verfügung stellen, die weder der Crawler lesen noch der Store Server auswerten kann.

Es kann auch passieren, dass Sie in Ihrer URL irgendwelche Wörter haben, die in manchen Ländern “blacklisted”, also verboten sind oder aus anderen Gründen auf einer Blacklist stehen. Dann kann es passieren, dass die URL nicht in einen Index aufgenommen wird. Duplicate Content: Sobald erkannt wird, dass ein Duplicate Content vorliegt, wird Ihre URL ebenfalls nicht aufgenommen. Das passiert mit einer sogenannten Check-Sum, eine Art MD5-Schlüssel. Das sind Zahlen- und Buchstabenkombinationen, in denen die Informationen der Webseite enthalten sind, z.B. der Meta Title, die URL, der Inhalt. Aus diesen ganzen Informationen wird ein Schlüssel erstellt, und sollte dieser Schlüssel auf eine andere URL oder den Inhalt einer anderen Seite zutreffen, weiß die  Suchmaschine, dass es sich um einen Duplicate Content handelt.

Sie wird dann die URL nicht in den Index aufnehmen. Ein eher seltener Fall ist, wenn Sie z.B. bei einem großen Anbieter wie Strato oder 1und1 eine Subdomain benutzen und Ihre Webseite relativ tief verschachtelt ist. Diese tiefstrukturierten URLs werden dann nicht in den Index aufgenommen, weil davon ausgegangen wird, dass sie nicht besonders wichtige Informationen enthalten können.

Das Repository ist im Endeffekt nichts weiter als ein Datenspeicher, der größtenteils HTML-Dokumente in Originalversion enthält. Diese bekommt er vom Store Server über den Crawler geliefert.

Alle Dokumente, die vom Store Server übergeben werden, erhalten eine Doc ID. Sollte es später zu einem Update kommen, das der Crawler liefert, kann dieses Dokument anhand der Doc ID identifiziert werden und wird dann upgedatet. Des Weiteren gibt es noch den Document Index. Hier sind z.B. Länge der URL, Zeitstempel des letzten Crawls, Zeitpunkt des letzten Updates, Doc Type (Art des Dokuments), Informationen des robots.txt, Informationen der Meta Tags, Severinformationen, Informationen, auf welchem Host die Seite liegt, welche ID sie hat, und weitere Informationen gespeichert.

Ich denke, das war genug für den ersten Teil. Im nächsten Teil werde ich genauer auf die Filter und auf verschiedene Algorithmen eingehen, die von Suchmaschinen verwendet werden, um die Datenqualität feststellen zu können und das Ranking damit zu beeinflussen.

Danke für’s Zuschauen.

Transcription

Hallo und herzlich Willkommen, mein Name ist Harald Tschuggnall und heute möchte ich mit Ihnen über das ideale Grundgerüst für eine SEO-freundliche Website sprechen.

Zuerst steht natürlich die Auswahl der Domain an, wenn Sie nicht schon eine Domain für Ihr Unternehmen registriert haben oder wenn Sie nicht sowieso schon die Domain für Ihr Unternehmen haben, sollten Sie eine Domain wählen, die was mit Ihrer Marke zu tun hat, oder mit Ihrem Bereich, das heißt, Sie sind zum Beispiel eine Autowerkstatt in Wien, dann wäre es sehr hilfreich für Sie, wenn Sie zum Beispiel autowerkstatt-wien.at reservieren würden.

Zweitens, wenn Sie die Auswahl getroffen haben, der Domain, dann müssen Sie die Domain registrieren. Hier gibt es ein paar Punkte, auf die Sie achten sollten, Sie sollten zum Beispiel darauf achten, dass die email-Adresse, die Sie hinterlegen, bei der Reservierung der Domain auf jeden Fall bei Ihnen ankommt. Sollte das nämlich nicht der Fall sein, wird es schwierig, in Zukunft, wenn Sie einen Wechsel veranlassen wollen oder gar irgendwer anderer Ihre Domain übernehmen möchte, werden Sie Probleme bekommen, weil es läuft eigentlich alles über die email ab. Der dritte Schritt und sehr wichtige Schritt ist die Entscheidung für das Hosting, also für den Speicherplatz Ihrer Website. Hier hängt es natürlich ab von den Leistungen oder von der Technik, die Sie auf Ihrer Website anbieten oder haben werden. Im Endeffekt sind hier einige Sachen technisch, aber auch Sachen wie das Backup sind zum Beispiel SEO-relevant. Stellen Sie sich vor, Sie werden gehackt und schaffen es nicht, Ihre Website wieder herzustellen, oder innerhalb einer Woche wieder herzustellen. Der Google Crawler kommt vorbei bei Ihnen und findet kein mail mehr oder eine beschädigte Seite. Dann ist es auch nicht besonders gut für Ihre Rankings. Also irgendwie sind die meisten dieser Produkte auch SEO-relevant. Fangen wir an mit dem Land, hier meine ich den Server-Standort, in welchem Land der Server-Standort sein sollte. Man hat bis jetzt immer davon gesprochen, dass es sehr wichtig ist, dass der Server-Standort in dem Land ist, wo Sie das meiste Geschäft machen möchten, oder wo Sie Ihr Produkt verkaufen möchten. Hier gibt es gegenseitige Annahmen, ich habe auch schon davon gehört, dass Leute den Server-Standort gleich gelassen haben und nur durch die Änderung GEO Location im Webmaster-Tool in jedem Land ranken konnten. In Hinsicht auf die Cloud, das heißt, das Speichern in der Cloud, könnte das stimmen. Wir gehen auch davon aus, dass der Server-Standort nicht mehr eine allzu große Bedeutung hat,  dass es eher darum geht, welche GEO Location Sie der Domain zuweisen.

Ein zweiter wichtiger Punkt ist natürlich die Schnelligkeit Ihres Servers, Sie sollten vermeiden, dass Ihre User zu lange warten müssen, speziell wenn Sie eine e-commerce Website betreiben, ist es sehr wichtig, dass die User schnell dorthin kommen, wo sie wollen, sonst werden sie abspringen. Hier ist es zu überlegen, ob man Services wie CBN oder Cloud-Services verwendet. CNB ist nichts Anderes als die Daten werden verteilt, das heißt, das wäre interessant, wenn Sie international agieren, dann, wenn Sie zum Beispiel in Österreich oder in Deutschland Ihren Shop betreiben, oder Ihre Plattform, und es ruft die Seite wer aus England auf, würden die Daten von englischen Servern bezogen werden, wenn es in Amerika stattfindet, werden die Daten von amerikanischen Servern zur Verfügung gestellt. Das hilft, die Ladezeit sehr zu verkleinern. Cloud, es gibt sehr viele Cloud-Services, im Endeffekt, wie…Sie können zu Amazon gehen, oder es gibt viele andere Cloud-Anbieter, die im Endeffekt auch Ihre Daten verteilen oder einen schnelleren Zugriff gewährleisten. Nachbarschaft, hier spreche ich von bad neighbourhood, das heißt, schlechte Nachbarschaft, das können Sie auch auf Ihrem Server haben, das heißt, wenn Sie, wir machen es immer so, wenn wir einen Server anbieten, lassen wir uns vom Datencenter die IP geben, unter der wir wahrscheinlich gehostet werden. Wir überprüfen dann die IP mit whoruch, oder ich glaube, der seodiver hat die Möglichkeit auch, dass Sie die IP reingeben, dann sehen Sie, welche Seiten noch am selben Server liegen oder im gleichen Datencenter liegen, und hier kann es natürlich auch vorkommen, dass der Großteil hier bei neighbourhood ist, das heißt, irgendwelche porn oder Casino-Sachen und diese Dinge, und das sollten Sie, wenn möglich, vermeiden.

Backup, es ist natürlich sehr wichtig, dass Sie erstens selber Backups ziehen können, und zweitens Ihr Provider oder Ihr Datencenter das täglich für Sie durchführt, dass Sie im Notfall Ihre Seite wieder herstellen könnten. Das Support ist sehr wichtig, dass rund um die Uhr wer erreichbar ist, falls mit Ihrer Seite was mal nicht stimmt. Monitoring, Managing Software, hier spreche ich von Sachen wie Confix, also eine Software, die auf Ihrem Server installiert ist, die es Ihnen erlaubt, selbst Backups oder emails einzurichten, oder Sachen wie diese, ohne Ihren Support kontaktieren zu müssen. Das ist speziell wichtig, wenn Sie keine Ahnung haben, wie Sie sonst auf einen Server zugreifen.

Was auch ein interessanter Punkt ist oder eine Sache, die es sehr erleichtert, wenn Sie viele Webseiten betreiben möchten, viele Webseiten aufsetzen möchten, ist..es gibt..viele Anbieter haben ein auto-installation-script, das ist nichts Anderes wie, Sie wählen aus, was für ein CMS Sie installieren möchten, klicken einmal und Sie haben zum Beispiel ein  Webpress installiert. Wenn Sie viele Seiten betreiben, kann das Ihre Zeit sparen. Natürlich sollten Sie sicherstellen, dass Sie genug Speicherplatz haben für Ihre Website, dass der Preis für Upload und Download, also die Bandbreite, die Datenbereitstellung Sie nicht viel Extra-Geld kostet, falls Sie mehr Download oder Upload haben, wie Sie geplant haben. Wenn Sie viele Videos posten, sollten Sie vielleicht überlegen, dass auch auf CBN auszulagern, oder vielleicht einen speziellen Video-Hoster, bei einem speziellen Video-Hoster die Videos hinzulegen. Hier haben Sie den Vorteil, dass die Video-Hoster Ihre Videos meist schon für die einzelnen Geräte konvertieren, das heißt, Sie haben zum Beispiel nicht das Problem, wenn jemand mit dem i-phone oder mit dem i-pad auf Ihr Video zugreift, dass er es nicht sehen kann, sondern die konvertieren das schon im Hintergrund und liefern dann gleich die richtige Version aus. Es ist natürlich auch wichtig, dass Sie extra Dinge installieren können auf ihrem Server, wenn Sie das fordern, das heißt das sind so Sachen wir zum Beispiel Google Page Speed, die Ihnen helfen, Ihre Website schneller zu machen. Da ist natürlich aber wichtig, dass Sie die Möglichkeit haben, im Nachhinein was zu installieren oder vom Support installieren zu lassen.

Ok, schauen wir auf diese Seite. Weiter geht’s mit DNS, also mehr oder weniger wenn Sie die Domain reserviert haben, werden Sie wissen, wo, auf welchem Server es liegen wird, bekommen Sie eine IP-Adresse von Ihrem Hoster, also vom Betreiber des Servers. Dann gehen Sie in Ihr…meistens bekommen Sie ein Verwaltungs-Tool, um Ihre DNS zu verwalten, dort müssen Sie die IP-Adresse hinterlegen, vom Host. Was hier wichtig ist, dass Sie gleich in den meisten DNS-Verwaltungs-Tools…können Sie gleich eine Weiterleitung machen, das heißt, Sie können die www zum Beispiel, oder die ganzen Sub-Domains könnten Sie gleich umleiten, so dass Sie später dann nur eine Domain haben, und nicht eine mit www, eine ohne www, und vielleicht noch irgendwas davor und irgendeine Test-Domain noch. Also Sie sollten sicherstellen, dass Sie…dass Ihre Domain nur unter einer Adresse erreichbar ist. Es ist natürlich wichtig, dass Ihr DNS-Service stabil ist, das heißt, wir haben schon öfter erlebt, dass unser voriger Anbieter gehackt worden ist und lahmgelegt worden ist. Da haben Sie dann das Problem, dass dann nicht nur die www-s lahmgelegt sind, sondern dann natürlich dann in weiterer Folge auch Ihre Website nicht zu erreichen ist, weil das zusammenhängt. Der Anbieter sollte schnelle DNS-Server betreiben. Umso schneller die Server sind, umso schneller können Sie die Seite aufrufen. Wichtig, dass Sie auch…dass diese forwards, die Sie hier machen können, 301-forwards sind, das heißt, dass Sie gleich superschnell freundlich weitergeleitet werden. Hier ist auch interessant, dass Sie private DNS, also private DNS-Einträge setzen können, dann müssen Sie nicht die Standardeinträge des Registrars verwenden, Sie können dann auch eigene DNS definieren. Wenn Sie das Ganze gemacht haben, empfehle ich, ein Server-Monitoring-Tool zu installieren. Wir verwenden zum Beispiel livewatch.de, das kostet, ich glaube, 10 Euro für 2 oder 3 Monate, ist also sehr günstig, man kann 25 Server hinterlegen, man kann verschiedene Abfragen hinterlegen, man kann überprüfen, läuft die Datenbank noch, läuft die Seite noch, ist ein login noch möglich, und man weiß dann sofort, ob die Seite noch läuft oder nicht, man kriegt ein sms oder einen Anruf, je…wie man es möchte. Der nächste Schritt, Google-Webmaster-Tools, natürlich ganz wichtig, Domain verifizieren, und dann hier das Wichtige, die GEO Location zuweisen, wenn es schon eine at oder de-Domain ist, oder eine andere Länder-Endung, dann wird Google das in den meisten Fällen, was ich gesehen habe, automatisch zuweisen, aber wenn es zum Beispiel eine com, eine net, eine info ist, eine neutrale Adresse, ist es wichtig, ist es sehr wichtig, hier die GEO Location zuzuweisen, sonst weiß Google nicht, für welchen Markt es speziell ist und es wird sicher Ihre rankings beeinflussen, also Sie werden einen enormen Vorteil haben, wenn Sie zum Beispiel eine com-Domain haben und Sie wollen in den deutschen Markt, hier die GEO Location Germany, also Deutschland, zuzuweisen. Was ich auch noch empfehle, ist, eine Tracking Software zu installieren, sei es Google Analytics, sei es ein anderes Analytics, und auch offpage, also tracking Software, die auch offpage-Faktoren wie zum Beispiel SeoMoz Software auch wöchentlich einmal die offpage crawlt. Natürlich haben Sie das auch beim Google Webmaster Tool. Beim Webmaster Tool haben Sie das Problem, dass nur sehr selten abgedatet wird. Sie werden dort 404-Fehler finden, auch wenn sie schon behoben sind, und bei SeoMoz, beim crawl ist das um Einiges aktueller. Ja, dann sind wir eigentlich schon so weit, dass Sie Ihr CMS installieren können, also Ihre Website aufsetzen können. Hier empfehle ich aus Seo-technischer Sicht ein WordPress zu installieren, oder wenn Sie einen Shop betreiben ein Magento. Wie haben auch lange Zeit ?? verwendet zum Beispiel aber sobald hier aus unserer Erfahrung ein weiteres Plugin, zum Beispiel ein Block, oder eine Block-Komponente installiert wird, wird es sehr schwierig, weil das standardmäßig irrsinnig viel Content erzeugt, und hier sind natürlich Systeme wie WordPress und Magento um einiges weiter. WordPress Plugins, Sie können unter dem Video ein paar links platzieren, von WordPress Plugins, die sehr nützlich sind, um Ihre Suchmaschinen-Optimierung zu steigern. Ok, alles klar, das war’s für heute. Danke und Tschüss.