{"id":4426,"date":"2020-06-17T14:19:01","date_gmt":"2020-06-17T12:19:01","guid":{"rendered":"https:\/\/www.clickstorm.de\/blog\/?p=4426"},"modified":"2023-12-06T10:39:01","modified_gmt":"2023-12-06T09:39:01","slug":"wie-funktioniert-die-google-suchmaschine","status":"publish","type":"post","link":"https:\/\/www.clickstorm.de\/blog\/wie-funktioniert-die-google-suchmaschine\/","title":{"rendered":"Wie funktioniert die Google-Suchmaschine?"},"content":{"rendered":"

Immer wieder fragen sich Nutzer, wie eigentlich das Prinzip der Indexierung<\/em> in der Google-Suchmaschine funktioniert und nach welchen Ma\u00dfst\u00e4ben URLs in den Suchergebnissen gelistet und wieder entfernt werden.<\/p>\n

Wir wollen ein wenig Licht ins Dunkel bringen und uns die Funktionsweise einer Index-Suchmaschine genauer anschauen. Ein Verst\u00e4ndnis f\u00fcr die technischen Grundlagen zu entwickeln, zahlt sich oftmals aus. Denn so kann viel zielgerichteter beurteilt werden, welche SEO-Ma\u00dfnahmen f\u00fcr die eigene Webseite wahrscheinlich den gew\u00fcnschten Erfolg bringen.<\/p>\n

Dabei ist das Thema durchaus komplex, denn der Suchalgorithmus funktioniert in Wahrheit nur \u00fcber ein Zusammenspiel vieler verschiedener Instanzen. Um nicht den Rahmen zu sprengen, betrachten wir im Folgenden den vereinfachten Aufbau einer Suchmaschine.<\/p>\n

Wir orientieren uns dabei chronologisch an dem Prozess, der dazu notwendig ist, dem Nutzer letztlich eine Liste mit relevanten Suchergebnissen im Browser-Fenster anzeigen zu k\u00f6nnen. Vor allem drei Hauptbestandteile sind f\u00fcr das Verst\u00e4ndnis wichtig: Die Webcrawler<\/strong>, das Information Retrieval System<\/strong> (Indexer) und der Query Prozessor<\/strong> (Searcher).<\/p>\n

 <\/p>\n

Web-Crawling<\/strong><\/h2>\n

Bevor ein Nutzer \u00fcberhaupt eine Antwort auf eine Suchanfrage erhalten kann, m\u00fcssen in den m\u00e4chtigen Datenbanken, die hinter einer Suchmaschine stehen, URLs gelistet sein, die anschlie\u00dfend als Suchergebnis in Frage kommen. Da das Internet st\u00e4ndig im Wandel ist, permanent neue URLs hinzukommen und sich die Inhalte unter bestehenden URLs schnell ver\u00e4ndern, muss im World Wide Web ein andauernder Screening-Prozess stattfinden.<\/p>\n

Diese Aufgabe erledigen die Web Crawler<\/em> der Suchmaschinen. Sie sind daf\u00fcr zust\u00e4ndig, aktualisierte Inhalte und neue Webseiten zu finden, um diese in einem Repository Index\u00a0<\/em>(Datenbank) komprimiert abzulegen. Nat\u00fcrlich ben\u00f6tigen die Web Crawler dazu eine Grundlage, also bestehende URLs, die in einer weiteren Datenbank, dem Document Index<\/em>, bereits hinterlegt sind. Diese werden nach einem bestimmten Zeitplan vom URL Server<\/em> (auch \u201eScheduler\u201c) an den Crawler \u00fcbermittelt. Dieser ruft dann die URL auf und parst die Inhalte. Der Server des Repositories speichert diese dann wiederum komprimiert im Repository Index ab, wo diese im n\u00e4chsten Schritt weiterverarbeitet werden k\u00f6nnen.<\/p>\n

 <\/p>\n

\"Schaubild.

Der URL Server (Scheduler) beliefert den Web Crawler mit URLs, der Store Server speichert die gefundenen Inhalte im Repository Index ab.<\/p><\/div>\n

Crawler lesen auch die robots.txt<\/em> einer Seite aus. Hier k\u00f6nnen Webseitenbetreiber Verzeichnisse ausschlie\u00dfen, die beim Crawling nicht ber\u00fccksichtigt werden sollen. Da das zeitliche Crawl-Budget eines Crawlers so stark begrenzt ist, lohnt es sich, diese M\u00f6glichkeit auch zu nutzen. Damit ist sichergestellt, dass sich der Crawler ausschlie\u00dflich um notwendige Verzeichnisse k\u00fcmmert.<\/p>\n

Auch die sitemap.xml<\/em> ist in diesem Zusammenhang zu erw\u00e4hnen. Besonders bei gro\u00dfen Seiten mit vielen URLs k\u00f6nnen Crawler diese zur Hilfe nehmen, um zus\u00e4tzlich auch sehr versteckte (schwach verlinkte) Seiten zu finden.<\/p>\n

 <\/p>\n

Indexierung \/ Information Retrieval<\/strong><\/h2>\n

Durch die Webcrawler kennt die Suchmaschine nun zwar eine ganze Menge Websites, doch diese sind im Repository nat\u00fcrlich noch keinem Suchbegriff zugeordnet. Die Aufgabe des Indexers<\/em> ist es nun entsprechend, diese Zuordnung anhand des Core-Algorithmus vorzunehmen.<\/p>\n

Dabei wird zun\u00e4chst ein Parser<\/em> aktiv, der die Inhalte des Dokuments in seine Bestandteile zerlegt. Schritt f\u00fcr Schritt werden hier<\/p>\n