Crawl-Budget

Das Crawl-Budget ist die Zahl der Seiten (Hauptseite und Unterseiten), die durch die Google-Crawler auf einer Homepage, einem Online-Shop oder einem Blog maximal durchsucht werden. Die Google-Crawler sind die eigentlichen „Suchmaschinen“, die auf jeder Seite Keywords, Links und weitere relevante Eigenschaften überprüfen. Wie tief sie dabei graben, kann der Seiteninhaber nicht willkürlich festlegen: Es richtet sich wahrscheinlich nach dem Pagerank seiner Seite.

Wer bestimmt über das Crawl-Budget?

Google und andere Suchmaschinenbetreiber legen fest, wie viele Unterseiten pro URL die Crawler durchsuchen. Matt Cutts behauptet, dass hierfür der PageRank der Seite ausschlaggebend sei – ein höherer Pagerank führt zu intensiverem Crawlen auf mehr Unterseiten. Jedoch nicht nur die Zahl der Unterseiten beziehungsweise die Tiefe der internen Links, sondern auch die Häufigkeit des Crawlens ist in diesem Budget festgelegt, das natürlich automatisiert durch die Suchmaschine bestimmt wird. Es gibt noch eine weitere Komponente, das Index-Budget: Es legt fest, wie viele Einzel-URLs auf einer Homepage oder in einem Shop gecrawlt werden.

Konsequenzen für die SEO

Für die Suchmaschinenoptimierung haben solche Budgets natürlich Konsequenzen, unter anderem diejenige, dass auf neuen Webseiten mit einem voraussichtlich schwachen Pagerank die wichtigen Keywords möglichst auf der Hauptseite stehen sollten. Zu viele verschiedene URLs sollte es demnach nicht geben, 404-Fehlerseiten wären ganz und gar kontraproduktiv. Sie würden dazu führen, dass das Crawl-Budget vollkommen unnötig belastet wird.  Webmaster von großen Webseiten, die viele Unterseiten aus rein sachlichen Gründen benötigen, müssen über diese Budgetierung nachdenken.

abgelegt unter: C

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.