Googlebot – ein Webcrawler
Der Webcrawler von Google wird Googlebot oder Spider genannt. Hier wird ein Computerprogramm genutzt, das Webseiten durchsucht (= crawlt), neue Inhalte erkennt und diese dem Google-Index zuführt. Die Arbeit des Googlebots unterliegt festgelegten Algorithmen, die Google regelmäßig verändert. Es ist dem Webmaster möglich, bestimmte Inhalte nicht crawlen zu lassen. Sie werden entsprechend gekennzeichnet. Wichtig ist darüber hinaus, dass keine falschen oder veralteten Links auf Ihrer Website vorzufinden sind. Aufgrund der Behebung von angezeigten Crawling-Fehlern der Website kann man die Funktionalität und Indexierbarkeit der Website erhöhen.
Quelle: https://support.google.com/webmasters/answer/182072?hl=de
