Crawler

Ein Crawler ist ein Programm, welches automatisiert das Internet durchsucht und die gefundenen Webseiten analysiert. Hierdurch werden die Webseiten für Suchmaschinen indexiert und relevante Metadaten ausgelesen. Alternative Bezeichnungen sind Robots oder Spider.

Kann ich die Seiten-Indexierung durch einen Crawler ausschließen?

Mit Hilfe der robots.txt können Webseitenbetreiber den Crawlern mitteilen, welche Seiten indexiert werden sollen und welche nicht. Letztendlich funktioniert diese Maßnahme nur, wenn sich der Crawler auch an das vorgegebene Protokoll hält.

Mehr zum Thema Crawler