etracker
Analytics Editionen / Preise Live-Demo
etracker
Optimiser Editionen / Preise Live-Demo
Preise Academy Know-how Für Agenturen Support

Crawler

Ein Crawler ist ein Programm, welches automatisiert das Internet durchsucht und die gefundenen Webseiten analysiert. Hierdurch werden die Webseiten für Suchmaschinen indexiert und relevante Metadaten ausgelesen. Alternative Bezeichnungen sind Robots oder Spider.

Kann ich die Seiten-Indexierung durch einen Crawler ausschließen?

Mit Hilfe der robots.txt können Webseitenbetreiber den Crawlern mitteilen, welche Seiten indexiert werden sollen und welche nicht. Letztendlich funktioniert diese Maßnahme nur, wenn sich der Crawler auch an das vorgegebene Protokoll hält.

Mehr zum Thema Crawler