Google erklärt das Robots Exclusion Protocol zum offiziellen Standard
Zum 25. Jubiläum des Robots Exclusion Protocol (REP) oder robots.txt kündigte Google am 1. Juli via Twitter den Übergang vom REP als „de-facto Standard“ zum formalen Internet-Standard an, der offizielle Gültigkeit bei der IETF besitzt. Zudem soll Googles robots.txt Parser in Open Source überführt werden.
Das Robots Exclusion Protocol ist eine Textdatei, die es Seitenbetreibern ermöglicht zu kontrollieren, welche Inhalte Ihrer Website von Crawlern gelesen werden können. Crawler durchsuchen automatisch das WWW und werden von Suchmaschinen zur Analyse und Indexierung der Website eingesetzt. Das REP enthält demnach Anweisungen für die Crawler der Suchmaschinen. Somit haben Sie als Seiteninhaber die Kontrolle darüber, welche Bereiche Ihrer Website vom Crawler durchsucht werden dürfen und welche – beispielsweise den Admin-Bereich – Sie explizit nicht freigeben möchten. Das können einzelne Textpassagen, Bilder, Videos oder auch ganze Unterseiten sein. Weiter kann durch die robots.txt ein Verweis zur Sitemap eingefügt werden, um den Suchmaschinen einen Überblick über vorhandene URLs der Domains zu bieten.
Das REP wird im Zuge der Standardisierung einem Update unterzogen und klarer definiert. Damit kann die Nutzung so einfach wie möglich und vor allem einheitlich stattfinden. Google gab bekannt, dass bereits über 500 Millionen Websites das Robots Exclusion Protocol nutzen.
Wenn Sie Fragen zu diesem Thema haben, können Sie jederzeit auf uns zukommen! Sie haben noch gar keine robots.txt in Ihrer Seite integriert? Kontaktieren Sie uns! Wir sind Ihr Experte für Webseitenprogrammierung, -anpassung und SEO. Lassen Sie sich von uns bei der Integration und Konfiguration helfen.
