Der Sinn einer Website besteht darin, dass die dort enthaltenen Informationen auch gefunden werden. Jede größere Suchmaschine wie Yahoo oder Google verwendet sogenannte Crawler um Webseiten in ihren Index aufzunehmen. Diese Crawler verfolgen jeden angezeigten Link und erfassen somit die komplette Homepage
- im Idealfall.
In der Realität werden zwar viele Links erfasst, die so erzeugte Gesamtübersicht der Website ist aber häufig lückenhaft, wenig aktuell und enthält diverse tote und unerwünschte Links.
Um diesem Problem vorzubeugen kann eine Website bei vielen Suchanbietern explizit angemeldet werden. Während für Yahoo eine simple Liste der zu prüfenden Adressen (urllist.txt) genügt, ist Google mit dem eigens entwickelten sitemap.xml Format wesentlich anspruchsvoller. Natürlich bietet dieses Format auch einige zusätzliche Funktionen wie z.B. eine Priorisierung einzelner URLs (oder Beiträge im Falle eines Blogs), sowie die Anweisung für einen Crawler wie oft er die besuchte Adresse auf Änderungen überprüfen soll.
Um eine solche Sitemap nun für die dynamischen Inhalte von Wordpress zu erzeugen wäre einiges an Handarbeit nötig, glücklicherweise gibt es mit dem Google Sitemaps Generator bereits eine sehr komfortable Automatisierung.
Ist die Sitemap das erste Mal bei Google angemeldet worden, kümmert sich das Plugin beim Schreiben eines neuen Beitrags automatisch um jede weitere Aktualisierung.
Auf die Blockade bestimmter URLs möchte ich an dieser Stelle nicht näher eingehen, dies ist mit Hilfe einer robots.txt ebenfalls problemlos möglich.
