Web-Technik 07.07.2019
Hier will Google nun zurückrudern, zumindest in den Bereichen, wo man den Googlebot in Schranken weisen konnte. 'Crawl-Delay' etwa weist einen Bot an, nur noch eine verminderte Menge an Zugriffen auf eine Website zu machen und dort damit die Ressourcen zu schonen. Aber auch 'nofollow' und 'noindex', die Anweisungen, bestimmte Seiten nicht weiter zu 'spidern' oder in den Index aufzunehmen, möchte Google aus seinen Fähigkeiten streichen. Die sind wenigstens durch zb. Meta-Parameter zu ersetzen.
Mit 1.9.2019 sind die genannten Befehle Geschichte, der Rest (der auch offiziell der Dokumentation zu entnehmen ist) bleibt bestehen. Google hat diese Erweiterungen der robots.txt übrigens bisher schon zwar berücksichtigt, aber nicht bestätigt und von der Verwendung zuletzt eher abgeraten. Bei anderen Suchmaschinen ist es ähnlich, die Unterstützung der robots.txt generell nicht überall vollständig. Ausser natürlich bei Dingen, die den Suchmaschinen helfen - die sind praktisch vollständig überall implementiert.
Weiter in der Web-Version mit Fotos, Videos, Links und mehr...
#robots.txt #Suchmaschinen #SEO #google #Standards
Auch interessant!
Werbung transparent und berechtigt
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...
ads.txt Standard
Der internationale IAB hat sich angelehnt an die robots.txt, die Suchmaschinen reglementiert, eine ads.tx...
robots.txt hilft Suchmaschinen
Grundsätzlich sollten die Spider und Crawler der diversen Suchmaschinen selbst finden, was es im Web zu s...
Sitemaps für Websites
Schon beim Auffinden von Inhalten im Internet sind Suchmaschinen mitunter auf die Unterstützung lesbarer ...