X-Robots-Tag

So funktioniert der X-Robots-TagDer X-Robots-Tag, auch Robots-Header genannt, wird zusammen mit der HTTP-Antwort einer URL ausgeliefert. Ein Crawler ruft eine Ressource ab, liest den Header und verarbeitet die enthaltenen Anweisungen. Der Header erscheint deshalb nicht im sichtbaren HTML-Quelltext, sondern in den Server-Headern der Antwort.Eine PDF-Datei, die nicht in Suchergebnissen...