Sex Suchmaschine,Erotik Kontakte, Bilder & Videos
Startseite | Impressum | WEB-Verzeichnis | Seite anmelden | Live-Suche | Multisuche

Sie sind hier: Startseite » Robot-Info

Robot / Crawler

Robot / Crawler

Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern.
Nähere Informationen können Sie hier nachlesen

Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:

User-agent: search46
Disallow: /


Wenn Sie unserem Bot einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag

User-agent: search46
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/




Valid CSS! Valid HTML 4.01! Thumbnail preview by Thumbshots.de
MyEngines powered by