SupportVerkauf
 
 
 
 
 
 
 

Hilfe

 

Domaintechnik Internet Lexikon

robots.txt
In einer sogenannten 'robots.txt' Datei kann man einigen sich an diesen Standard haltenden Webcrawlern Anweisungen geben. Ein Webcrawler ist ein automatisiertes Programm das Webseiten des WWWs analysiert und für Suchmaschinen indexiert. Sie wird im Stammverzeichnis einer Domain abgespeichert. Webcrawler können die robots.txt komplett ignorieren. Man ist also auf die Kooperation des Webcrawlers angewiesen.
 
« Robots     Root-Server »

Suche

0-9 A B C D E F G H I J K L M N O P Q R S T U V W XY Z


Fulltext Search: Only Search Title




Einträge 1 bis 14 von 14

R:
rDNS
Registrar
Registry
Réseaux IP Européens Network Coordination Centre
Reseller
RGB
RIPE
Robots
robots.txt
Root-Server
Rootserver
Router
RSS
RSVCD