PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : ist die Robots.txt wichtig für google?


Gast
2005-06-02, 07:17:11
Muss man die drin haben ider ist es ansich egal. Natürlich nur wenn nichts von der Seite ausgeschloßen werden soll.

mithrandir
2005-06-02, 07:47:05
Dere!

Guckst du hier:
http://www.google.com/webmasters/faq.html#robots

bye, mith

Gast
2005-06-02, 09:40:16
das beantwortet die frage in keiner form

Gast
2005-06-02, 09:45:54
das beantwortet die frage in keiner formrobots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).

Was ist daran jetzt unverständlich?

Windhalf
2005-06-02, 11:26:48
Also man MUSS die nicht drin haben... Man KANN sie drin haben wenn man möchte, daß der Googlebot nur auf spezifische Daten zugreift.

Das ist dem obigen Link zu entnehmen denke ich.

Also auch hier gilt das alte Swinger-Club-Motto:

"Alles kann, nichts muss" :wink:

Gast
2005-06-02, 12:00:11
robots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).

Was ist daran jetzt unverständlich?
Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!

Gast
2005-06-02, 12:03:00
Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!Willst du, dass Google keine oder nicht alle Informationen von deiner Webseite runterlädt (das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen.), dann brauchst du das, sonst nicht. Ist das wirklich soooo schwer zu verstehen?

Black-Scorpion
2005-06-02, 12:46:04
Man sollte aber wissen was alles zu seinem Webspace gehört.
Wer z.B. Zugriff auf die Logdateien hat sollte diesen Ordner in der Robots.txt auschließen.
Das gillt auch für das cgi-bin Verzeichnis wenn man Perl verwenden kann.
Das sind Ordner die Google eigentlich nichts angehen.

darph
2005-06-02, 13:43:44
Ihr habt schon die Frage gelesen oder?! WAS das teil macht war nicht gefragt das ist mir bekannt.

Die Frage war oib es da sein muss oder nicht. Ist lesen wirklich so schwer?!
robots.txt ist ein Standarddokument, das Googlebot anweisen kann, keine oder nicht alle Informationen von Ihrem Webserver herunterzuladen. Informationen zum Erstellen einer robots.txt-Datei finden Sie unter The Robot Exclusion Standard (Englisch).Steht doch da. ;( Ist lesen wirklich so schwer?!

Du brauchst die Datei nicht zwingend. Erst wenn du den Bots auch wirklich befehle geben willst, dann brauchst du sie.

Gast
2005-06-08, 20:32:45
Noch sclimmer: Du brauchst das alles erst dann wenn du dem Bot irgendetwas *verbieten* willst. Suchmaschinenbots haben eine einfache Regel: Was nicht explizit verboten wurde ist erlaubt, also einfach nirgendwo etwas anzugeben bedeutet "Alles ist erlaubt".