.php Skript loggt Besucher

[Tempo]

Ich habe auf meiner Homepage ein .php Skript eingebunden, dass paar Infos über die Besucher sammeln soll. So sieht das .log File aus:

05.07.2017 10:03:57 139.162.113.204 / Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36
05.07.2017 13:19:56 74.82.47.3 /
05.07.2017 13:31:19 104.200.16.32 /
05.07.2017 18:31:36 52.53.186.185 / Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36

Wie kann es sein, dass zwei Besucher aufgezeichnet worden sind, ohne weitere Browser und OS-Angaben?

[lumines]

Sind die Angaben wirklich echt? Irgendwie kann ich mir schwer vorstellen, dass zwei Rechner mit unterschiedlichen Betriebssystemen die gleiche komplett veraltete Chrome-Version benutzen. Das wäre schon ein extremer Zufall. Das wundert mich ehrlich gesagt mehr als zwei fehlende User Agents.

[hell_bird]

Im User-Agent Feld vom HTTP request kann man mitschicken, was man will. Ich denke mal das sind einfach crawler...

Die zweite IP Adresse nennt sich zum Beispiel: scan-10.shadowserver.org

[myMind]

Man kann im Grunde schon froh sein, wenn nicht sowas gesendet wird:
https://blog.cloudflare.com/inside-shellshock/

[sei laut]

Das sind alles keine echten Besucher, wenn man sich die IP anschaut.
(1. ist ein Amazon Cloud Server, 2. und 4. lösen auf zu irgendwelchen scan Einträgen und die 3. zu einer seriösen .ninja Adresse :D)

Wenn du echte Besucher hast, kannst du dir das anschauen..
Mich wundert aber, wenn die nur "/" aufgerufen haben. Bei mir probieren die jeden Scheiß durch. Ok, seit ich bei direktem IP Aufruf ein 404 zurückgebe, hat das aufgehört.

Cool sind auch solche Einträge (aus meinem access.log):
- 73.139.166.136 - - [07/Jul/2017:08:27:36 +0200] "GET / HTTP/1.0" 404 168 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Und nein. das ist kein Google bot, auch wenn es so übermittelt wird. :D

[hell_bird]

War es nicht zum Teil so, dass man mit dem googlebot useragent hinter Paywalls schauen konnte? Vielleicht ist das die Absicht dahinter...

[Tempo]

@lumines
Ja die Logs sind wirklich so aufgezeichnet worden.

Wie kann ich mich am Besten vor diesen Bots schützen? Habe bereits eine Robots.txt auf / liegen:
User-agent: *
Disallow: /
Kann ich noch mehr machen?

[sei laut]

Die robots Datei ist nur für die höflichen Bots, die unhöflichen (die, die du nicht haben willst) ignorieren die.
Machen kannst du da wenig, wenn es eine öffentlich erreichbare Seite ist, zumal es hier den Eindruck macht, als ob du die Seite auf einem Webspace Anbieter hast.

[RattuS]

Wie kann ich mich am Besten vor diesen Bots schützen?
Inwiefern denn schützen? Wenn bestimmte IP-Adresse zu viele Requests in zu kurzer Zeit senden, sollte sie schon beim Webserver blockiert werden, also bevor der Request an die PHP Engine geht. Das kannst du via Logs auswerten (Gruppierung nach Zeitraum und IP). Der User-agent ist eine optionale Angabe, die überhaupt keinen Wert hat. Alles dazu wurde hier schon gesagt.