Wer sind die Besucher unserer Webseiten?

Wer sind die Besucher?

Wer sind die Besucher die unsere Webseiten und Server aufsuchen und vor allem, was für Ziele verfolgen Sie?

Um diese Frage zu beantworten, können Sie die Server Logs (Server Log Dateien) analysieren.

Wir haben hier eine kleine Auswahl vorbereitet die von den eigenen Server Log Dateien unserer Webseiten stammen.

Aus den Parametern der Server Logs "User Agent", "Request" und die Anzahl der "Requests/Sekunde" können wir zuverlässlich den Besucher-Typ und dessen "Ziele" unterscheiden.

Zusätzlich, haben wir dabei zwei Begriffe im Blick, die in der Welt der "Internet Werbung" eine bedeutende Rolle spielen ("Visits" und "PI - Page Impressions"). Hier können Sie erkennen wie trügerisch diese Messzahlen sind.

Weitere Details können Sie im Glosar nachlesen.

Alle Besucher verursachen "Traffic" und belasten (mehr oder weniger) den Server. Manche davon sind willkommen, andere dagegen nicht.

In welchen Kategorien können wir die Besucher einteilen?

Besucher: Bots und Crawler der allgemeinen Suchmaschinen

Zugriffsmuster: ~ 1 Abfrage/ 2-3 Sek. -> das ist OK!

Ziele: Die Webseite scannen und den Inhalt in den Suchmaschinen Index aufnehmen.

2) Besucher die von den Suchmaschinen auf die Webseite kommen

Durch die Listung in den Suchergebnissen kommen Besucher auf die eigene Webseite.
Diese "Besucher" sind gewünscht und sehen dann so aus.

Besucher: unbekannt

Ein Besucher der durch eine Listung in den Suchergebnissen eine Webseite besucht.

Zugriffsmuster: > 1 Abfragen/ alle 2-30 Sek. -> das ist ein Beweis das der Besucher menschlich ist!

3) Bots und Crawler mit spezialisierten Aufgaben

In der Regel repräsentieren sie die Mehrheit der "Page Impressions" und "Visits" einer Webseite und zählen zu den "nutzlosen" und zum Teil "schädlichen" Traffic. Sie sind in der Regel Software Bots und Crawler, mit sehr speziellen Aufgaben.
Der Zugriff auf die Webseite erfolgt meistens automatisiert durch Software:

Ein paar Beispiele über den Aufgabenbereich dieser Besucher:

- Webseite nach "Backlinks" zu scannen (SEO Bots)
- Webseiten nach einer eingesetzer Software zu scannen um später Angriffe dagegen zu fahren.
- Ob eine Webseite noch verfügbar ist und ob es Änderungen gibt
- Eine Webseite zu "archivieren"
- Diverse SEO Eigenschaften zu bestimmen
- Nach Stellenangebote zu suchen
- Etc. , etc.

Besucher: Software Bot - Maui Bot

Zugriffsmuster: ~ 1 Abfrage/Sek.

Ziele: "Analyse" von Webseiten

Merkmale: Am 01.04.2020 hat dieser Bot eine unserer Webseiten "gescannt", Daten gesammelt und dabei 2890 PI erzeugt.

Besucher: Software Bot - Dataprovider (dot) com

Zugriffsmuster: ~ 1 Abfrage/ Sek.

Ziele: Spezifische Daten über fremde Webseiten sammeln und diese Informationen über eigene Webseite gegen Bezahlung verkaufen.

Besucher: Software Bot -"wkhtmltoimage"

Zugriffsmuster: > 28 Abfragen/ Sek. -> das ist sehr aggressiv!

Ziele: Speichert eine Webseite als Bild

Merkmale: Auffälig ist die sehr hohe Anzahl der Zugriffe pro Sekunde (~28 Anfragen/Sek.). Hier kann man klar von einem aggressiven Verhalten sprechen.

Besucher: Unbekannter Software Bot

Zugriffsmuster: > 3 Abfragen/ Sek.

Ziele: Software Bot mit dem Ziel Webseiten zu scannen.

Merkmale: Ein unbekannter Bot aus China mit unbekannten Aufgaben, scannt alles was er bekommt. Aufgrund der vielen Zugriffe/Sekunden kann man auch hier von einem aggressiven Verhalten sprechen.

Besucher: Seekport Crawler - Software Bot

Zugriffsmuster: > 1 Abfragen/ Sek.

Ziele: Scannen und anaylisieren von SEO Eigenschaften von Webseiten.

Merkmale: Dieser Bot hat innerhalb 5 Stunden 22587 PI erzeugt.

Besucher: Wahrscheinlich ein Software Bot

Zugriffsmuster: 1-2 Abfragen/ Sek.

Ziele: Unbekannt

Merkmale: Dieser Besucher gibt sein User Agent (seine Software Signatur) nicht bekannt. Wahrscheinlich nicht ohne Grund :-)

Besucher: Software Bot

Zugriffsmuster: > 4-20 Abfragen/ Sek.

Ziele: Unbekannt

Merkmale: Dieser Besucher hat an diesem Tag die komplette Webseite gesannt und in weniger als 30 min. 17618 PI erzeugt; Die Abfragen erfolgen durch eine Software und sind komplett automatisiert.

Besucher: Unbekannt

Zugriffsmuster: > 8-15 Abfragen/ Sek.

Ziele: Angriff auf Webseite

Merkmale: Dieser Besucher hat an diesem Tag mehrere Angriffe gegen eine Webseite gefahren. Auffallend sind die wechselnden User Agents und die hohe Zahl der Abfragen/Sekunde. Das ist ein Hinweis das alles automatisiert und durch eine Software gesteuert wird.

4) Angriffe auf Webseiten und Server

Zusammen mit Besuchern der Kategorie 3) ergeben sie den größten Teil der Besucher und des Traffics. Zuerst werden Webseiten gesucht, die eine bestimmte Software einsetzen. Anschließend werden diese Webseiten in eine oder mehreren "Wellen" angegriffen.

Der ganze Angriff dauert in der Regel von wenigen Sekunden bis zu mehreren Stunden und hat das Ziel, den Server/die Webseite zu hacken, die Datenbank zu kopieren oder zu kompromitieren.

Diese Angriffe sind machmal so gewaltig das, im glücklichsten Fall, die Serverlast erheblich steigt und der Server die Anfragen (die Requests) nicht mehr beantworten kann. Im schlimmsten Fall kommt es zu Fehlfunktionen, die Chancen steigen, dass die Angreifer die Kontrolle über die Datenbank oder über den Server übernehmen können.

Diese Gruppe der Angreifer haben wir in mehrere Kategorien eingeteilt: