jkel.org

Anleitung für JkLog2Sql

  1. Unterstützte Log-Formate:
    NameBeispiel-ZeileUnterstützt
    Common Log Format127.0.0.1 - admin [12/Jan/2016:16:43:48 +0100] "GET /index.php HTTP/1.1" 200 2500JA
    Combined Log Format
    (Apache default)
    127.0.0.1 - admin [12/Jan/2016:16:43:48 +0100] "GET /index.php HTTP/1.1" 200 2500 "http://www.jkel.org" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"JA
    W3 Extended Log File Format
    (IIS default)
    16:43:48 GET /index.phpNEIN

  2. Installation:
    Es gibt kein Installationsprogramm.
    Daher einfach die JkLog2Sql.zip entpacken.

  3. Datenbank anlegen
    Lege in MySQL oder MSSQL eine neue Datenbank an.
    Empfehlung: NICHT eine Datenbank vom Webhoster nehmen, sondern MySQL oder MSSQL auf dem lokalen PC installieren.
    Von beiden gibt es kostenlose Versionen für Privatanwender.

  4. JkLog2Sql benutzen (Windows Version)
    JkLog2Sql.Win.exe starten.
    JkLog2Sql Screenshot
    Die Bedienung sollte selbsterklärend sein. Bei wichtigen Optionen erscheint ein Tooltip.

  5. JkLog2Sql benutzen (Version für die Kommandozeile)
    JkLog2Sql.Console.exe starten mit folgenden Parametern (alle 3 Pflicht, Reihenfolge egal).
    ParameterBedeutung
    iPfad der Eingabedatei. Kann eine .log-Datei sein oder ein Archiv (zip, gz, 7z).
    oPfad der SQL-Ausgabedatei
    dWelcher Datenbanktyp? Einer der folgenden Werte:
    • MySQL
    • MSSQL_yyyyMMdd
    • MSSQL_yyyyddMM

    Beispiel:
    JkLog2Sql.Console -i example.log -o example.sql -d MSSQL_yyyyddMM

    Es kann mit der Console-Version nur eine Datei auf einmal verarbeitet werden.
    Für mehrere Dateien entweder ein Archiv verwenden oder mehrmals aufrufen.

  6. SQL-Daten in die Datenbank importieren
    JkLog2Sql.Win.exe legt im Ausgabeordner mehrere Dateien an:
    JkLog2Sql Dateien
    Zuerst die 01-create-table-logfiles.*.sql in die in Schritt 3 angelegte Datenbank importieren.
    Anschließend alle weiteren SQL-Dateien.

    JkLog2Sql.Console.exe legt nur die über den Parameter spezifizierte Datei an.

  7. Auswertungen machen
    Nun können die Logdaten mit allen Möglichkeiten von SQL analysiert werden.
    In der JkLog2Sql.zip sind im Ordner sample-queries einige Beispiele enthalten.

  8. Erklärung der einzelnen Spalten
    SpalteBedeutungBeispiel
    OriginalLineDie original Zeile aus der LogFile.127.0.0.1 - admin [12/Jan/2016:16:43:48 +0100] "GET /pages/de/web-tools/jklog2sql/anleitung.php?what=ever HTTP/1.1" 200 2500 "http://www.jkel.org/index.php" "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"
    IPIP des Besuchers127.0.0.1
    IdentIn den meisten Fällen leer.
    UserIdWenn der Benutzer über htaccess angemeldet ist, der Benutzername.admin
    DateTimeStringZugriffs-Datum als Text, wie in der original-Zeile12/Jan/2016:16:43:48 +0100
    DateTimeRealZugriffs-Datum im DateTime-Format der Datenbank2016-01-12 16:43:48
    RequestMethodz.B. GET, POSTGET
    RequestDer Request. Original urlencoded, wie in der Logfile.GET /pages/de/web-tools/jklog2sql/anleitung.php?what=ever HTTP/1.1
    RequestedPathAngefragte URL (Ordner + Dateiname). NICHT urlencoded. MIT Query-String./pages/de/web-tools/jklog2sql/anleitung.php?what=ever
    RequestedPathWithoutQueryAngefragte URL (Ordner + Dateiname). NICHT urlencoded. OHNE Query-String./pages/de/web-tools/jklog2sql/anleitung.php
    RequestedFolderAngefragte URL (NUR Ordner). NICHT urlencoded./pages/de/web-tools/jklog2sql
    RequestedFileAngefragte Datei (NUR Dateiname). NICHT urlencoded. OHNE Query-String.anleitung.php
    RequestedFileExtensionAngefragte Datei (NUR Dateinamens-Erweiterung ohne Punkt).php
    QueryStringQuery-String.what=ever
    HttpVersionHttp-VersionHTTP/1.1
    Status-Codez.B. "200", "404"200
    BytesÜbertragene Bytes der Anfrage2500
    RefererReferer (verweisende URL)
    "http://spam/", falls der ursprüngliche Referer in der Spam-Referer-Liste vorkommt
    http://www.jkel.org/index.php
    RefererDomainReferer (verweisende URL) (NUR Domain)
    "SPAM", falls der ursprüngliche Referer in der Spam-Referer-Liste vorkommt
    www.jkel.org
    RefererSearchEngineReferer (verweisende URL) (WENN Suchmaschine, Name von dieser)Google
    RefererSearchTermReferer (verweisende URL) (WENN Suchmaschine, Suchbegriff)
    Info: einige Suchmaschinen verschleiern den Suchbegriff, sodass dieser hier leer ist.
    jkel
    UserAgentUser Agent, wie in der original-ZeileMozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0
    UserAgentFamilyName des Browsers.Firefox
    UserAgentMajorVersionHauptversion des Browsers.43
    UserAgentMinorVersionNebenversion des Browsers.0
    OsFamilyName des BetriebssystemsWindows 10
    OsMajorVersionHauptversion des Betriebssystems.
    Bei Windows nicht ausgefüllt.
    0
    OsMinorVersionNebenversion des Betriebssystems.0
    DeviceFamilyName des Geräts (nur bei Mobile/Tablet)
    Bei Suchmaschinen-Bots steht hier "Spider".
    Other
    VisitorIdWenn dieser Wert bei zwei Logzeilen gleich ist, wird angenommen, dass es sich um denselben Besucher handelt.
    (Gleiche IP, gleicher Tag, gleicher Browser)
    908C1E633375E2AD3B77C631928E0DFE