Marco Ziesing

Wem apachetop etwas zu schlicht oder zu veraltet ist, sollte mal einen Blick auf GoAccess werfen. Das auf ncurses basierende Programm generiert Ad-Hoc-Statistiken aus den Apache-Logfiles und kann derzeit Protokolldaten in den Formaten “Common Log Format” und “Combined Log Format” einlesen.
In der Übersicht zeigt es unter anderem die Betriebssysteme, Browser, am häufigsten aufgerufenen Dateien (wobei statische Typen wie Grafiken, JavaScripts und Stilvorlagen getrennt aufgelistet werden) Referer und 404-Fehler. Weitere Features sind z.B. Reverse-DNS-Lookup und IP-Adressen Lokalisierung.

Da es noch kein Paket für uns Fedora-Nutzer gibt, habe ich kurzerhand eines gebaut.

Download GoAccess 0.3 (i686)
Download GoAccess 0.3 (SRPM)

Update:
01.09.2010, Version 0.3

Im OpenSource-Pendant zu Google Analytics “Piwik” gibt es im Bereich der automatisierten Archivierung über ein Shell-Skript einen kleinen Denkfehler, der Unbefugten über die API Zugriff auf Statistiken ermöglicht. Das Skript liegt standardmäßig im Verzeichnis piwik/misc/cron/ welches über HTTP abrufbar ist. Da in diesem Skript zur Zeit noch der geheime API-Schlüssel hinterlegt sein muss, lässt er sich über einen simplen HTTP-Aufruf auslesen. Abhilfe schafft vorerst das Verschieben des Skripts in ein Verzeichnis außerhalb des DocumentRoot-Verzeichnisses oder eine .htaccess-Datei mit der Zeile “Deny from all” im cron-Verzeichnis. Ein Ticket zu diesem Problem habe ich schon erstellt und es wird an einer allgemeinen Lösung gearbeitet.

Update (19.03.2009)

Das aktuelle Shell-Skript holt sich die Daten nun direkt aus der Konfigurationsdatei.

Wer Google & Co. aus datenschutzrechtlichen oder sonstigen Gründen nicht traut oder einfach aus Prinzip eigene Statistiken erheben möchte, hatte ja schon länger die Möglichkeit zum Beispiel AWstats oder Webalizer zu nutzen; falls die nötigen Rechte auf dem Server verfügbar waren. Seit einiger Zeit gibt es jedoch ein weiteres Projekt, welches den bisherigen Platzhirschen Konkurenz machen möchte. Die freie Software Piwik lässt sich schnell und einfach auf jedem Webspace auf dem PHP 5.1 und mySQL verfügbar ist installieren. Wie einfach das ist, beschreibt Ralph Segert in einer deutschen Installationsanleitung in seinem Blog.

Statistiken auf dem Desktop

Wie für Google Analytics gibt es auch für Pwiki eine Adobe Air Applikation, namens “Piwik Connector“, welche die Daten vom Server abfragen und lokal auf dem Desktop darstellen kann.

Schnittstelle für die Daten

Zusätzlich bietet Piwik auch eine Schnittstelle an, um die Graphen in externe Webseiten einzubinden. So lässt sich zum Beispiel eine Übersicht aller beobachteten Webseiten erstellen oder einfach den Besuchern zeigen wie häufig die eigene Webseite besucht wird.

Ein Freund betreibt den Webshop Nebenstrom und setzt seit ein paar Monaten das Warenwirtschaftsprogramm JTL-Wawi ein. Nach einem Umzug auf einen anderen Server, auf dem nun alles auf UTF-8 eingestellt ist, entstand das Problem, dass nach der Ãœbertragen aus Wawi die Umlaute und Sonderzeichen nicht dargestellt wurden. Das Problem war zwar schon bekannt, aber es wurde länger nicht behoben. Nun gibt es endlich eine Version des “Connectors” die UTF-8 unterstützt. Da ich auf der Webseite den Link jedoch noch nicht finden konnte und es sicher noch einige Benutzer mit dem selben Problem gibt, verlinke ich hier direkt darauf: Download: JTL-Wawi Connector mit UTF-8-Unterstützung.

Jeder der SQL-basierte Webseiten entwickelt sollte das Problem “SQL Injections” kennen. In einer Mailingliste bin ich vor kurzem auf ein Programm aufmerksam geworden, welches ich euch nicht vorenthalten möchte: Priamos. Es hilft bei der Suche nach Sicherheitslücken und zeigt diese auch auf. Auf der Projekt-Webseite findet ihr auch ein Demo-Video.

Bitte verwendet dieses Programm nur zum Testen eurer eigenen Applikationen.

Für das schwachsinnige IRC-Rollenspiel “Idle RPG” benötigte ich einen einfachen Bouncer. Aufgrund der simplen Konfiguration fiel die Wahl letzendlich auf “miau“. Da nicht jeder den vollen Funktionsumfang benötigt, habe ich zwei unterschiedliche Pakete erstellt. Das eine ist eine Standardinstallation und das andere ist mit folgenden Extras/Optionen kompiliert: enable-local, enable-dccbounce, enable-automode, enable-releasenick, enable-ctcp-replies, enable-mkpasswd, enable-uptime, enable-chanlog, enable-privlog, enable-onconnect, enable-empty-awaymsg.
Nach der Installation müsst ihr im Benutzerverzeichnis das Verzeichnis .miau anlegen, aus /usr/local/share/doc/miau/examples die Beispielkonfiguration miaurc kopieren und nach dem Bearbeiten “miau” starten.
Für einen regelmäßigen Test, ob “miau” noch läuft, einfach das Skript miau-check anpassen und als Cronjob einrichten.

Für alle deren Rechner bzw. Server über ausreichend Speicher verfügt, habe ich hier ein nettes Shell-Script geschrieben, welches die Blacklists für Spamassassin von Stearns.org lädt.

#!/bin/sh

cd /etc/mail/spamassassin

# Connection check
URL_check=”http://www.sa-blacklist.stearns.org/sa-blacklist/”
wget -t 1 -O check.html “$URL_check” -o check.log

# Run only if no ‘ERROR’ or ‘Giving up’ found in check.log
err=`grep -i ‘Giving up’ check.log | wc -l`
err2=`grep -i ERROR check.log | wc -l`

if [ $err == 0 ] && [ $err2 == 0 ]; then

# Sender Domains
URL1=”http://www.sa-blacklist.stearns.org/sa-blacklist/sa-blacklist.current.cf”
wget -O sa-blacklist.current.cf “$URL1″

# URLs in the messages
URL2=”http://www.sa-blacklist.stearns.org/sa-blacklist/sa-blacklist.current.uri.cf”
wget -O sa-blacklist.current.uri.cf “$URL2″

# Forgotten Tags
URL3=”http://www.sa-blacklist.stearns.org/sa-blacklist/random.current.cf”
wget -O random.current.cf “$URL3″

# Restart Spamassassin
/etc/init.d/spamassassin restart

fi

Das ganze in eine Textdatei, z.B. get-blacklists.sh, speichern und mit chmod +x get-blacklists.sh Rechte zum Ausführen vergeben. Dann noch mit crontab -e folgende Zeile einfügen

5 1 * * * /pfad/zum/script.sh

um das Skript jede Nacht um 1:05 Uhr ausführen zu lassen und das Ganze mit :wq sichern.