Benutzer-Werkzeuge

Webseiten-Werkzeuge


software:mail:dovecot_sieve

SPAM-Filter Sieve

Sieve, auch genannt Sieve-Skript ist eine Skriptsprache, mit der Filtereinstellungen für E-Mails konfiguriert werden können.

Mithilfe der gleichnamigen open-source Erweiterung könnten Filterregeln auf Webmail Oberflächen, nachfolgend als Web-GUI bezeichnet, wie z.B. Roundcube, erstellt und konfiguriert werden. Die Erweiterung wird zuerst auf dem Server installiert. Nachfolgend können mit z.B. der Sieve-Erweiterung für Thunderbird Filterregeln auf dem Server bearbeitet werden.

Sieve erweitert also die Funktion der GUI, Filterregeln zu erstellen. So können die Regeln nicht nur auf dem Server mithilfe der GUI, sondern auch mit der Skriptsprache erstellt werde. Insofern kann eine Sieve-Skript-Datei auch als Konfigurationsdatei interpretiert werden, die alle Filtereinstellungen beinhaltet.

Sieve ist seit 2008 ein offizieller Standard der IETF.

Sieve ist kompatibel mit der Filtersoftware SpamAssassin. Der SpamAssassin wird dem Mail-Server vorgeschaltet und kann z.B. SPAM-Scores oder Spam-Flags in den E-Mail-Header schreiben. Sieve kann nachfolgend anhand dieser Header-Felder postfachspezifische Operationen durchführen.

Zudem existieren Erweiterungen, wie z.B. eine Virenskanner-Erweiterung, die E-Mails nach Viren untersuchen kann. Diese Erweiterungen unterstützen zum Teil ähnliche Funktionalitäten wie der erwähnte SpamAssassin.

Installation auf dem Server

Installation lokal im Thunderbird

Das Plugin Sieve ist als Erweiterung für Mozilla Thunderbird verfügbar.

Nach der Installation wird automatisch geprüft, welche der eingebundenen Postfächer mit Sieve unterstützt werden können. Diese Postfächer werden automatisch erkannt und die Verbindung zum spezifischen Mailserver aufgebaut. Die Unterstützng auf der Serverseite kann z.B. durch die Installation der Sieve-Erweiterung in der Web-GUI erfolgen.

Anschließend kann Im Menü unter „Extras“ → „Sieve Filter Einstellungen…“ nachgesehen werden, welche Postfächer als „von Sieve unterstützt“ erkannt werden.

Installation als Roundcube-plugin "Managesieve"

Roundcube bringt das Plugin zur Anbindung an Sieve bereits mit, es muss allerdings eingebunden und konfiguriert werden:

Einbinden des Plugins

In der Datei config/main.inc.php der Roundcube Installation muss dem Plugin rcmail_config['Plugins'] noch der Parameter managesieve hinzugefügt werden.

Konfiguration des Plugins

Da Sieve den IMAP-Server zur Kommunikation benutzt müssen die gleichen Authentifizierungsmethoden genutzt werden wie für roundcube selbst. Die Konfigurationsdatei des Plugins befindet sich im Verzeichnis plugins/managesieve.

  1. Die Datei config.inc.php.dist nach config.inc.php kopieren
  2. Die rcmail_config parameter folgendermaßen modifizieren (für Standardinstallation)
    1. managesieve_port = 4190 (falls nicht geändert)
    2. managesieve_host = domainname des mailserver. (Achtung: Hier werden keine IP-Adressen akzeptiert)
    3. managesieve_auth_type = (wie in roundcube config)
    4. managesieve_ustls = true (wenn TLS verwendet wird)

Danach sollte Sieve mit einer Standardinstallation funktionieren.

Filter-Konfiguration mit dem SieveSkript

Mit „Extras“ → „Sieve Filter…“ gelangt man zur GUI der Sieve-Erweiterung im Thunderbird. Dort wird ein Dropdown-Menü angeboten, mit dem der spezifische Mailserver ausgewählt werden kann. Ist die Verbindung erfolgreich, wird hier eine Liste der vorhandenen „Filtersätze“ angezeigt. Mit den Filtersätzen werden einzelne Filterregeln gruppiert.

NB! Der Name des mit Sieve synchronisierten Filtersatzes muss „managesieve“ lauten. Andernfalls können Serverfehler auftreten.
Um einen Filtersatz löschen zu können, muss dieser zuvor deaktiviert worden sein.

Ein Doppelklick auf einen Filtersatz öffnet den Inhalt der Konfiguration, die mehrere einzelne Filter beschreiben kann.

Diese GUI im Thunderbird bietet nun zwei Ansichten an. Hat man den entsprechenden Filter für das passende Konto ausgewählt, gelant man zum Quelltext („Source“) des Filters. Durch Klicken (bzw. Deaktivieren) auf „Source“ in der Menübar gelangt man zu einer GUI, die es erlaubt, Filterregeln nach dem Baukastenprinzip zu erstellen. Durch erneutes Klicken (bzw. Aktivieren) auf „Source“ gelangt man wieder zum Quelltext.

NB! Diese Baukasten-Ansicht ist fehlerhaft und kann den Filter nicht immer als graphische Baukasten-Ansicht darstellen — auch wenn der Filter syntaktisch korrekt ist! Insofern empfiehlt sich die Editierung in der „Source“-Ansicht. Ein ähnliches Problem gibt es mit der WebGUI: Hier wird z.B. ein Feld einer Filterregel nicht angezeigt, wenn für das Feld mehr als ein Schlüsselwort/Keyword definiert wurde!

Syntax

Die Syntax erlaubt keine komplexen Strukturen wie Schleifen oder Variablendefinitionen und basiert stark auf boolsche Wahrheitsprüfungen. Dadurch kommt es zwangsläufig zu Redundanzen im Script.

Um die Syntax zu erlenen, ist es von Vorteil, die empfohlenen Tutorials in der aufgelisteten Reihenfolge zu studieren.

Code-Synchronisation und debugging

Der Code aus der Thunderbird-Erweiterung wird nach dem Speichern sofort auf den Server hochgeladen. Serverseitig wird nach dem Speichern des Filters im Thunderbird eine Filterregel in der Webmail-GUI erstellt, wenn der Filtersatz aus der Liste neu geöffnet wird. Leider werden nicht alle über Sieve erstellten Filter richtig in der Webmail-GUI angezeigt. Solche Filter sollten über die Webmail-GUI nicht gespeichert werden, da sonst der Code fehlerhaft wird und auch im Thunderbird Sieve fehlerhaft angezeigt werden. Solange die Filter, die in der Webmail-GUI nicht vollständig und richtig angezeigt werden, über die Webmail-GUI nicht geändert/gespeichert werden, funktionieren die Filter (und können wie gehabt über Sieve in Thunderbird angezeigt werden).

Die Web-GUI kann dennoch zu einer effizienten Fehlersuche beitragen, in dem man sie zum Erstellen einer Regel nutzt, um dann den generierten Code (den man sich im Thunderbird anzeigen lassen kann) anschließend mit dem eigenen Code zu vergleichen.

NB! Immer Backups vom erstellten Filter vornehmen, da die Filter leicht ungewollt überschrieben werden können.

Abwesenheitsnotiz

Auch das Einrichten einer Abwesenheitsnotiz ist möglich. Ein kurzes Tutorial dazu unter http://www.synology-wiki.de/index.php/Abwesenheitsmeldungen_mit_dovecot-sieve

Beispielskript

Im Folgenden wird ein Beispielskript vorgestellt, dass als Konfiguration für Filterregeln gegen SPAM genutzt werden kann. Ein solcher Filter wird in unseren Augen nie vollständig sein können und Bedarf kontinuierlicher Anpassung. Dieser Filter ist weder vollständig noch perfekt. Er basiert auf unseren Erfahrungen und kann für andere weniger gut funktionieren als für uns.

Innerhalb des ganzen Scripts gibt es Regeln, die personalisiert werden müssen. Das heißt, sie müssen an den Empfänger angepasst werden. Manche dieser Regeln verschieben die Mail dann in den Ordner „SPAM“ der unterhalb des Posteingangs „INBOX“ liegt. Dieser Ordner muss gegebenenfalls angepasst werden. Prinzipiell kann einfach ein „Suchen & Ersetzen“ über das Script durchgeführt werden. Dabei gibt es folgende Schlüsselwörter, die es zu ersetzen gilt: „FIRST NAME“ (z. B. Max), „LAST NAME“ (z. B. Mustermann), „X. LAST NAME“ (z. B. M. Mustermann), „YOUR EMAIL ADDRESS“ und „INBOX.SPAM“.

Zunächst werden sogenannte Whitelist-Rules vorstellt. Diese Regeln stehen als erstes im Script, da der Filter von oben nach unten abgearbeitet wird. Wenn eine dieser Regeln zutrifft, wird die Anwendung des Filters gestoppt und die Mail wird für den Posteingang freigegeben. Danach werden Blacklist-Rules vorgestellt. Wenn eine dieser Regeln zutrifft, dann hat der Filter die eingehende Mail als Spam erkannt und verschiebt diese in den angegebenen Ordner.

# Sieve SPAM filter script as a set of filter rules
# Author: Wiba10.de
# Version: 27.05.2013
# 
# License: CreativeCommons Attribution-ShareAlike 3.0 Unported (CC-BY-SA), http://creativecommons.org/licenses/by-sa/3.0/
#
#
# Loading the necessary modules
require ["fileinto","body","envelope"];
#
#
### Whitelist-Rules ###
#
## Personalize! ##
# rule:[Keywords that are contained in message text]
if body :text :contains ["LAST NAME", "Hi FIRST NAME","Hallo FIRST NAME","Guten Morgen FIRST NAME","Guten Tag FIRST NAME","Servus FIRST NAME","Guten Abend FIRST NAME","Hey FIRST NAME","Grüß Gott FIRST NAME","Moin FIRST NAME","Geschäftsführer","Geschaeftsfuehrer","Amtsgericht","USt.-ID","USt. ID","austragen","abmelden","Hallo zusammen","ignore this email","not give away this address","not forward this email","delete this email"]
{
	stop;
}
## Personalize! ##
# rule:[Name in "To"]
if address :contains "To" ["FIRST NAME LAST NAME","LAST NAME FIRST NAME","X. LAST NAME","LAST NAME, FIRST NAME"]
{
	stop;
}
## Personalize! ##
# rule:[Mail subject contains keywords]
if header :contains "Subject" ["LAST NAME","RE:","FWD:","AW:","WG:","WG-","Gelesen:","Read:","Empfangsbestätigung:","Lesebestätigung:","Empfangsbestätigung (angezeigt)","Return Receipt (displayed)"]
{
	stop;
}
# rule:[Mail was processed by a well-known host]
if header :matches "Received" ["from *web.de (*?)","from *superkabel.de (*?)","from *gmx.de (*?)","from *gmx.net (*?)","from *ryanair.com (*?)","from *arcor-online.net (*?)","from *bosch.de (*?)","from *t-online.de (*?)"]
{
	stop;
}
# rule:[Mail originates from a well-known e-mail-adress]
if header :contains "From" ["@superkabel.de"]
{
	stop;
}
# rule:[Sent by a well-known Mail software]
if anyof (header :contains "User-Agent" ["David.fx","Chilkat Software"], header :contains "X-Mailer" ["David.fx","Chilkat Software"]) 
{
	stop;
}
#
#
### Blacklist-Rules ###
#
## Personalize! ##
# rule:[Sender and recipient address are equal and are not in the return path]
if allof (address :contains "From" "YOUR EMAIL ADDRESS", address :contains "To" "YOUR EMAIL ADDRESS")  
{
  if not header :contains "Return-Path" ["YOUR EMAIL ADDRESS"]
    { 
    	fileinto "INBOX.SPAM";
		stop;
  	}
}
# rule:[Mail was processed by an unknown host or a host that is often used for Spams]
if header :matches "Received" ["from *otvk.pl (*?)","from localhost.localdomain (*?)","from shawcable.net (*?)"]
{
  	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Message-ID contains a dot and @]
if not header :matches "Message-Id" "*?@*?.??*"
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Header contains SPAM-Flag]
if header :contains "X-Spam-Flag" "YES"
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Keywords that are contained in subject]
if header :contains "Subject" ["Mr.Sung Lee","datingfuhildo.ru","firsteuro-consulting.com","uvipeliterubypalace.pl","Top money making industry","Buy shares under","Hottest top stock is S CX N","worldofconsult.com","avipeliterubypalace.pl","Josef Nakladal","Profit Generating Industry","datinglisa.ru","josefnak@yahoo.de","Oil player","Who is Making Money"]
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Keywords that are contained in message text]
if body :text :contains ["Mr.Sung Lee","datingfuhildo.ru","firsteuro-consulting.com","uvipeliterubypalace.pl","Top money making industry","Buy shares under","Hottest top stock is S CX N","worldofconsult.com","avipeliterubypalace.pl","Josef Nakladal","Profit Generating Industry","datinglisa.ru","josefnak@yahoo.de","Oil player","Who is Making Money","ask that you keep this award away from public"]
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Keywords that matches]
if anyof (header :matches "Subject" ["S?C?X?N","GT?RL"], body :text :contains ["S?C?X?N","GT?RL"])
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Field Message-ID is empty]
if header :is "Message-Id" ""
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Received from unknown]
if header :contains "Received" ["unknown","User"]
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Sent by a well-known SPAM software in X-Mailer]
if header :contains "X-Mailer" ["The Bat","Microsoft Outlook Express","JavaMailer"]
{
	fileinto "INBOX.SPAM";
	stop;
}
# rule:[Sent by a well-known SPAM software in User-Agent]
if header :contains "User-Agent" ["The Bat","Microsoft Outlook Express","JavaMailer"]
{
	fileinto "INBOX.SPAM";
	stop;
}
### End of file ###

Es gibt viele verschiedene Felder einer Mail, die ein Filter überprüfen kann. In einer der Whitelist-Rules wird bspw. der „body“ nach den nachfolgenden Schlüsselwörtern durchsucht. Wenn eines der Schlüsselwörter gefunden wird, wird der Filter gestoppt (und die Mail wird für den Posteingang freigegeben).

In einer weiteren Regel wird ein „:matches“ genutzt. „:contains“ überprüft den zu untersuchenden Inhalt nach genau dem angegebenen Schlüsselwort. „:matches“ kann genutzt werden, wenn innerhalb eines Schlüsselwortes (oder eines Strings) unbekannte Zeichen vorkommen. Dabei kann das Fragezeichen „?“ für ein unbekanntes Zeichen und der Asterisk „*“ für Null und mehr unbekannte Zeichen genutzt werden. „:is“ (wird hier nicht genutzt„ vergleicht das ganze Feld mit dem angegebenen String.

In einer der Blacklist-Rules steht „if allof (…, …)“. „allof“ sagt aus, dass alle nachfolgenden Prüfungen true ergeben müssen, sonst wird innerhalb dieser Regel nicht weiterverfahren. Bei einem „anyof“ reicht es aus, wenn einer der nachfolgenden Prüfungen true ergibt.

Der Befehl „fileinto“ kann auch durch den discard-Befehl ersetzt werden. Der discard-Befehl ist konfigurierbar und kann z.B. anstelle der Operation fileinto genutzt werden.

Weitere Ideen für effektive Filter und Beispiele

Ideen für SPAM-Charakteristiken

  • Charakteristiken im Header
    • Das Datum der E-Mail liegt in der Zukunft
    • Der Return-Path im Header enthält „spam@…“

Weiterführende Links

Bei Verwendung dieses Wikis erklären Sie sich mit dem Haftungsausschluss, Nutzungsbedingungen und der Datenschutzerklärung dieses Wikis einverstanden. Impressum.

software/mail/dovecot_sieve.txt · Zuletzt geändert: 2013/06/03 22:33 von mrenner