Training der Filter
Spaminhalte verändern sich fortlaufend. Während bei regelbasierten Filtern analog zu Virenfiltern die Regeln von Hand angepasst werden müssen, können sich statistische Filter selbst adaptieren. Voraussetzung hierfür ist allerdings regelmässiges Training mit manuell klassifizierten Spam- und Ham-Mails. Dieses Training wird durch die Administratoren des DFN-MailSupport-Dienstes durchgeführt, interessierte Postmaster möchten wir aber ermutigen, daran teilzunehmen.
Teilnahme am Training
Pro Einrichtung werden auf Wunsch vier Mailadressen eingerichtet, eine für das Spam-Training, eine für das Hamtraining, eine für das Phishingtraining und eine für die Newsletter-Whitelist.
Das Training erfolgt, indem die zu trainierende Mail an die passende Adresse versendet wird. Hier ist zu beachten, dass möglichst die vollständigen Original-Header mitkommen, da diese in die Bewertung mit eingehen. Diese Funktion heißt in den verschiedenen Mailprogrammen meist weiterleiten als Anhang oder als Anlage weiterleiten. Es werden alle Mails im Anhang verarbeitet.
Wenn sie also Interesse daran haben aktiv an der Verbesserung unserer Filter mitzuwirken, melden Sie sich bei hotline@mailsupport.dfn.de und wir richten das Training für Sie ein.
Spam & Ham
Mails die ins Spam- oder Hamtraining geschickt werden beeinflussen unsere Bayes Filter.
Wir setzten hier derzeit zwei unterschiedliche ein: Den Bogofilter und den im SpamAssassin eingebauten sa-bayes.
Beide werden mit den selben Trainingsmails trainiert, bewerten allerdings leicht unterschiedlich.
Mit Mails, die ins Spamtraining gesendet werden, wird dem Filter mitgeteilt, dass der Inhalt der übergebenen Mail zukünftig als Spam einzustufen ist.
Mit Mails, die ins Hamtraining gesendet werden, wird dem Filter mitgeteilt, dass der Inhalt der übergebenen Mail zukünftig als Ham einzustufen ist.
Die E-Mails werden automatisiert verarbeitet. Nur in einzelnen Fällen werden diese Mails von den Mailsupport-Administratoren gesichtet.
-
Die gefilterten Mails werden von beiden Filtern in Klassen eingeteilt,
hier folgt eine Gegenüberstellung:bogofilter sa-bayes Einschätzung BOGO_SPAM BAYES_999 extrasicher Spam – BAYES_99 sicher Spam – BAYES_95 sicher Spam – BAYES_80 fast sicher Spam – BAYES_60 eher Spam BOGO_UNSURE BAYES_50 keine Aussage möglich – BAYES_40 eher Ham – BAYES_20 fast sicher Ham – BAYES_05 sicher Ham BOGO_HAM BAYES_00 sicher Ham Die Klassen werden mit Scores versehen und gehen zusammen mit
den regelbasierten Scores in die Gesamtbewertung ein. Hier sind
die im DFN-MailSupport verwendeten Basiswerte:bogofilter sa-bayes BOGO_SPAM 3.0 BAYES_999 0.9 – BAYES_99 7.0 – BAYES_95 6.0 – BAYES_80 4.0 – BAYES_60 2.2 BOGO_UNSURE 0.1 BAYES_50 0.1 – BAYES_40 -0.5 – BAYES_20 -1.0 – BAYES_05 -2.5 BOGO_HAM -2.0 BAYES_00 -3.9 -
In der Regel werden Mails ins Training geschickt, die der Spamfilter falsch klassifiziert hat.
Zuerst muss allerdings beurteilt werden, welcher unserer Filter die Fehlklassifizierung verursacht hat.
Falsche Einschätzungen des regelbasierten Filters können nur schwer durch den statistischen Filter ausgeglichen werden!
Beurteilt wird dies anhand der eingefügten Header.
Folgende Header sind für die Klassifikation relevant:- BOGO_SPAM
- BOGO_UNSURE
- BOGO_HAM
- BAYES_999, … .BAYES_00
Folgende Fälle sind Kandidaten für das Training:
BOGO_SPAM, BAYES_(999,99,95,80,60) BOGO_UNSURE, BAYES_50 BOGO_HAM, BAYES_(40,20,05,00) Die Mail ist Spam, wurde aber nicht erkannt: Spamtraining Spamtraining Die Mail ist kein Spam, wurde aber als Spam markiert: Hamtraining Hamtraining
Phishing
Diese Mails landen auf unserem Trainingshost und werden dort automatisiert auf bestimmte Merkmale analysiert und ausgewertet.
Folgende Merkmale werden analysiert:
- Enthaltene URI’s
Folgende Merkmale sollen in Zukunft analysiert werden:
- Header der Mail
- Enthaltene Bilder (z.B. QR Codes)
Aus den daraus gewonnenen Daten werden Blocklisten gebildet und statische Regeln entwickelt
Newsletter
Hiermit wird mitgeteilt, dass diese Mail zukünftig als erwünschter Newsletter einzustufen ist. Das Training erfolgt wegen der Komplexität von Hand durch die Mailsupport-Admins.
Es wird eine Regel für den Absender erstellt, die anhand von SPF, DKIM oder DMARC einen Score von -100 vergibt und die Mails somit erlaubt.