Rspamd und fuzzy

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Rspamd und fuzzy

Florian Ruhnke
Moin,

ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das auch ein Verständnisproblem.

Soweit ich die Config verstanden habe, soll bei einem "neutralen" resp. unbekannten Ergebnis das Symbol "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber nix geliefert.
Definiert sind der Standardserver rspamd.com und ein lokaler Server.

Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
Was mich auch irritiert ist, dass absolute Müllmails nicht mal von rspamd.com ein denied bekommen, oder wenigstens ein prob.

In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check und fuzzy_process_handler, aber bei einer ankommenden Mail taucht nix mit Fuzzy im log auf.
Wenn ich manuell das Spam-Postfach anlernen will, überschlägt sich das log mit "no content to generate fuzzy", was ich auch nicht nachvollziehen kann...

Falls meine config hilft, schieb ich die hier gern rein (dann als Anlage oder im Text?)

Grüße
Florian

signature.asc (669 bytes) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: Rspamd und fuzzy

Alex JOST
Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:

> Moin,
>
> ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das auch ein Verständnisproblem.
>
> Soweit ich die Config verstanden habe, soll bei einem "neutralen" resp. unbekannten Ergebnis das Symbol "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber nix geliefert.
> Definiert sind der Standardserver rspamd.com und ein lokaler Server.
>
> Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
> Was mich auch irritiert ist, dass absolute Müllmails nicht mal von rspamd.com ein denied bekommen, oder wenigstens ein prob.
>
> In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check und fuzzy_process_handler, aber bei einer ankommenden Mail taucht nix mit Fuzzy im log auf.
> Wenn ich manuell das Spam-Postfach anlernen will, überschlägt sich das log mit "no content to generate fuzzy", was ich auch nicht nachvollziehen kann...

Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe. Wie groß
bzw. lang sind denn die E-Mails und was hast Du bei 'min_length' und
'min_bytes' gesetzt?


> Falls meine config hilft, schieb ich die hier gern rein (dann als Anlage oder im Text?)

Konfiguration kann nie schaden :)

        rspamadm configdump fuzzy_check

--
Alex JOST
Reply | Threaded
Open this post in threaded view
|

Re: Rspamd und fuzzy

Florian Ruhnke
Sorry für die jetzt doof formatierte Mail, schreib gerade übers Smartphone.

min_bytes habe ich schon auf 100 runter gesetzt, min_length habe ich noch gar nicht probiert.

Hier mal ein configdump, habe allerdings _alles_ als json schreiben lassen und dann nach fuzzy aussortiert (und dabei hoffentlich keine Klammern falsch gelöscht, Smartphone halt). Die mime_types resultieren aus verschiedenen Versuchen, ihn doch noch zu überreden. Bis heute morgen war nur * drin. Ebenso retransmits und timeout.

{
"fuzzy_check": {
"retransmits": 7,
"rule": {
"FUZZY_CUSTOM": {
"min_width": 100,
"symbol": "LOCAL_FUZZY_UNKNOWN",
"mime_types": [
"*",
"application/*",
"text/*",
"text/html",
"text/plain",
"*/*",
"image/*"
],
"fuzzy_map": {
"LOCAL_FUZZY_DENIED": {
"flag": 11,
"max_score": 20
},
"LOCAL_FUZZY_WHITE": {
"flag": 13,
"max_score": 2
},
"LOCAL_FUZZY_PROB": {
"flag": 12,
"max_score": 10
}
},
"min_height": 100,
"short_text_direct_hash": true,
"max_score": 20,
"skip_unknown": true,
"read_only": false,
"algorithm": "mumhash",
"servers": "127.0.0.1:11335"
},
"rspamd.com": {
"symbol": "FUZZY_UNKNOWN",
"mime_types": [
"*"
],
"encryption_key": "icy63itbhhni8bq15ntp5n5symuixf73s1kpjh6skaq4e7nx5fiy",
"read_only": true,
"fuzzy_map": {
"FUZZY_PROB": {
"flag": 2,
"max_score": 10
},
"FUZZY_DENIED": {
"flag": 1,
"max_score": 20
},
"FUZZY_WHITE": {
"flag": 3,
"max_score": 2
}
},
"max_score": 20,
"short_text_direct_hash": true,
"skip_unknown": true,
"algorithm": "mumhash",
"servers": "round-robin:fuzzy1.rspamd.com:11335,fuzzy2.rspamd.com:11335"
}
},
"timeout": 20,
"min_bytes": 100
},
"group": {
"fuzzy": {
"symbols": {
"LOCAL_FUZZY_UNKNOWN": {
"description": "Generic fuzzy hash match, local",
"weight": 5
},
"LOCAL_FUZZY_WHITE": {
"description": "Whitelisted fuzzy hash, local",
"weight": -2.100000
},
"FUZZY_DENIED": {
"description": "Denied fuzzy hash, bl.rspamd.com",
"weight": 12
},
"FUZZY_WHITE": {
"description": "Whitelisted fuzzy hash, bl.rspamd.com",
"weight": -2.100000
},
"FUZZY_UNKNOWN": {
"description": "Generic fuzzy hash match, bl.rspamd.com",
"weight": 5
},
"FUZZY_PROB": {
"description": "Probable fuzzy hash, bl.rspamd.com",
"weight": 5
},
"LOCAL_FUZZY_PROB": {
"description": "Probable fuzzy hash, local",
"weight": 5
},
"LOCAL_FUZZY_DENIED": {
"description": "Denied fuzzy hash, local",
"weight": 12
}
},
"max_score": 20
}
},
"worker": [
{
"fuzzy": {
"backend": "redis",
"expire": 15552000,
"sync": 60,
"allow_update": "127.0.0.1, [::1]",
"db": "2",
"enabled": true,
"bind_socket": "localhost:11335",
"count": 2
}
}
],
"milter_headers": {
"extended_spam_headers": true,
"use": [
"x-spamd-bar",
"x-spam-level",
"authentication-results",
"x-spamd-result",
"x-rspamd-server",
"x-rspamd-queue-id",
"fuzzy-hashes",
"stat-signature"
],
"routines": {
"fuzzy-hashes": {
"header": "X-Rspamd-Fuzzy"
},
}
},
"options": {
"filters": "chartable,dkim,spf,surbl,regexp,fuzzy_check",
}



Am 6. März 2019 17:23:26 MEZ schrieb Alex JOST <[hidden email]>:
Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:
Moin,

ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das auch ein Verständnisproblem.

Soweit ich die Config verstanden habe, soll bei einem "neutralen" resp. unbekannten Ergebnis das Symbol "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber nix geliefert.
Definiert sind der Standardserver rspamd.com und ein lokaler Server.

Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
Was mich auch irritiert ist, dass absolute Müllmails nicht mal von rspamd.com ein denied bekommen, oder wenigstens ein prob.

In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check und fuzzy_process_handler, aber bei einer ankommenden Mail taucht nix mit Fuzzy im log auf.
Wenn ich manuell das Spam-Postfach anlernen will, überschlägt sich das log mit "no content to generate fuzzy", was ich auch nicht nachvollziehen kann...

Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe. Wie groß
bzw. lang sind denn die E-Mails und was hast Du bei 'min_length' und
'min_bytes' gesetzt?


Falls meine config hilft, schieb ich die hier gern rein (dann als Anlage oder im Text?)

Konfiguration kann nie schaden :)

rspamadm configdump fuzzy_check

--
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
Reply | Threaded
Open this post in threaded view
|

Re: Rspamd und fuzzy

Carsten Rosenberg
Hey,

FUZZY_UNKNOWN ist ein Symbol an den sich der Callback des Plugins dran
hängt und normalerweise nicht angezeigt wird.

Um das FUZZY_UNKNOWN zu bekommen, müsste ein nicht definiertes flag aus
der fuzzy_map zurück geliefert werden und skip_unknown = false gesetzt sein.

Wenn du also skip_unknown = false  setzt und z.B. FUZZY_DENIED
auskommentierst bekommst du bei einem Hit vom eigentlichen FUZZY_DENIED
(flag 1) das FUZZY_UNKNOWN, da es nicht zugeordnet werden kann.

> Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE"

Fuzzy ist eine Art Text Pattern matching und File Hashing. Es wirkt also
auf den Inhalt und nicht auf eine Adresse.

viele Grüße

Carsten

On 06.03.19 21:51, Florian Ruhnke wrote:

> Sorry für die jetzt doof formatierte Mail, schreib gerade übers Smartphone.
>
> min_bytes habe ich schon auf 100 runter gesetzt, min_length habe ich
> noch gar nicht probiert.
>
> Hier mal ein configdump, habe allerdings _alles_ als json schreiben
> lassen und dann nach fuzzy aussortiert (und dabei hoffentlich keine
> Klammern falsch gelöscht, Smartphone halt). Die mime_types resultieren
> aus verschiedenen Versuchen, ihn doch noch zu überreden. Bis heute
> morgen war nur * drin. Ebenso retransmits und timeout.
>
> {
> "fuzzy_check": {
> "retransmits": 7,
> "rule": {
> "FUZZY_CUSTOM": {
> "min_width": 100,
> "symbol": "LOCAL_FUZZY_UNKNOWN",
> "mime_types": [
> "*",
> "application/*",
> "text/*",
> "text/html",
> "text/plain",
> "*/*",
> "image/*"
> ],
> "fuzzy_map": {
> "LOCAL_FUZZY_DENIED": {
> "flag": 11,
> "max_score": 20
> },
> "LOCAL_FUZZY_WHITE": {
> "flag": 13,
> "max_score": 2
> },
> "LOCAL_FUZZY_PROB": {
> "flag": 12,
> "max_score": 10
> }
> },
> "min_height": 100,
> "short_text_direct_hash": true,
> "max_score": 20,
> "skip_unknown": true,
> "read_only": false,
> "algorithm": "mumhash",
> "servers": "127.0.0.1:11335"
> },
> "rspamd.com": {
> "symbol": "FUZZY_UNKNOWN",
> "mime_types": [
> "*"
> ],
> "encryption_key": "icy63itbhhni8bq15ntp5n5symuixf73s1kpjh6skaq4e7nx5fiy",
> "read_only": true,
> "fuzzy_map": {
> "FUZZY_PROB": {
> "flag": 2,
> "max_score": 10
> },
> "FUZZY_DENIED": {
> "flag": 1,
> "max_score": 20
> },
> "FUZZY_WHITE": {
> "flag": 3,
> "max_score": 2
> }
> },
> "max_score": 20,
> "short_text_direct_hash": true,
> "skip_unknown": true,
> "algorithm": "mumhash",
> "servers": "round-robin:fuzzy1.rspamd.com:11335,fuzzy2.rspamd.com:11335"
> }
> },
> "timeout": 20,
> "min_bytes": 100
> },
> "group": {
> "fuzzy": {
> "symbols": {
> "LOCAL_FUZZY_UNKNOWN": {
> "description": "Generic fuzzy hash match, local",
> "weight": 5
> },
> "LOCAL_FUZZY_WHITE": {
> "description": "Whitelisted fuzzy hash, local",
> "weight": -2.100000
> },
> "FUZZY_DENIED": {
> "description": "Denied fuzzy hash, bl.rspamd.com",
> "weight": 12
> },
> "FUZZY_WHITE": {
> "description": "Whitelisted fuzzy hash, bl.rspamd.com",
> "weight": -2.100000
> },
> "FUZZY_UNKNOWN": {
> "description": "Generic fuzzy hash match, bl.rspamd.com",
> "weight": 5
> },
> "FUZZY_PROB": {
> "description": "Probable fuzzy hash, bl.rspamd.com",
> "weight": 5
> },
> "LOCAL_FUZZY_PROB": {
> "description": "Probable fuzzy hash, local",
> "weight": 5
> },
> "LOCAL_FUZZY_DENIED": {
> "description": "Denied fuzzy hash, local",
> "weight": 12
> }
> },
> "max_score": 20
> }
> },
> "worker": [
> {
> "fuzzy": {
> "backend": "redis",
> "expire": 15552000,
> "sync": 60,
> "allow_update": "127.0.0.1, [::1]",
> "db": "2",
> "enabled": true,
> "bind_socket": "localhost:11335",
> "count": 2
> }
> }
> ],
> "milter_headers": {
> "extended_spam_headers": true,
> "use": [
> "x-spamd-bar",
> "x-spam-level",
> "authentication-results",
> "x-spamd-result",
> "x-rspamd-server",
> "x-rspamd-queue-id",
> "fuzzy-hashes",
> "stat-signature"
> ],
> "routines": {
> "fuzzy-hashes": {
> "header": "X-Rspamd-Fuzzy"
> },
> }
> },
> "options": {
> "filters": "chartable,dkim,spf,surbl,regexp,fuzzy_check",
> }
>
>
>
> Am 6. März 2019 17:23:26 MEZ schrieb Alex JOST <[hidden email]>:
>
>     Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:
>
>         Moin,
>
>         ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das
>         auch ein Verständnisproblem.
>
>         Soweit ich die Config verstanden habe, soll bei einem
>         "neutralen" resp. unbekannten Ergebnis das Symbol
>         "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber
>         nix geliefert.
>         Definiert sind der Standardserver rspamd.com und ein lokaler Server.
>
>         Hin und wieder wird eine angelernte Adresse mit
>         "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
>         Was mich auch irritiert ist, dass absolute Müllmails nicht mal
>         von rspamd.com ein denied bekommen, oder wenigstens ein prob.
>
>         In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check
>         und fuzzy_process_handler, aber bei einer ankommenden Mail
>         taucht nix mit Fuzzy im log auf.
>         Wenn ich manuell das Spam-Postfach anlernen will, überschlägt
>         sich das log mit "no content to generate fuzzy", was ich auch
>         nicht nachvollziehen kann...
>
>
>     Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe. Wie groß
>     bzw. lang sind denn die E-Mails und was hast Du bei 'min_length' und
>     'min_bytes' gesetzt?
>
>
>         Falls meine config hilft, schieb ich die hier gern rein (dann
>         als Anlage oder im Text?)
>
>
>     Konfiguration kann nie schaden :)
>
>     rspamadm configdump fuzzy_check
>
>
> --
> Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.
Reply | Threaded
Open this post in threaded view
|

Re: Rspamd und fuzzy

Florian Ruhnke
Moin,

dann war es ein Gedankenfehler von mir.
Danke für die Info. Meine Idee war, das Fuzzy vllt besser arbeitet als Bayes, aber dann sehe ich es jetzt nur noch als parallelen Filter zur Erweiterung des Antispam-Kampfes.
Wenn ich (aufgrund der geringen Größe des Mailservers) so was auf community-based suche, von dem ich bisher dachte, dass da Fuzzy die Lösung wäre.
Soweit ich es jetzt verstanden habe, kann Fuzzy gegen Spam-Wellen funktionieren, wenn genügend Positiv-Meldungen eingehen, bevor die Welle wieder vorbei ist, richtig?

Vllt mal über neuronetwork nachdenken...

Gruß
Florian

Am 7. März 2019 08:17:46 MEZ schrieb Carsten Rosenberg <[hidden email]>:
Hey,

FUZZY_UNKNOWN ist ein Symbol an den sich der Callback des Plugins dran
hängt und normalerweise nicht angezeigt wird.

Um das FUZZY_UNKNOWN zu bekommen, müsste ein nicht definiertes flag aus
der fuzzy_map zurück geliefert werden und skip_unknown = false gesetzt sein.

Wenn du also skip_unknown = false setzt und z.B. FUZZY_DENIED
auskommentierst bekommst du bei einem Hit vom eigentlichen FUZZY_DENIED
(flag 1) das FUZZY_UNKNOWN, da es nicht zugeordnet werden kann.

Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE"

Fuzzy ist eine Art Text Pattern matching und File Hashing. Es wirkt also
auf den Inhalt und nicht auf eine Adresse.

viele Grüße

Carsten

On 06.03.19 21:51, Florian Ruhnke wrote:
Sorry für die jetzt doof formatierte Mail, schreib gerade übers Smartphone.

min_bytes habe ich schon auf 100 runter gesetzt, min_length habe ich
noch gar nicht probiert.

Hier mal ein configdump, habe allerdings _alles_ als json schreiben
lassen und dann nach fuzzy aussortiert (und dabei hoffentlich keine
Klammern falsch gelöscht, Smartphone halt). Die mime_types resultieren
aus verschiedenen Versuchen, ihn doch noch zu überreden. Bis heute
morgen war nur * drin. Ebenso retransmits und timeout.

{
"fuzzy_check": {
"retransmits": 7,
"rule": {
"FUZZY_CUSTOM": {
"min_width": 100,
"symbol": "LOCAL_FUZZY_UNKNOWN",
"mime_types": [
"*",
"application/*",
"text/*",
"text/html",
"text/plain",
"*/*",
"image/*"
],
"fuzzy_map": {
"LOCAL_FUZZY_DENIED": {
"flag": 11,
"max_score": 20
},
"LOCAL_FUZZY_WHITE": {
"flag": 13,
"max_score": 2
},
"LOCAL_FUZZY_PROB": {
"flag": 12,
"max_score": 10
}
},
"min_height": 100,
"short_text_direct_hash": true,
"max_score": 20,
"skip_unknown": true,
"read_only": false,
"algorithm": "mumhash",
"servers": "127.0.0.1:11335"
},
"rspamd.com": {
"symbol": "FUZZY_UNKNOWN",
"mime_types": [
"*"
],
"encryption_key": "icy63itbhhni8bq15ntp5n5symuixf73s1kpjh6skaq4e7nx5fiy",
"read_only": true,
"fuzzy_map": {
"FUZZY_PROB": {
"flag": 2,
"max_score": 10
},
"FUZZY_DENIED": {
"flag": 1,
"max_score": 20
},
"FUZZY_WHITE": {
"flag": 3,
"max_score": 2
}
},
"max_score": 20,
"short_text_direct_hash": true,
"skip_unknown": true,
"algorithm": "mumhash",
"servers": "round-robin:fuzzy1.rspamd.com:11335,fuzzy2.rspamd.com:11335"
}
},
"timeout": 20,
"min_bytes": 100
},
"group": {
"fuzzy": {
"symbols": {
"LOCAL_FUZZY_UNKNOWN": {
"description": "Generic fuzzy hash match, local",
"weight": 5
},
"LOCAL_FUZZY_WHITE": {
"description": "Whitelisted fuzzy hash, local",
"weight": -2.100000
},
"FUZZY_DENIED": {
"description": "Denied fuzzy hash, bl.rspamd.com",
"weight": 12
},
"FUZZY_WHITE": {
"description": "Whitelisted fuzzy hash, bl.rspamd.com",
"weight": -2.100000
},
"FUZZY_UNKNOWN": {
"description": "Generic fuzzy hash match, bl.rspamd.com",
"weight": 5
},
"FUZZY_PROB": {
"description": "Probable fuzzy hash, bl.rspamd.com",
"weight": 5
},
"LOCAL_FUZZY_PROB": {
"description": "Probable fuzzy hash, local",
"weight": 5
},
"LOCAL_FUZZY_DENIED": {
"description": "Denied fuzzy hash, local",
"weight": 12
}
},
"max_score": 20
}
},
"worker": [
{
"fuzzy": {
"backend": "redis",
"expire": 15552000,
"sync": 60,
"allow_update": "127.0.0.1, [::1]",
"db": "2",
"enabled": true,
"bind_socket": "localhost:11335",
"count": 2
}
}
],
"milter_headers": {
"extended_spam_headers": true,
"use": [
"x-spamd-bar",
"x-spam-level",
"authentication-results",
"x-spamd-result",
"x-rspamd-server",
"x-rspamd-queue-id",
"fuzzy-hashes",
"stat-signature"
],
"routines": {
"fuzzy-hashes": {
"header": "X-Rspamd-Fuzzy"
},
}
},
"options": {
"filters": "chartable,dkim,spf,surbl,regexp,fuzzy_check",
}



Am 6. März 2019 17:23:26 MEZ schrieb Alex JOST <[hidden email]>:

Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:

Moin,

ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das
auch ein Verständnisproblem.

Soweit ich die Config verstanden habe, soll bei einem
"neutralen" resp. unbekannten Ergebnis das Symbol
"FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber
nix geliefert.
Definiert sind der Standardserver rspamd.com und ein lokaler Server.

Hin und wieder wird eine angelernte Adresse mit
"LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
Was mich auch irritiert ist, dass absolute Müllmails nicht mal
von rspamd.com ein denied bekommen, oder wenigstens ein prob.

In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check
und fuzzy_process_handler, aber bei einer ankommenden Mail
taucht nix mit Fuzzy im log auf.
Wenn ich manuell das Spam-Postfach anlernen will, überschlägt
sich das log mit "no content to generate fuzzy", was ich auch
nicht nachvollziehen kann...


Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe. Wie groß
bzw. lang sind denn die E-Mails und was hast Du bei 'min_length' und
'min_bytes' gesetzt?


Falls meine config hilft, schieb ich die hier gern rein (dann
als Anlage oder im Text?)


Konfiguration kann nie schaden :)

rspamadm configdump fuzzy_check


--
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.

--
Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.