Verständnisfrage: Viele einzelne Mails an eine Destination

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Verständnisfrage: Viele einzelne Mails an eine Destination

Frank Bach
Hallo zusammen,

erstmal eine Herzliches "Guten Tag" in die Mailingliste. Bin neu hier, bitte seht mir eventuelle Fauxpas nach :)

Zu meinem Anliegen:

Hintergrund
Eingesetzt wird Postfix 2.6.6-8.el6 (Centos6)  
Ich versende viele einzelne Nachrichten (individualisiert) an mehrere Destinations. Eine dieser Destination macht mir besondere Probleme. Die Nachrichten hierhin werden über einen Transport gebündelt wegen einem abweichenden "destination_concurrency_limit" für diese Destination. Es werden hier 4 MX Server auf der Gegenseite betrieben.

Problem:
Alle Nachrichten werden einzeln versendet. Einzeln bedeutet hier, das es für jede Nachricht zum Auf-/Abbau der Verbindung zu einem MX-Server kommt. Dies macht die Zustellung an die Problem-Destination sehr schwierig aufgrund Limitierungen der parallelen Verbindungen zu dieser Destination.

Annahme
Ich bin davon ausgegangen, das durch das Connection-Caching eine Verbindung zu einem MX solange "genutzt" wird, wie Nachrichten für diesen MX in der Queue liegen. Die Doku habe ich so verstanden, das für jeden MX, der innerhalb eines Transport angesprochen wird, eine "queue" angelegt wird, und somit alle Nachrichten dieser "queue" in einem Schwung (unter Berücksichtigung von cache-Timeouts und maxuse Angaben) übermittelt werden.

Fehlersuche
Ich habe schon TLS komplett deaktiviert, ohne Erfolg ( bzw. mit gleichen Problemen )
Ein Reduzieren der destination_concurrency_limit auf 1 und/oder der destination_recipient_limit auf 1 sorgte auch nicht für eine Nutzung des Connection-Cache

Fragen
Warum werden die Nachrichten "einzeln" Versendet, mit Auf-/Abbau der Verbindung, und nicht in "Blöcken"?
Welche Einstellungen oder Bedingungen sind maßgebend dafür, das eine Verbindung zu einem MX für mehrere Nachrichten verwendet wird?
Gibt es einen "Best-Practise"-Weg, um mich hier an die Fehlerursache heranzutasten?

Vielen Dank für jeden Hinweis :)
Frank


Postconf -n
alias_database = hash:/etc/aliases
alias_maps = hash:/etc/aliases
allow_min_user = yes
append_dot_mydomain = no
biff = no
config_directory = /etc/postfix
default_destination_concurrency_failed_cohort_limit = 1
default_process_limit = 200
header_checks =
inet_interfaces = all
mailbox_size_limit = 0
message_size_limit = 25600000
mydestination = AAAA.domain.tld, AAAA, localhost, localhost.localdomain
myhostname = AAAA.domain.tld
mynetworks = 127.0.0.0/8, XX.XX.XX.XX/32, XX.XX.XX.XX/32, ( und noch ein paar mehr )
myorigin = $myhostname
non_smtpd_milters =
recipient_delimiter = +
relayhost =
smtp_connect_timeout = 15s
smtp_header_checks = pcre:/etc/postfix/header_checks_outgoing
smtp_helo_timeout = 30s
smtp_tls_CApath = /etc/pki/ca-trust/extracted/pem/
smtp_tls_loglevel = 1
smtp_tls_mandatory_protocols = !SSLv2 !SSLv3
smtp_tls_protocols = !SSLv2, !SSLv3
smtp_tls_security_level = may
smtp_tls_session_cache_database = btree:/var/lib/postfix/smtp_scache
smtpd_milters =
smtpd_tls_cert_file = /etc/postfix/ssl/AAAAAAA.net.crt
smtpd_tls_key_file = /etc/postfix/ssl/AAAAAAAc.net.key
smtpd_tls_loglevel = 1
smtpd_tls_mandatory_protocols = !SSLv2 !SSLv3
smtpd_tls_protocols = !SSLv2 !SSLv3
smtpd_tls_received_header = yes
smtpd_tls_security_level = may
smtpd_tls_session_cache_database = btree:/var/lib/postfix/smtpd_scache
transport_maps = pcre:/etc/postfix/transport.regexp
virtual_alias_maps = hash:/etc/postfix/virtual-maps

Transport
AAAAAA_destination_concurrency_limit = 5
AAAAAA_destination_concurrency_failed_cohort_limit = 100

Reply | Threaded
Open this post in threaded view
|

Re: Verständnisfrage: Viele einzelne Mails an eine Destination

Ralf Hildebrandt-2
> Problem:
> Alle Nachrichten werden einzeln versendet. Einzeln bedeutet hier, das es
> für jede Nachricht zum Auf-/Abbau der Verbindung zu einem MX-Server kommt.
> Dies macht die Zustellung an die Problem-Destination sehr schwierig
> aufgrund Limitierungen der parallelen Verbindungen zu dieser Destination.

    smtp_connection_cache_on_demand = yes
keine Ahnung ob das in 2.6.6 standardmäßig an ist.

--
[*] sys4 AG

https://sys4.de, +49 (89) 30 90 46 64
Schleißheimer Straße 26/MG, 80333 München
                                           
Sitz der Gesellschaft: München, Amtsgericht München: HRB 199263
Vorstand: Patrick Ben Koetter, Marc Schiffbauer
Aufsichtsratsvorsitzender: Florian Kirstein
Reply | Threaded
Open this post in threaded view
|

Re: Verständnisfrage: Viele einzelne Mails an eine Destination

Frank Bach
    smtp_connection_cache_on_demand = yes
> keine Ahnung ob das in 2.6.6 standardmäßig an ist. 

Laut "postconf -d" ja:

smtp_connection_cache_destinations =
smtp_connection_cache_on_demand = yes
smtp_connection_cache_time_limit = 2s
smtp_connection_reuse_time_limit = 300s

Auch nach explizitem Setzen der Option werden die Mails einzeln zugestellt.

Zusatzinfo
Während Postfix versucht eine Nachricht zuzustellen, bekommt es (wohl bedingt durch die Beschränkung in der Parallelisierung) sofort beim Verbindungsaufbau einen Fehler "421 Maximum parallel connections", und wechselt dann zum nächsten MX. 

Aber: sobald Postfix eine Verbindung zu einem MX hat, sollten doch alle Nachrichten in diesem Transport mit dem gleichen MX "ohne" neuen Verbindungsaufbau übertragen werden ?

Liegt das Problem vielleicht daran, das wirklich für jede Mail ein DNS-Lookup gemacht wird, und daher "ständig" für gleiche Zieldomains unterschiedliche MX ermittelt werden? 

Am 26. April 2018 um 15:40 schrieb Ralf Hildebrandt <[hidden email]>:
> Problem:
> Alle Nachrichten werden einzeln versendet. Einzeln bedeutet hier, das es
> für jede Nachricht zum Auf-/Abbau der Verbindung zu einem MX-Server kommt.
> Dies macht die Zustellung an die Problem-Destination sehr schwierig
> aufgrund Limitierungen der parallelen Verbindungen zu dieser Destination.

    smtp_connection_cache_on_demand = yes
keine Ahnung ob das in 2.6.6 standardmäßig an ist.

--
[*] sys4 AG

https://sys4.de, +49 (89) 30 90 46 64
Schleißheimer Straße 26/MG, 80333 München

Sitz der Gesellschaft: München, Amtsgericht München: HRB 199263
Vorstand: Patrick Ben Koetter, Marc Schiffbauer
Aufsichtsratsvorsitzender: Florian Kirstein

Reply | Threaded
Open this post in threaded view
|

Re: Verständnisfrage: Viele einzelne Mails an eine Destination

Marco Dickert-2
Hast du mal versucht deine relevanten Ziele explizit in
smtp_connection_cache_destinations anzugeben?

On 2018-04-26 16:14:12, Frank Bach wrote:

> >      smtp_connection_cache_on_demand = yes
> > keine Ahnung ob das in 2.6.6 standardmäßig an ist.
>
> Laut "postconf -d" ja:
>
> smtp_connection_cache_destinations =
> smtp_connection_cache_on_demand = yes
> smtp_connection_cache_time_limit = 2s
> smtp_connection_reuse_time_limit = 300s
>
> Auch nach explizitem Setzen der Option werden die Mails einzeln zugestellt.
--
Marco Dickert
[hidden email]
https://misterunknown.de

smime.p7s (6K) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: Verständnisfrage: Viele einzelne Mails an eine Destination

Frank Bach
Hallo,

ja auch das habe ich zwischendurch schon probiert. Leider ohne Erfolg. So langsam gehen mir hier die Ideen aus.

Hat vielleicht jemand das Connection-Caching erfolgreich am laufen, und kann mir die notwendigen Optionen mitteilen?

Am 27. April 2018 um 09:14 schrieb Marco Dickert <[hidden email]>:
Hast du mal versucht deine relevanten Ziele explizit in
smtp_connection_cache_destinations anzugeben?

On 2018-04-26 16:14:12, Frank Bach wrote:
> >      smtp_connection_cache_on_demand = yes
> > keine Ahnung ob das in 2.6.6 standardmäßig an ist.
>
> Laut "postconf -d" ja:
>
> smtp_connection_cache_destinations =
> smtp_connection_cache_on_demand = yes
> smtp_connection_cache_time_limit = 2s
> smtp_connection_reuse_time_limit = 300s
>
> Auch nach explizitem Setzen der Option werden die Mails einzeln zugestellt.

--
Marco Dickert
[hidden email]
https://misterunknown.de