[Postfixbuch-users] queue file write error

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
24 messages Options
12
Reply | Threaded
Open this post in threaded view
|

[Postfixbuch-users] queue file write error

Helmut Lichtenberg
Hallo,
seit Wochen bekomme ich Meldungen von Postfix, die so aussehen:

==============================================================================
Transcript of session follows.

 Out: 220 dcs.tzv.fal.de ESMTP Postfix
 In:  EHLO mx021.fli.bund.de
 Out: 250-dcs.tzv.fal.de
 Out: 250-PIPELINING
 Out: 250-SIZE 30000000
 Out: 250-VRFY
 Out: 250-ETRN
 Out: 250-STARTTLS
 Out: 250-ENHANCEDSTATUSCODES
 Out: 250-8BITMIME
 Out: 250 DSN
 In:  MAIL FROM:<[hidden email]> SIZE=334451
 Out: 250 2.1.0 Ok
 In:  RCPT TO:<[hidden email]>
 Out: 250 2.1.5 Ok
 In:  DATA
 Out: 354 End data with <CR><LF>.<CR><LF>
 Out: 451 4.3.0 Error: queue file write error
 In:  QUIT
 Out: 221 2.0.0 Bye
For other details, see the local mail logfile
==============================================================================

Im Logfile steht folgendes:

Sep 17 11:06:24 dcs postfix/smtpd[12517]: connect from mx021.fli.bund.de[193.22.112.21]
Sep 17 11:06:25 dcs postfix/policyd-weight[19640]: decided action=PREPEND X-policyd-weight: using cached result; rate: -5.5; <client=193.22.112.21> <helo=mx021.fli.bund.de> <from=[hidden email]> <to=[hidden email]>; delay: 0s
Sep 17 11:06:25 dcs postgrey[6286]: action=pass, reason=client whitelist, client_name=mx021.fli.bund.de, client_address=193.22.112.21, sender=[hidden email], recipient=[hidden email]
Sep 17 11:06:25 dcs postfix/smtpd[12517]: NOQUEUE: client=mx021.fli.bund.de[193.22.112.21]
Sep 17 11:06:25 dcs amavis[28992]: (28992-18) ESMTP::10024 /var/lib/amavis/tmp/amavis-20120917T093427-28992: <[hidden email]> -> <[hidden email]> SIZE=334451 Received: from dcs.tzv.fal.de ([127.0.0.1]) by localhost (dcs.tzv.fal.de [127.0.0.1]) (amavisd-new, port 10024) with ESMTP for <[hidden email]>; Mon, 17 Sep 2012 11:06:25 +0200 (CEST)
Sep 17 11:11:19 dcs amavis[28992]: (28992-18) Checking: PYqE1xGgUq0G [193.22.112.21] <[hidden email]> -> <[hidden email]>
Sep 17 11:11:26 dcs postfix/smtpd[12517]: warning: timeout talking to proxy 127.0.0.1:10024
Sep 17 11:11:26 dcs postfix/smtpd[12517]: proxy-reject: END-OF-MESSAGE: 451 4.3.0 Error: queue file write error; from=<[hidden email]> to=<[hidden email]> proto=ESMTP helo=<mx021.fli.bund.de>
Sep 17 11:11:26 dcs postfix/smtpd[12517]: disconnect from mx021.fli.bund.de[193.22.112.21]
==============================================================================

Ich weiß, daß dieser Fehler schon an verschiedenen Stellen diskutiert wurde.
Da ich den Hintergrund aber nicht verstehe, stochere ich nur im Dunkeln. So
habe ich z.B. in der main.cf den Parameter smtpd_proxy_timeout von 100 auf
300s erhöht, weil es irgendwo als hilfreich genannt wurde, bei mir aber mit
wenig Erfolg.
Ebenso war es in der master.cf mit '-o smtpd_proxy_options=speed_adjust'.

Kann mir hier jemand weiter helfen?

Gruß und vielen Dank
Helmut

PS:
Als Anhang die master.cf und postconf -n:

==============================================================================
master.cf
smtp             inet  n  -       -       -       -       smtpd -o smtpd_proxy_filter=127.0.0.1:10024 -o smtpd_proxy_options=speed_adjust
127.0.0.1:10025  inet  n  -       -       -       -       smtpd -o smtpd_proxy_filter= -o content_filter=

submission       inet  n  -       -       -       -       smtpd
    -o smtpd_etrn_restrictions=reject
    -o smtpd_client_restrictions=permit_sasl_authenticated,reject

pickup    fifo  n       -       -       60      1       pickup
cleanup   unix  n       -       -       -       0       cleanup
qmgr      fifo  n       -       -       300     1       qmgr
tlsmgr    unix  -       -       -       1000?   1       tlsmgr
scache    unix  -       -       -       -       1       scache
discard   unix  -       -       -       -       -       discard
retry     unix  -       -       -       -       -       error
rewrite   unix  -       -       -       -       -       trivial-rewrite
bounce    unix  -       -       -       -       0       bounce
defer     unix  -       -       -       -       0       bounce
trace     unix  -       -       -       -       0       bounce
verify    unix  -       -       -       -       1       verify
flush     unix  n       -       -       1000?   0       flush
proxymap  unix  -       -       n       -       -       proxymap
smtp      unix  -       -       -       -       -       smtp
relay     unix  -       -       -       -       -       smtp
showq     unix  n       -       -       -       -       showq
error     unix  -       -       -       -       -       error
local     unix  -       n       n       -       -       local
virtual   unix  -       n       n       -       -       virtual
lmtp      unix  -       -       n       -       -       lmtp
anvil     unix  -       -       n       -       1       anvil
maildrop  unix  -       n       n       -       -       pipe
  flags=DRhu user=vmail argv=/usr/local/bin/maildrop -d ${recipient}
uucp      unix  -       n       n       -       -       pipe
  flags=Fqhu user=uucp argv=uux -r -n -z -a$sender - $nexthop!rmail ($recipient)
ifmail    unix  -       n       n       -       -       pipe
  flags=F user=ftn argv=/usr/lib/ifmail/ifmail -r $nexthop ($recipient)
bsmtp     unix  -       n       n       -       -       pipe
  flags=Fq. user=bsmtp argv=/usr/lib/bsmtp/bsmtp -d -t$nexthop -f$sender $recipient
scalemail-backend unix - n n - 2 pipe
  flags=R user=scalemail argv=/usr/lib/scalemail/bin/scalemail-store ${nexthop} ${user} ${extension}

==============================================================================
alias_maps = hash:/etc/aliases proxy:ldap:aliassource
biff = no
bounce_queue_lifetime = 3d
broken_sasl_auth_clients = yes
canonical_maps = hash:/etc/postfix/canonical
config_directory = /etc/postfix
fallback_transport = smtp
html_directory = /usr/share/doc/postfix/html
inet_interfaces = all
local_header_rewrite_clients = permit_mynetworks, permit_sasl_authenticated, permit_tls_clientcerts
mailbox_transport = lmtp:unix:/var/run/cyrus/socket/lmtp
masquerade_domains = tzv.local tzv.fal.de
masquerade_exceptions = root
message_size_limit = 30000000
message_strip_characters = \0
mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain, tzv.local, ganymede.tzv.fal.de, mail.tzv.fal.de
mydomain = tzv.fal.de
myhostname = dcs.tzv.fal.de
mynetworks = 127.0.0.0/8 10.1.0.0/16 10.2.0.0/16 192.108.34.0/24 192.168.55.0/24
myorigin = $mydomain
readme_directory = /usr/share/doc/postfix
sender_canonical_maps = pcre:/etc/postfix/canonical-sender
smtp_tls_security_level = may
smtpd_proxy_timeout = 300s
smtpd_recipient_restrictions =
    check_recipient_access   hash:/etc/postfix/access-recipient-rfc,
    check_client_access      cidr:/etc/postfix/access-client,
    check_helo_access        hash:/etc/postfix/access-helo,
    check_sender_access      hash:/etc/postfix/access-sender,
    check_recipient_access   hash:/etc/postfix/access-recipient,
    reject_unknown_sender_domain,
    reject_unknown_recipient_domain,
    reject_non_fqdn_sender,
    permit_sasl_authenticated,
    permit_mynetworks,
    reject_invalid_helo_hostname,
    reject_non_fqdn_recipient,
    reject_rbl_client    zen.spamhaus.org,
    reject_rbl_client    ix.dnsbl.manitu.net,
    reject_rhsbl_sender  blackhole.securitsage.com,
    reject_rhsbl_client  blackhole.securitsage.com,
    check_policy_service inet:[127.0.0.1]:12525,
    check_policy_service inet:[127.0.0.1]:60000,
    reject_unverified_recipient,
    reject_unauth_destination,
    permit
smtpd_restriction_classes = fli_only
smtpd_sasl_auth_enable = yes
smtpd_sasl_local_domain = $myhostname
smtpd_tls_CAfile = /etc/ssl/certs/ing.certs/CAcert.pem
smtpd_tls_auth_only = yes
smtpd_tls_cert_file = /etc/ssl/certs/ing.certs/mail.tzv.fal.de.pem
smtpd_tls_key_file = /etc/ssl/certs/ing.certs/mail.tzv.fal.de.key
smtpd_tls_received_header = yes
smtpd_tls_security_level = may
soft_bounce = no
virtual_alias_domains = hash:/etc/postfix/virtual-domains
virtual_alias_maps = proxy:ldap:virtualsource hash:/etc/postfix/virtual
==============================================================================

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

"Jörg Sitek"
Hi Helmut,

die Meldung "451 4.3.0 Error: queue file write error" ist ja nur die Meldung, die der Postfix dem Absender zurückgibt und muss nicht zwingend mit dem eigentlichen Problem zusammenhängen.
Die Meldung davor "warning: timeout talking to proxy 127.0.0.1:10024" würde ich mir mal genauer anschauen. Sieht so aus, als wäre der amavis nicht mehr da. Evtl. mal das logging vom amavis auf DEBUG hochstellen.

Arbeitest du mit einer RAM-Disk? Was sagt df -lah wenn diese Fehlermeldung auftritt? Hatte das Problem mal bei mir, dass die RAM-Disk vollgelaufen ist und amavis das alleine nicht mehr in den Griff bekommen hatte.
Könnte auch ein Timingproblem sein. Wenn der amavis da mit av scannern & Co. auf der Mail rumrödelt und in einen Timeout läuft.

Gruß, Jörg
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
In reply to this post by Helmut Lichtenberg
* Helmut Lichtenberg <[hidden email]>:
> Sep 17 11:11:26 dcs postfix/smtpd[12517]: warning: timeout talking to proxy 127.0.0.1:10024

Was ist denn 127.0.0.1:10024?
Und was loggt dieser an dem Augenblick?

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
In reply to this post by "Jörg Sitek"

Ralf Hildebrandt schrieb am 17.09.2012 12:55:
> * Helmut Lichtenberg <[hidden email]>:
> > Sep 17 11:11:26 dcs postfix/smtpd[12517]: warning: timeout talking to proxy 127.0.0.1:10024
>
> Was ist denn 127.0.0.1:10024?
> Und was loggt dieser an dem Augenblick?

amavis. Mehr als in meiner ersten Mail habe ich in den Logs nicht gefunden.

[hidden email] schrieb am 17.09.2012 12:55:
> die Meldung "451 4.3.0 Error: queue file write error" ist ja nur die
> Meldung, die der Postfix dem Absender zurückgibt und muss nicht zwingend mit
> dem eigentlichen Problem zusammenhängen.  Die Meldung davor "warning:
> timeout talking to proxy 127.0.0.1:10024" würde ich mir mal genauer
> anschauen. Sieht so aus, als wäre der amavis nicht mehr da. Evtl. mal das
> logging vom amavis auf DEBUG hochstellen.

Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß diese
Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.

> Arbeitest du mit einer RAM-Disk? Was sagt df -lah wenn diese Fehlermeldung
> auftritt? Hatte das Problem mal bei mir, dass die RAM-Disk vollgelaufen ist
> und amavis das alleine nicht mehr in den Griff bekommen hatte.  Könnte auch
> ein Timingproblem sein. Wenn der amavis da mit av scannern & Co. auf der
> Mail rumrödelt und in einen Timeout läuft.

root@dcs,~: df -lah
Filesystem            Size  Used Avail Use% Mounted on
/dev/xvda2             10G  1.5G  8.6G  15% /
tmpfs                 2.0G     0  2.0G   0% /lib/init/rw
proc                     0     0     0   -  /proc
sysfs                    0     0     0   -  /sys
udev                  2.0G  432K  2.0G   1% /dev
tmpfs                 2.0G     0  2.0G   0% /dev/shm
devpts                   0     0     0   -  /dev/pts
/dev/xvda3            180G   99G   82G  55% /var
rpc_pipefs               0     0     0   -  /var/lib/nfs/rpc_pipefs
nfsd                     0     0     0   -  /proc/fs/nfsd

Es ist keine RAM-Disk installiert.

Gruß
Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

"Jörg Sitek"
In reply to this post by Helmut Lichtenberg
Hi Helmut,


>>[hidden email] schrieb am 17.09.2012 12:55:
>>> die Meldung "451 4.3.0 Error: queue file write error" ist ja nur die
>>> Meldung, die der Postfix dem Absender zurückgibt und muss nicht zwingend mit
>>> dem eigentlichen Problem zusammenhängen. Die Meldung davor "warning:
>>> timeout talking to proxy 127.0.0.1:10024" würde ich mir mal genauer
>>> anschauen. Sieht so aus, als wäre der amavis nicht mehr da. Evtl. mal das
>>> logging vom amavis auf DEBUG hochstellen.
>
> Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß diese
> Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.

Ja, da sollte dann ja schon mehr zu sehen sein. Hier findest du auch nochmal Infos zum Zusammenspiel zwischen Postfix und Amavis: http://www.postfix.org/SMTPD_PROXY_README.html
Hast du die Connections zum amavis begrenzt in der master.cf? In der amavisd-new Conf sind die ja (Standardmäßig auf 20?) limitiert. Kann auch zu diesem Fehler führen, wenn das nicht konsistent ist.

master.cf
 ->  -o smtpd_client_connection_count_limit=xx

amavis.conf
 -> $max_servers = xx; (Ist bei mir 1 größer als in der Master.cf)

Gruß, Jörg

  ----- Ursprüngliche Nachricht -----
  Von: Helmut Lichtenberg
  Gesendet: 17.09.12 13:26 Uhr
  An: [hidden email]
  Betreff: Re: [Postfixbuch-users] queue file write error
 
  
Ralf Hildebrandt schrieb am 17.09.2012 12:55:
> * Helmut Lichtenberg <[hidden email]>:
> > Sep 17 11:11:26 dcs postfix/smtpd[12517]: warning: timeout talking to proxy 127.0.0.1:10024
>
> Was ist denn 127.0.0.1:10024?
> Und was loggt dieser an dem Augenblick?

amavis. Mehr als in meiner ersten Mail habe ich in den Logs nicht gefunden.

[hidden email] schrieb am 17.09.2012 12:55:
> die Meldung "451 4.3.0 Error: queue file write error" ist ja nur die
> Meldung, die der Postfix dem Absender zurückgibt und muss nicht zwingend mit
> dem eigentlichen Problem zusammenhängen. Die Meldung davor "warning:
> timeout talking to proxy 127.0.0.1:10024" würde ich mir mal genauer
> anschauen. Sieht so aus, als wäre der amavis nicht mehr da. Evtl. mal das
> logging vom amavis auf DEBUG hochstellen.

Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß diese
Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.

> Arbeitest du mit einer RAM-Disk? Was sagt df -lah wenn diese Fehlermeldung
> auftritt? Hatte das Problem mal bei mir, dass die RAM-Disk vollgelaufen ist
> und amavis das alleine nicht mehr in den Griff bekommen hatte. Könnte auch
> ein Timingproblem sein. Wenn der amavis da mit av scannern & Co. auf der
> Mail rumrödelt und in einen Timeout läuft.

root@dcs,~: df -lah
Filesystem Size Used Avail Use% Mounted on
/dev/xvda2 10G 1.5G 8.6G 15% /
tmpfs 2.0G 0 2.0G 0% /lib/init/rw
proc 0 0 0 - /proc
sysfs 0 0 0 - /sys
udev 2.0G 432K 2.0G 1% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
devpts 0 0 0 - /dev/pts
/dev/xvda3 180G 99G 82G 55% /var
rpc_pipefs 0 0 0 - /var/lib/nfs/rpc_pipefs
nfsd 0 0 0 - /proc/fs/nfsd

Es ist keine RAM-Disk installiert.

Gruß
Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg <[hidden email]> Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI) 31535 Neustadt Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users  
 

 
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
* [hidden email] <[hidden email]>:

> > Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß diese
> > Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.
>
> Ja, da sollte dann ja schon mehr zu sehen sein. Hier findest du auch nochmal Infos zum Zusammenspiel zwischen Postfix und Amavis: http://www.postfix.org/SMTPD_PROXY_README.html
> Hast du die Connections zum amavis begrenzt in der master.cf? In der amavisd-new Conf sind die ja (Standardmäßig auf 20?) limitiert. Kann auch zu diesem Fehler führen, wenn das nicht konsistent ist.
>
> master.cf
>  ->  -o smtpd_client_connection_count_limit=xx
>
> amavis.conf
>  -> $max_servers = xx; (Ist bei mir 1 größer als in der Master.cf)

Also die beiden Parameter haben nix miteinander zu tun.
Mit smtpd_client_connection_count_limit kann man nur verhindern, daß
EIN EINZELNER Client alle smtpd Prozesse belegt.

Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
$max_servers einzustellen.

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
Ralf Hildebrandt schrieb am 17.09.2012 14:42:
> Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> $max_servers einzustellen.

$max_servers steht auf 10. Wodurch wird die Anzahl der smtpd bestimmt? Laut ps
sind es z.Z. 6:

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
postfix  20896  0.0  0.1   9112  5356 ?        S    14:28   0:00 smtpd -n smtp -t inet -u -c -o stress= -o smtpd_proxy_filter=127.0.0.1:10024 -o smtp                                  
d_proxy_options=speed_adjust
postfix  29793  0.0  0.1   9700  5880 ?        S    14:33   0:00 smtpd -n smtp -t inet -u -c -o stress= -o smtpd_proxy_filter=127.0.0.1:10024 -o smtp                                  
d_proxy_options=speed_adjust
postfix  29888  0.0  0.1   9136  5348 ?        S    14:35   0:00 smtpd -n smtp -t inet -u -c -o stress= -o smtpd_proxy_filter=127.0.0.1:10024 -o smtp                                  
d_proxy_options=speed_adjust
postfix  29976  0.0  0.1   8884  4796 ?        S    14:38   0:00 smtpd -n 127.0.0.1:10025 -t inet -u -c -o smtpd_proxy_filter= -o content_filter=
postfix  30636  0.0  0.1   8884  4776 ?        S    14:43   0:00 smtpd -n 127.0.0.1:10025 -t inet -u -c -o smtpd_proxy_filter= -o content_filter=
postfix  30722  0.0  0.1   9604  5692 ?        S    14:45   0:00 smtpd -n smtp -t inet -u -c -o stress= -o smtpd_proxy_filter=127.0.0.1:10024 -o smtp                                  
d_proxy_options=speed_adjust

Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
* Helmut Lichtenberg <[hidden email]>:
> Ralf Hildebrandt schrieb am 17.09.2012 14:42:
> > Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> > $max_servers einzustellen.
>
> $max_servers steht auf 10. Wodurch wird die Anzahl der smtpd bestimmt?

Entweder explizit in der master.cf (Spalte "maxproc").
Wenn in maxproc nix steht dann gilt:
default_process_limit
welches standardmäßig auf:

# postconf -d default_process_limit
default_process_limit = 100

steht.

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
Ralf Hildebrandt schrieb am 17.09.2012 14:51:

> * Helmut Lichtenberg <[hidden email]>:
> > Ralf Hildebrandt schrieb am 17.09.2012 14:42:
> > > Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> > > $max_servers einzustellen.
> >
> > $max_servers steht auf 10. Wodurch wird die Anzahl der smtpd bestimmt?
>
> Entweder explizit in der master.cf (Spalte "maxproc").
> Wenn in maxproc nix steht dann gilt:
> default_process_limit
> welches standardmäßig auf:
>
> # postconf -d default_process_limit
> default_process_limit = 100
> steht.

Ok, dann ist der Default 100 aktiv.

Vor kurzem ist wieder so eine Mail reingekommen. Ich bin gerade dabei, die
Logs auseinander zu flöhen.

Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

"Jörg Sitek"
In reply to this post by Helmut Lichtenberg
Hi Ralf,

  ----- Ursprüngliche Nachricht -----
  Von: Ralf Hildebrandt
  Gesendet: 17.09.12 14:42 Uhr
  An: [hidden email]
  Betreff: Re: [Postfixbuch-users] queue file write error
 
  
* [hidden email] <[hidden email]>:

>> > Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß diese
>> > Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.
>>
>> Ja, da sollte dann ja schon mehr zu sehen sein. Hier findest du auch nochmal Infos zum Zusammenspiel zwischen Postfix und Amavis: http://www.postfix.org/SMTPD_PROXY_README.html
>> Hast du die Connections zum amavis begrenzt in der master.cf? In der amavisd-new Conf sind die ja (Standardmäßig auf 20?) limitiert. Kann auch zu diesem Fehler führen, wenn das nicht konsistent ist.>
>> master.cf
>> ->  -o smtpd_client_connection_count_limit=xx
>>
>> amavis.conf
>> -> $max_servers = xx; (Ist bei mir 1 größer als in der Master.cf)
>
> Also die beiden Parameter haben nix miteinander zu tun.
> Mit smtpd_client_connection_count_limit kann man nur verhindern, daß
> EIN EINZELNER Client alle smtpd Prozesse belegt.

Oh, danke für die Info. Das hatte ich anders verstanden.

>
> Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> $max_servers einzustellen.

Hier hatte Peer doch mal empfohlen die Anzahl bei Einsatz von greylisting + postscreen und / oder policyd-weight etwas höher zu setzen. *3 oder *4 oder so?

Gruß, Jörg

--
Ralf Hildebrandt
 Geschäftsbereich IT | Abteilung Netzwerk
 Charité - Universitätsmedizin Berlin
 Campus Benjamin Franklin
 Hindenburgdamm 30 | D-12203 Berlin
 Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
 [hidden email] | http://www.charite.de
 
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users  
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
In reply to this post by Helmut Lichtenberg
* Helmut Lichtenberg <[hidden email]>:

> Ralf Hildebrandt schrieb am 17.09.2012 14:51:
> > * Helmut Lichtenberg <[hidden email]>:
> > > Ralf Hildebrandt schrieb am 17.09.2012 14:42:
> > > > Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> > > > $max_servers einzustellen.
> > >
> > > $max_servers steht auf 10. Wodurch wird die Anzahl der smtpd bestimmt?
> >
> > Entweder explizit in der master.cf (Spalte "maxproc").
> > Wenn in maxproc nix steht dann gilt:
> > default_process_limit
> > welches standardmäßig auf:
> >
> > # postconf -d default_process_limit
> > default_process_limit = 100
> > steht.
>
> Ok, dann ist der Default 100 aktiv.
>
> Vor kurzem ist wieder so eine Mail reingekommen. Ich bin gerade dabei, die
> Logs auseinander zu flöhen.

Wenn du viele Mails kriegst, dann sind die 10 amavis Prozesse busy und
90 smtpd warten auf amavis.

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
In reply to this post by "Jörg Sitek"
> > Richtig wäre die Anzahl der smtpd Prozesse auf die Anzahl der
> > $max_servers einzustellen.
>
> Hier hatte Peer doch mal empfohlen die Anzahl bei Einsatz von
> greylisting + postscreen und / oder policyd-weight etwas höher zu
> setzen. *3 oder *4 oder so?

Ich persönlich nutze Faktor 2, ja

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Peer Heinlein
In reply to this post by Helmut Lichtenberg
Am Montag, 17. September 2012, 13:26:00 schrieb Helmut Lichtenberg:
> Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß
> diese Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.

Das ist eine relativ klare Sache, da gibt's wenig zu überlegen:

Es sind keine freien Amavis.-Instanzen mehr da.

Postfix fragt mehr Amavis-Prozesse nach, als Du Amavis-Prozesse gestartet
hast. Also rennt er in Timeouts, weil sich auf :10024 keine freien Amavisse
mehr im SMTP melden.

Das tritt mal auf und mal nicht auf, weil das halt davon abhängt, ob Du
gerade akut "überlastest" bist.

Abhilfe:

Schauen, ob sich bei solchen Situationen trotzdem noch genug Reservern auf
der mAschine befinden (CPU, Memory, Wait-I/O). Wenn ja spricht nichts
dagegen die Amavis-Instanzen moderat zu erhöhen, denn Dein Problem ist dann
ja nicht die eigentliche Überlastung, sondern nur ein zu niedriges Limit.

Faustformel: Je CPU-Kern 7 Instanzen und 1 GB Ram. Aber wirklich nur so ganz
grob, weil "was ist ein CPU-Kern" ja schon sehr unterschiedlich beantwortbar
ist.

Wir haben hier Dual-Quad-Rechner mit mittleren CPUs und ca. 16 GB mit 45
Amavis-Instanzen, unsere Dual-Six-Core-Maschinen mit fetten CPUs und mit
32/64-GB rennen hier mit 75 bis 100 Instanzen.  Aber es bringt halt auch
nichts, mehr als 7-10 Mails auf einen Kern zu packen, denn mehr als Rechnen
geht ja auch nicht.

Peer


--

Heinlein Support GmbH
Linux: Akademie - Support - Hosting
http://www.heinlein-support.de

Tel: 030/405051-42
Fax: 030/405051-19

Zwangsangaben lt. §35a GmbHG:
HRB 93818 B / Amtsgericht Berlin-Charlottenburg,
Geschäftsführer: Peer Heinlein  -- Sitz: Berlin
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
In reply to this post by Ralf Hildebrandt
Ralf Hildebrandt schrieb am 17.09.2012 14:58:
> Wenn du viele Mails kriegst, dann sind die 10 amavis Prozesse busy und
> 90 smtpd warten auf amavis.

So viel bekommen wir nicht, es kann aber sein, wie Peer schreibt, daß die
amavis-Instanzen bei Spitzen knapp werden.

Postfix log summaries for Sep 16:
Grand Totals
------------
messages
    654   received
    484   delivered
      0   forwarded
      1   deferred  (1  deferrals)
      0   bounced
   2390   rejected (83%)
      0   reject warnings
      0   held
      0   discarded (0%)

  84334k  bytes received
  87207k  bytes delivered
    158   senders
    115   sending hosts/domains
     76   recipients
     19   recipient hosts/domains

Für eure Verhältnisse ist das sicherlich vernachlässigbar. :^)

Peer Heinlein schrieb am 17.09.2012 15:00:
> Am Montag, 17. September 2012, 13:26:00 schrieb Helmut Lichtenberg:
> > Ok, habe ich gemacht (log_level 4, reicht das?). Das Problem ist, daß
> > diese Fehler manchmal mehrmals täglich auftauchen, dann aber Tage nicht.
>
> Das ist eine relativ klare Sache, da gibt's wenig zu überlegen:

Ok, wenn das so klar ist, dann werde ich euch nicht mit den 800 Zeilen
amavis-Logs belästigen.

Ich habe 4 Intel Xeon X5460@3.16GHz CPU-Kerne im Einsatz. Das ist sicherlich für
die geringe Mailmenge völlig ausreichend (bis überdimensioniert). Die
collectd-Statistiken zeigen auch, daß die CPU bis auf einzelne Spitzen meist
vor sich hindümpeln.

RAM hat der Rechner 4GB, was noch nicht einmal bis zur Hälfte genutzt wird,
aber komplett zum Cachen eingesetzt wird. Soll ich hier evtl. noch weitere 4
GB spendieren?
Der Rechner ist eine virtuelle Maschine und RAM ist noch da.

Oder ich probiere es erstmal mit 15 Amaven und schaue, ob das Problem noch
auftritt.

Erstmal vielen Dank für die Unterstützung.
Herzliche Grüße
Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Uwe Drießen
Helmut Lichtenberg
>
> Ich habe 4 Intel Xeon X5460@3.16GHz CPU-Kerne im Einsatz. Das ist
sicherlich
> für
> die geringe Mailmenge völlig ausreichend (bis überdimensioniert). Die
> collectd-Statistiken zeigen auch, daß die CPU bis auf einzelne Spitzen
meist
> vor sich hindümpeln.
>
> RAM hat der Rechner 4GB, was noch nicht einmal bis zur Hälfte genutzt
wird,
> aber komplett zum Cachen eingesetzt wird. Soll ich hier evtl. noch weitere
4
> GB spendieren?
> Der Rechner ist eine virtuelle Maschine und RAM ist noch da.
>
> Oder ich probiere es erstmal mit 15 Amaven und schaue, ob das Problem
> noch
> auftritt.
>

Was dir mehr bringt ist amavistmp ins ram zu verschieben.
Es erhöht die Verarbeitungsgeschwindigkeit um Faktor XX.
Faustformel war irgendwas mit max Amavisprozesse * max Mailgröße (ich konnte
das sogar durch 2 Teilen und komme mit 256 MB Ramdisk gut hin)

Ich habe ähnliche Mailraten wie dein Server und 5 Amavis-Instanzen als
Prequefilter sind bei mir ausreichend.
Amavis rennt hier nach Postscreen und Post-Grey als smtp_milter.
Durch die Ramdisk dauert der Scan pro Mail im Schnitt unter 1 sec. Dann kann
die nächste Mail schon wieder rein.

Insgesamt rennt die virtuelle Maschine (nur Mail) mit 1,5 GB sauber und
performant.

Ich denke mit der Erhöhung der Verarbeitung Geschwindigkeit sollte die
meisten Probleme behoben sein.  

Mehr Ram und mehr Prozesse sind nicht immer das wahre wenn langsame Platten
die Prozesse zu lange binden.



Mit freundlichen Grüßen

Uwe Drießen
--
Software & Computer
Uwe Drießen
Lembergstraße 33
67824 Feilbingert

Tel.: 06708660045


--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Ralf Hildebrandt
> Was dir mehr bringt ist amavistmp ins ram zu verschieben.

Oder auf die aktuelle amavis Version zu gehen, die hält fast alles im
Speicher.

--
Ralf Hildebrandt
  Geschäftsbereich IT | Abteilung Netzwerk
  Charité - Universitätsmedizin Berlin
  Campus Benjamin Franklin
  Hindenburgdamm 30 | D-12203 Berlin
  Tel. +49 30 450 570 155 | Fax: +49 30 450 570 962
  [hidden email] | http://www.charite.de
           
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Uwe Drießen
Im Auftrag von Ralf Hildebrandt
> > Was dir mehr bringt ist amavistmp ins ram zu verschieben.
>
> Oder auf die aktuelle amavis Version zu gehen, die hält fast alles im
> Speicher.
>

Öhm die habe ich schon länger *gg

Vielleicht ist das auch der Grund das das so problemlos rennt.


Mit freundlichen Grüßen

Uwe Drießen
--
Software & Computer
Uwe Drießen
Lembergstraße 33
67824 Feilbingert

Tel.: 06708660045


--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
In reply to this post by Uwe Drießen
Uwe Drießen schrieb am 17.09.2012 16:34:

> Was dir mehr bringt ist amavistmp ins ram zu verschieben.
> Es erhöht die Verarbeitungsgeschwindigkeit um Faktor XX.
> Faustformel war irgendwas mit max Amavisprozesse * max Mailgröße (ich konnte
> das sogar durch 2 Teilen und komme mit 256 MB Ramdisk gut hin)
>
> Ich habe ähnliche Mailraten wie dein Server und 5 Amavis-Instanzen als
> Prequefilter sind bei mir ausreichend.
> Amavis rennt hier nach Postscreen und Post-Grey als smtp_milter.
> Durch die Ramdisk dauert der Scan pro Mail im Schnitt unter 1 sec. Dann kann
> die nächste Mail schon wieder rein.
>
> Insgesamt rennt die virtuelle Maschine (nur Mail) mit 1,5 GB sauber und
> performant.
>
> Ich denke mit der Erhöhung der Verarbeitung Geschwindigkeit sollte die
> meisten Probleme behoben sein.  
>
> Mehr Ram und mehr Prozesse sind nicht immer das wahre wenn langsame Platten
> die Prozesse zu lange binden.

Ich habe das heute morgen gleich umgesetzt:
* amavis bei $max_servers = 15 gelassen
* Anzahl der smtpd auf 20 begrenzt
* /var/lib/amavis/tmp (Debian) ins Memory gepackt (256 MB)

Seitdem ist der Fehler noch nicht aufgetaucht. Allerdings ist seitdem auch
noch keine Mail von diesem Absender eingetrudelt. :^)

Immer wenn ich ab und zu mal nachsehe ist die Anzahl der smtpd bei 6 bis 10.

Mal sehen, wie es sich verhält.

Gruß
Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Gregor Hermens
Hallo Helmut,

Am Dienstag, 18. September 2012 schrieb Helmut Lichtenberg:
> Uwe Drießen schrieb am 17.09.2012 16:34:
> * amavis bei $max_servers = 15 gelassen
> * Anzahl der smtpd auf 20 begrenzt

Warum nicht auch 15? So besteht immer noch eine gewisse Chance, daß du wieder
in das gleiche Problem rennst...

Gruß,
Gregor
--
     @mazing           fon +49 8142 6528665
  Gregor Hermens       fax +49 8142 6528669
Brucker Strasse 12  [hidden email]
D-82216 Gernlinden    http://www.a-mazing.de/
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
Reply | Threaded
Open this post in threaded view
|

Re: [Postfixbuch-users] queue file write error

Helmut Lichtenberg
Gregor Hermens schrieb am 18.09.2012 15:34:
> Hallo Helmut,
>
> Am Dienstag, 18. September 2012 schrieb Helmut Lichtenberg:
> > Uwe Drießen schrieb am 17.09.2012 16:34:
> > * amavis bei $max_servers = 15 gelassen
> > * Anzahl der smtpd auf 20 begrenzt
>
> Warum nicht auch 15? So besteht immer noch eine gewisse Chance, daß du wieder
> in das gleiche Problem rennst...

Ich habe dunkel in der Erinnerung, daß Peer mal vorgerechnet hat, daß sowieso
ca. 80% der Mails abgewiesen werden und damit amavis gar nicht erreichen.

Lt. der pflogsum-Statistiken sind das bei uns auch 45-90%.

Gruß
Helmut

--
-------------------------------------------------------------------------
Helmut Lichtenberg  <[hidden email]>  Tel.: 05034/871-128
Institut für Nutztiergenetik (FLI)         31535 Neustadt         Germany
-------------------------------------------------------------------------
--
_______________________________________________
Postfixbuch-users -- http://www.postfixbuch.de
Heinlein Professional Linux Support GmbH

[hidden email]
https://listi.jpberlin.de/mailman/listinfo/postfixbuch-users
12