Dovecot Replication Cluster

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Dovecot Replication Cluster

Alex Ha
Hallo Zusammen!

Ich betreibe seit einigen Jahren einen Mailcluster mit Dovecot im DRBD/Heartbeat Setup
mit ca. 15000 Mailboxen. Dabei wird Maildir eingesetzt und der Mailstore ist momentan ca 4 TB
groß.

Nach einer Recherche ist mir das Dovecot Replication Setup aufgefallen.

Dieses Setup hat mir sehr gut gefallen, leider habe ich keine Infos bzgl Produktion-Setups
auf den einschlägigen Mailinglisten gefunden, deshalb frage ich mich ob dieses Setup
von euch auf mittleren und großen Mailcluster eingesetzt wird.

Wie verhält sich die Performance im Vergleich zu einem DRBD-Cluster?
Kann das Setup auch mit Maildir betrieben werden oder sollte schon mdbox verwendet werden?

Danke für Euren Input!

LG
Alex
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replication Cluster

Peer Heinlein
Am 23.02.2018 um 09:59 schrieb Alex Ha:

> Dieses Setup hat mir sehr gut gefallen, leider habe ich keine Infos bzgl
> Produktion-Setups
> auf den einschlägigen Mailinglisten gefunden, deshalb frage ich mich ob
> dieses Setup
> von euch auf mittleren und großen Mailcluster eingesetzt wird.

Ja, auf jeden Fall, permanent und ständig.

Gar nichts mehr mit DRBD machen, denn das Problem sitzt vor der Tastatur
und wenn der Admin "rm -rf *" eingibt nützt Dir ein DRBD gar nix. Und
wenn, warum auch immer, ein Dovecot seine Datenbanken zerschießt (in
2.2.27 gab es entsprechende Bugs) dann nützt ein DRBD auch nix.

Replication ist geil und funktioniert. Es kostet in manchen Szenarien
etwas i/o, aber das ist egal.

Das geht mit Maildir und mdbox -- wenn Du willst auch links Maildir und
rechts mdbox. Das ist Dovecot doch egal.

Bei 4 TB würde ich aber sowieso empfehlen auf mdbox+zlib umzusteigen.
Das hat mit Replication aber nix zu tun.

(und bei >> 40 TB dann mal über object storage nachdenken, aber das geht
dan eh ganz anders.)

Infos und Anleitungen unter http://www.heinlein-support.de/vortrag

Peer
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replication Cluster

Alex Ha

2018-02-23 10:41 GMT+01:00 Peer Heinlein <[hidden email]>:
Am 23.02.2018 um 09:59 schrieb Alex Ha:

> Dieses Setup hat mir sehr gut gefallen, leider habe ich keine Infos bzgl
> Produktion-Setups
> auf den einschlägigen Mailinglisten gefunden, deshalb frage ich mich ob
> dieses Setup
> von euch auf mittleren und großen Mailcluster eingesetzt wird.

Ja, auf jeden Fall, permanent und ständig.

Gar nichts mehr mit DRBD machen, denn das Problem sitzt vor der Tastatur
und wenn der Admin "rm -rf *" eingibt nützt Dir ein DRBD gar nix. Und
wenn, warum auch immer, ein Dovecot seine Datenbanken zerschießt (in
2.2.27 gab es entsprechende Bugs) dann nützt ein DRBD auch nix.

Replication ist geil und funktioniert. Es kostet in manchen Szenarien
etwas i/o, aber das ist egal.

Das geht mit Maildir und mdbox -- wenn Du willst auch links Maildir und
rechts mdbox. Das ist Dovecot doch egal.

Bei 4 TB würde ich aber sowieso empfehlen auf mdbox+zlib umzusteigen.
Das hat mit Replication aber nix zu tun.

(und bei >> 40 TB dann mal über object storage nachdenken, aber das geht
dan eh ganz anders.)

Infos und Anleitungen unter http://www.heinlein-support.de/vortrag

Peer

Vielen Dank für deine Infos - hört sich sehr gut an!

LG

Alex
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replication Cluster

Robert Möker
In reply to this post by Alex Ha
Am 23.02.2018 um 09:59 schrieb Alex Ha:

> Hallo Zusammen!
>
> Ich betreibe seit einigen Jahren einen Mailcluster mit Dovecot im
> DRBD/Heartbeat Setup
> mit ca. 15000 Mailboxen. Dabei wird Maildir eingesetzt und der
> Mailstore ist momentan ca 4 TB
> groß.
>
> Nach einer Recherche ist mir das Dovecot Replication Setup aufgefallen.
>
> Dieses Setup hat mir sehr gut gefallen, leider habe ich keine Infos
> bzgl Produktion-Setups
> auf den einschlägigen Mailinglisten gefunden, deshalb frage ich mich
> ob dieses Setup
> von euch auf mittleren und großen Mailcluster eingesetzt wird.
>
> Wie verhält sich die Performance im Vergleich zu einem DRBD-Cluster?
> Kann das Setup auch mit Maildir betrieben werden oder sollte schon
> mdbox verwendet werden?
>
> Danke für Euren Input!
>
> LG
> Alex

Ich/Wir haben das mdbox und zlib setup mit dovecot eigener Replication,
was im Kurs bei Peer/Andre sehr gut behandelt wurde, im Einsatz.

Davor haben wir Directoren sitzen, so das mit

director_mail_servers = a.b.c.d@node01 a.b.c.e@node01 a.b.c.f@node02
a.b.c.g@node02

ich mehrere storage paar betreiben kann.

So habe ich auf viele backend paar gesetzt die vom Storage her
unterschiedlich groß sind und auch auf 2 RZ verteilt sind.

Die Einlieferung habe ich dann über Transportregeln in Postfix
abgefrühstückt. Mehr ist das nicht.

Gruß Robert
Reply | Threaded
Open this post in threaded view
|

Dovecot zerschiesst seine Datenbanken (was: Re: Dovecot Replication Cluster)

Chris-4
In reply to this post by Peer Heinlein
Hallo Peer,

On Fri, 23 Feb 2018 10:41:28 +0100
Peer Heinlein wrote:

>  Und
> wenn, warum auch immer, ein Dovecot seine Datenbanken zerschießt (in
> 2.2.27 gab es entsprechende Bugs) dann nützt ein DRBD auch nix.

2.2.27 ist in Debian Stretch noch immer Standard und dürfte weit
verbreitet sein. Deshalb wundert mich, dass nach einem Monat noch
niemand nachgefragt hat: Wann treten diese Bugs auf? Auch mit
normalem Maildir? Normalerweise läuft Dovecot einfach weiter, selbst wenn
ich ihm eine Cache Datei lösche.

Im 2.2.28 Changelog finde ich nur folgenden Eintrag:

Index files: day_first_uid wasn't updated correctly since v2.2.26.
          This caused dovecot.index.cache to be non-optimal.

Das hört sich aber viel harmloser an.

Ein schönes Rest-Wochenende und einen guten Start in die neue Woche.

Gruß,
Christian