Dovecot Replikation - funktioniert, aber nicht automatisch

Next Topic
 
classic Classic list List threaded Threaded
7 messages Options
Reply | Threaded
Open this post in threaded view
|

Dovecot Replikation - funktioniert, aber nicht automatisch

nighthawk
Hallo!

Ich habe diese Liste eine ganze Weile sehr ausgiebig verfolgt, tue dies aber zugegebenermaßen seit einigen Jahren nicht mehr, da meine Postfix/Dovecot Installation tadellos funktioniert und daher - bis auf mal eine Kleinigkeit hier und da - keine Administrations- und Konfigurationsänderungen mehr brauchte. Mea culpa, falls die Antwort auf meine Frage total offensichtich ist und ich nur zu blöde bin sie zu finden.

Ich habe mich vor ein paar Tagen daran gewagt, auf einer zweiten Maschine ebenfalls Postfix, Dovecot, die Backend Datenbank usw. zu installieren. Ziel ist es, dass sämtliche Mails, die auf einem der Server eingehen direkt an den anderen synchronisiert werden. Hierfür möchte ich das Replikationsfeature von Dovecot nutzen.

So weit so gut. Ich habe mich beim Aufsetzen an die Präsentation von Peer gehalten, die man bei einer entsprechenden Google Suche zu dem Thema findet und ich kann mit folgenden Befehlen auch sauber alle Mails hin und her replizieren:

doveadm replicator replicate '*'
doveadm sync -u [hidden email] -d

Kommt nun aber eine neue Email auf dem ersten System an, wird diese niemals (ich habe mehrere Stunden gewartet) zum zweiten synchronisiert. Die andere Richtung habe ich nicht probiert, da dort der Postfix noch nicht so weit konfiguriert ist.
Mein Verständnis aus Peers Präsentation war, dass neue Mails mit geringem Zeitversatz automatisch zum zweiten System geschickt werden.
Habt Ihr eine Idee, woran es liegen könnte, dass das nicht funktioniert bzw. wo ich noch nach einem Fehler suchen könnte? Dovecot spuckt leider keine Fehlermeldung aus.

Viele Grüße
Gerrit
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

Sven Hankel
Am Fri, 8 Feb 2019 19:51:42 +0100
schrieb nighthawk <[hidden email]>:

Moin,

hast Du denn auch das Notifier-Gedöns eingerichtet?

Also so sieht meine dsync.conf im dovecot-Ordner aus:

service aggregator {
fifo_listener replication-notify-fifo {
        user = vmail
        }
        unix_listener replication-notify {
        user = vmail
        }
}

service replicator {
        process_min_avail = 1
        unix_listener replicator-doveadm {
        mode = 0600
        }
}

service doveadm {
        inet_listener {
        address = xxx.xxx.xxx.xxx
        port = 12345
        }
}

doveadm_port = 12345
doveadm_password = einPasswort

plugin {
        mail_replica = tcp:xxx.xxx.xxx.yyy:12345
}

replication_dsync_parameters = -d -N -l 30 -U


Damit läuft die Synchronisation bei mir beinahe in Echtzeit.

Wenn  auf deinen Servern viel los ist und dein Netzwerk es hergibt,
kannst Du noch die maximale Anzahl gleichzeitiger Verbindungen erhöhen.
Dazu ist der Parameter
replication_max_conns vorgesehen.


> doveadm replicator replicate '*'
> doveadm sync -u [hidden email] -d
>
> Kommt nun aber eine neue Email auf dem ersten System an, wird diese
> niemals (ich habe mehrere Stunden gewartet) zum zweiten
> synchronisiert. Die andere Richtung habe ich nicht probiert, da dort
> der Postfix noch nicht so weit konfiguriert ist.
> Mein Verständnis aus Peers Präsentation war, dass neue Mails mit
> geringem Zeitversatz automatisch zum zweiten System geschickt werden.
> Habt Ihr eine Idee, woran es liegen könnte, dass das nicht
> funktioniert bzw. wo ich noch nach einem Fehler suchen könnte?
> Dovecot spuckt leider keine Fehlermeldung aus.

viel Erfolg

Sven

attachment0 (849 bytes) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

Sven Hankel
Mensch, bevor ichs vergesse:

ich schicke das über einen VPN-Tunnel, da brauch ich mir keine Rübe
über SSL usw machen.
Die Datei musst du natürlich anpassen und auf beiden Seiten ins
Config-Verzeichnis kippen.

Am Fri, 8 Feb 2019 20:14:27 +0100
schrieb Sven Hankel <[hidden email]>:

> Am Fri, 8 Feb 2019 19:51:42 +0100
> schrieb nighthawk <[hidden email]>:
>
> Moin,
>
> hast Du denn auch das Notifier-Gedöns eingerichtet?
>
> Also so sieht meine dsync.conf im dovecot-Ordner aus:

Gruß

Sven

attachment0 (849 bytes) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

nighthawk
In reply to this post by Sven Hankel
Hallo Sven,

On Fri, Feb 8, 2019 at 8:23 PM Sven Hankel <[hidden email]> wrote:

> hast Du denn auch das Notifier-Gedöns eingerichtet?
>
> Also so sieht meine dsync.conf im dovecot-Ordner aus:

Ich habe das tatsächlich alles genau so - mit zwei Ausnahmen. Ich
nutze einen anderen Port (9091, auf beiden Seiten so eingestellt) und
ich habe das alles in der dovecot.conf stehen. Muss das in eine
dsync.conf? Die gibts bei mir bisher gar nicht..

On Fri, Feb 8, 2019 at 8:59 PM Sven Hankel <[hidden email]> wrote:
>
> Mensch, bevor ichs vergesse:
>
> ich schicke das über einen VPN-Tunnel, da brauch ich mir keine Rübe
> über SSL usw machen.

Keine Sorge, alle Verbindungen zwischen den beiden Systemen sind per
IPsec abgesichert. Darüber brauche ich mir also auch keine weiteren
Gedanken zu machen. :)

Viele Grüße
Gerrit
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

Sven Hankel
Moin Gerrit,


> habe das tatsächlich alles genau so - mit zwei Ausnahmen. Ich
> nutze einen anderen Port (9091, auf beiden Seiten so eingestellt) und
> ich habe das alles in der dovecot.conf stehen. Muss das in eine
> dsync.conf? Die gibts bei mir bisher gar nicht..

Ja, ich nutze auch einen anderen Port. Der angegebene ist der aus dem
Wiki. Unter /etc/dovecot/conf.d/ liegen meist mehrere Dateien, ich hab
mir für dsync extra eine angelegt.
Wo hast Du die Config denn drin?
Notfalls musst Du wohl mal das Debug-Level (10-logging.conf)hoch drehen,
damit du siehst, was da nicht will (Dann einfach mal ne Mail
"einliefern" und gucken, was passiert).

> Keine Sorge, alle Verbindungen zwischen den beiden Systemen sind per
> IPsec abgesichert. Darüber brauche ich mir also auch keine weiteren
> Gedanken zu machen. :)

schöne Grüße

Sven

attachment0 (849 bytes) Download Attachment
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

nighthawk
Hallo Sven,

ich war leider die letzten paar Tage unplanmäßig außer Gefecht..

On Sat, Feb 9, 2019 at 10:24 AM Sven Hankel <[hidden email]> wrote:

> Wo hast Du die Config denn drin?
> Notfalls musst Du wohl mal das Debug-Level (10-logging.conf)hoch drehen,
> damit du siehst, was da nicht will (Dann einfach mal ne Mail
> "einliefern" und gucken, was passiert).

Aha! Wir befinden uns vermutlich unter verschiedenen Betriebssystemen.
Wenn deine Config so zerstückelt ist, bist du vermutlich unter Debian
oder einem Abkömmling davon - mein Dovecot läuft unter FreeBSD. Die
"default" Installation legt dort überhaupt keine Konfigurationsvorgabe
an und liefert nur eine "example.conf" mit. Die habe ich mir
seinerzeit in dovecot.conf umbenannt und dort alles eingetragen.
Sollte also im Prinzip zum selben Ergebnis führen.

Nachdem also nichts grundsätzliches verkehrt zu sein schien und ein
erneuter Blick nach ein paar Tagen Zwangspause bestimmt nicht schaden
kann, habe ich mir noch mal ganz langsam und in Ruhe meine Config
angesehen und dabei ziemlich weit unten folgende Einstellungen (für
die Sieve Plugins) entdeckt:

protocol lda {
  mail_plugins = sieve fts fts_solr
}

protocol imap {
  mail_plugins = imap_sieve fts fts_solr
}

Ich habe dort nun jeweils notify und replication ergänzt und seitdem
werden alle Änderungen in Bruchteilen von Sekunden übertragen. :)

Viele Grüße
Gerrit
Reply | Threaded
Open this post in threaded view
|

Re: Dovecot Replikation - funktioniert, aber nicht automatisch

Sven Hankel
Hi Gerrit,


> Aha! Wir befinden uns vermutlich unter verschiedenen Betriebssystemen.
> Wenn deine Config so zerstückelt ist, bist du vermutlich unter Debian
> oder einem Abkömmling davon
- mein Dovecot läuft unter FreeBSD. Die

> "default" Installation legt dort überhaupt keine Konfigurationsvorgabe
> an und liefert nur eine "example.conf" mit. Die habe ich mir
> seinerzeit in dovecot.conf umbenannt und dort alles eingetragen.
> Sollte also im Prinzip zum selben Ergebnis führen.
>
> Nachdem also nichts grundsätzliches verkehrt zu sein schien und ein
> erneuter Blick nach ein paar Tagen Zwangspause bestimmt nicht schaden
> kann, habe ich mir noch mal ganz langsam und in Ruhe meine Config
> angesehen und dabei ziemlich weit unten folgende Einstellungen (für
> die Sieve Plugins) entdeckt:
>
> protocol lda {
>   mail_plugins = sieve fts fts_solr
> }
>
> protocol imap {
>   mail_plugins = imap_sieve fts fts_solr
> }
>
> Ich habe dort nun jeweils notify und replication ergänzt und seitdem
> werden alle Änderungen in Bruchteilen von Sekunden übertragen. :)
bei mir ists n Centos, allerdings nicht mit den Standardpaketen (die
sind uralt). Schön, dass der Gedanke an Notify und Replication passte.
Ich muss meine Config aber auch nochmal optimieren.
Das Zerstückelte find ich dabei ganz hilfreich. Die Dateien sind
kleiner und überschaubarer - und man kann einzelne einfach mal
umbenennen.

Viele Grüße

Sven


attachment0 (849 bytes) Download Attachment