Projeto de Antispam com Golang e Beego (SpamD)

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Projeto de Antispam com Golang e Beego (SpamD)

Nilton OS
Fala galera boa tarde, tudo bem.

Estou desenvolvendo um projeto com Golang e Beego.
Agora esse Projeto sai da gaveta.
É um sistema de Antispam e toda sua interface de administração Web está sendo codificada com Golang e Beego, estou usando Mysql.

O que estou usando:
OpenSUSE 13.2 64Bits
Postfix
Dovecot
Mysql
Spamassassin
Clamav
Gitlab
Perl

Para a interface vou usar Bootstrap e Jquery ou AngularJS, mas a interface HTML e paginas vou pedir para um profissional ou empresa desenvolver.

Vou focar no código de Backend nesse momento.

Por enquanto o filtro que roda com o Postfix está codificado em Perl, mas em uma segunda etapa vou codificar em Golang.

Estou na fase de limpeza do código Perl e organização da Base de Dados.

O código ainda está no meu git (Gitlab), mas assim que terminar essa limpeza vou colocar o projeto no GITHUB, sua licença vai MIT.

Vai ter um versão Community e uma Enterprise.
Vou aplicar meus 10 anos de conhecimento que administro ambiente de e-mail de alta disponibilidade e de grandes tráficos de dados.

Quem tiver alguma sugestão, critica será bem vindo.

Aguardem para mais informações.

Obrigado
..............................................................................................
 Nilton OS | Working Linux 15 years ago | linuxpro.com.br
"Cert: LPI101, ITILv3 2011"

_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
Reply | Threaded
Open this post in threaded view
|

Re: Projeto de Antispam com Golang e Beego (SpamD)

Zhu Sha Zang
Cara, algo desse tipo não ficaria melhor se portável para um BD mais parrudo como PGSQL? Se for utilizar essas duas linguagens utilize um ORM e abstraia-se de qual banco usar em específico.

Att


On 02/18/2015 11:13 AM, Nilton OS wrote:
Fala galera boa tarde, tudo bem.

Estou desenvolvendo um projeto com Golang e Beego.
Agora esse Projeto sai da gaveta.
É um sistema de Antispam e toda sua interface de administração Web está sendo codificada com Golang e Beego, estou usando Mysql.

O que estou usando:
OpenSUSE 13.2 64Bits
Postfix
Dovecot
Mysql
Spamassassin
Clamav
Gitlab
Perl

Para a interface vou usar Bootstrap e Jquery ou AngularJS, mas a interface HTML e paginas vou pedir para um profissional ou empresa desenvolver.

Vou focar no código de Backend nesse momento.

Por enquanto o filtro que roda com o Postfix está codificado em Perl, mas em uma segunda etapa vou codificar em Golang.

Estou na fase de limpeza do código Perl e organização da Base de Dados.

O código ainda está no meu git (Gitlab), mas assim que terminar essa limpeza vou colocar o projeto no GITHUB, sua licença vai MIT.

Vai ter um versão Community e uma Enterprise.
Vou aplicar meus 10 anos de conhecimento que administro ambiente de e-mail de alta disponibilidade e de grandes tráficos de dados.

Quem tiver alguma sugestão, critica será bem vindo.

Aguardem para mais informações.

Obrigado
..............................................................................................
 Nilton OS | Working Linux 15 years ago | linuxpro.com.br
"Cert: LPI101, ITILv3 2011"


_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br


_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
Reply | Threaded
Open this post in threaded view
|

Re: Projeto de Antispam com Golang e Beego (SpamD)

Gabriel Francisco
Além do ponto citado pelo @Zhu, aconselho utilizar um Dspam que é bem leve na frente do Spamassassin que é mais pesadão, e repassar para o Spamassassin apenas os emails que o Dspam achar suspeitos ou para evitar falsos positivos.

Só fique atento que o Dspam tem um bug de race condition em algumas versões e o projeto parece que não está sendo mantido, porém ainda é mantido pelos mantedores das distros. 

Também vale a pena a dica de alguns player grandes:
https://moderncrypto.org/mail-archive/messaging/2014/000780.html


Cordialmente
Gabriel Francisco.

Gabriel Francisco
----------------------------
Linux User #507840
phone: (041) 9195-5010
email: frc.gabriel[at]gmail.com


2015-02-18 11:20 GMT-02:00 Zhu Sha Zang <[hidden email]>:

> Cara, algo desse tipo não ficaria melhor se portável para um BD mais parrudo
> como PGSQL? Se for utilizar essas duas linguagens utilize um ORM e
> abstraia-se de qual banco usar em específico.
>
> Att
>
>
>
> On 02/18/2015 11:13 AM, Nilton OS wrote:
>
> Fala galera boa tarde, tudo bem.
>
> Estou desenvolvendo um projeto com Golang e Beego.
> Agora esse Projeto sai da gaveta.
> É um sistema de Antispam e toda sua interface de administração Web está
> sendo codificada com Golang e Beego, estou usando Mysql.
>
> O que estou usando:
> OpenSUSE 13.2 64Bits
> Postfix
> Dovecot
> Mysql
> Spamassassin
> Clamav
> Gitlab
> Perl
>
> Para a interface vou usar Bootstrap e Jquery ou AngularJS, mas a interface
> HTML e paginas vou pedir para um profissional ou empresa desenvolver.
>
> Vou focar no código de Backend nesse momento.
>
> Por enquanto o filtro que roda com o Postfix está codificado em Perl, mas em
> uma segunda etapa vou codificar em Golang.
>
> Estou na fase de limpeza do código Perl e organização da Base de Dados.
>
> O código ainda está no meu git (Gitlab), mas assim que terminar essa limpeza
> vou colocar o projeto no GITHUB, sua licença vai MIT.
>
> Vai ter um versão Community e uma Enterprise.
> Vou aplicar meus 10 anos de conhecimento que administro ambiente de e-mail
> de alta disponibilidade e de grandes tráficos de dados.
>
> Quem tiver alguma sugestão, critica será bem vindo.
>
> Aguardem para mais informações.
>
> Obrigado
> ..............................................................................................
>  Nilton OS | Working Linux 15 years ago | linuxpro.com.br
> "Cert: LPI101, ITILv3 2011"
>
>
> _______________________________________________
> Postfix-br mailing list
> [hidden email]
> http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
>
>
>
> _______________________________________________
> Postfix-br mailing list
> [hidden email]
> http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
>


_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
Reply | Threaded
Open this post in threaded view
|

Re: Projeto de Antispam com Golang e Beego (SpamD)

Nilton OS
Olá Gabriel, obrigado pelo seu feedback, fico muito feliz, vou olhar sim os links que você me mandou, já até dei muitas pesquisadas mas não encontrei esse cara ai que você me falou
(https://moderncrypto.org/mail-archive/messaging/2014/000780.html) vou ler todo o artigo com mais calma.

Sobre o Spamassassin, conseguimos uma forma de deixar ele mais leve, nossa muito mais leve.
Estou usando o spamd (Daemon do Spamassassin) no modo socket, e para verificar os emails uso o spamc que é o cliente do spamd, e para melhorar ainda mais, uso o sa-compile que o mesmo usa o re2c que gera todas as regras de regex do Spamassassin em C, isso melhora em 1000% o nosso amigo aqui lentão.

Com tudo isso consigo ter um servidor Linux (OpenSUSE) 64 Bits com 4GB de RAM com um LOAD em no máximo 5 e na maioria do tempo ele fica na casa de 1 ou 2.

Isso em um Ambiente de Provedor com mais de 400 domínios e 5.000 contas de E-mail, claro a gente tem que usar servidores divididos MX, MBOX e servidor de envio.

Muito mesmo obrigado pelo seu feedback, segue algumas telas do Sistema, em breve vou colocar um demo para todo mundo testar e logo o código estará disponível no GITHUB, meu foco para esse projeto é que qualquer administrador instale um Servidor de E-mail em menos de 20 minutos (Claro depois e ter instalado o OS).

Telas:
https://github.com/revel/revel/issues/917#issuecomment-88620648

Obrigado, fica com Deus e qualquer coisa estou aqui !!!






..............................................................................................
 Nilton OS | Linux Expert 16 years ago | linuxpro.com.br
"Cert: LPI101, ITILv3 2011"

Em 7 de abril de 2015 19:10, Gabriel Francisco <[hidden email]> escreveu:
Além do ponto citado pelo @Zhu, aconselho utilizar um Dspam que é bem leve na frente do Spamassassin que é mais pesadão, e repassar para o Spamassassin apenas os emails que o Dspam achar suspeitos ou para evitar falsos positivos.

Só fique atento que o Dspam tem um bug de race condition em algumas versões e o projeto parece que não está sendo mantido, porém ainda é mantido pelos mantedores das distros. 

Também vale a pena a dica de alguns player grandes:
https://moderncrypto.org/mail-archive/messaging/2014/000780.html


Cordialmente
Gabriel Francisco.

Gabriel Francisco
----------------------------
Linux User #507840
phone: (041) 9195-5010
email: frc.gabriel[at]gmail.com


2015-02-18 11:20 GMT-02:00 Zhu Sha Zang <[hidden email]>:

> Cara, algo desse tipo não ficaria melhor se portável para um BD mais parrudo
> como PGSQL? Se for utilizar essas duas linguagens utilize um ORM e
> abstraia-se de qual banco usar em específico.
>
> Att

>
>
>
> On 02/18/2015 11:13 AM, Nilton OS wrote:
>
> Fala galera boa tarde, tudo bem.
>
> Estou desenvolvendo um projeto com Golang e Beego.
> Agora esse Projeto sai da gaveta.
> É um sistema de Antispam e toda sua interface de administração Web está
> sendo codificada com Golang e Beego, estou usando Mysql.
>
> O que estou usando:
> OpenSUSE 13.2 64Bits
> Postfix
> Dovecot
> Mysql
> Spamassassin
> Clamav
> Gitlab
> Perl
>
> Para a interface vou usar Bootstrap e Jquery ou AngularJS, mas a interface
> HTML e paginas vou pedir para um profissional ou empresa desenvolver.
>
> Vou focar no código de Backend nesse momento.
>
> Por enquanto o filtro que roda com o Postfix está codificado em Perl, mas em
> uma segunda etapa vou codificar em Golang.
>
> Estou na fase de limpeza do código Perl e organização da Base de Dados.
>
> O código ainda está no meu git (Gitlab), mas assim que terminar essa limpeza
> vou colocar o projeto no GITHUB, sua licença vai MIT.
>
> Vai ter um versão Community e uma Enterprise.
> Vou aplicar meus 10 anos de conhecimento que administro ambiente de e-mail
> de alta disponibilidade e de grandes tráficos de dados.
>
> Quem tiver alguma sugestão, critica será bem vindo.
>
> Aguardem para mais informações.
>
> Obrigado
> ..............................................................................................
>  Nilton OS | Working Linux 15 years ago | linuxpro.com.br
> "Cert: LPI101, ITILv3 2011"
>
>
> _______________________________________________

> Postfix-br mailing list
> [hidden email]
> http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
>
>
>
> _______________________________________________
> Postfix-br mailing list
> [hidden email]
> http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br
>


_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br



_______________________________________________
Postfix-br mailing list
[hidden email]
http://listas.softwarelivre.org/cgi-bin/mailman/listinfo/postfix-br