A lista cinza ainda é um método eficiente para evitar spam?

Eu uso a lista cinza em meus servidores há muitos anos, mas não sei como é eficaz atualmente.

Ainda é bom para combater o spam em 2012?

Ou o MTA spammer típico é capaz de reenviar e-mails na lista de espera agora?

Uma atualização de 2018:

Eu sempre fui um grande fã da lista cinza. Por estas razões:

• Ele não apenas marca spam, mas também o bloqueia.
• É legal usar como provedor de serviços na Alemanha (diferente da exclusão de e-mails de spam após a recepção)
• É simples e efetivo.
• Ele adiciona carga ao remetente de spam e não ao seu servidor de recebimento. Portanto, mesmo que os remetentes de spam possam passar por sua lista de espera, você forçou a máquina a trabalhar mais e, assim, eles podem enviar menos spam no total.
• Ele bloqueia quase nenhum correio legítimo, ao contrário dos RBLs baseados em IP etc.
• Ele apresenta atrasos, mas você pode colocar na lista de permissões clientes (servidores de envio) de contatos frequentes e destinatários da lista de permissões que realmente precisam de email com um atraso mínimo. Lembre-se de que o uso de um filtro de spam como o Spamassasin diretamente em todos os seus emails (sem lista de espera) também pode causar atrasos nos emails legítimos: Alguns spammers enviam tantos emails ao servidor que o filtro de spam fica sobrecarregado. Assim, ele enviará uma falha temporária (por exemplo, 451) ao servidor remetente de novos e-mails recebidos. Isso causa os mesmos efeitos que a lista cinza, ou seja, os e-mails são adiados, com a exceção de que a lista branca não é tão fácil. Obviamente, você pode usar um filtro de spam na nuvem escalável para qualquer potência que o remetente de spam tenha, mas que pode ser mais caro.
• Manutenção limitada ou não necessária. Nenhuma lista negra que precisa ser atualizada e alterada ao longo do tempo. Nenhuma regra baseada em padrão que precise ser atualizada.

Infelizmente, porém, nas minhas estatísticas, vejo que, neste ano, a lista cinza torna-se cada vez menos eficaz. A quantidade de mensagens atrasadas realmente se aproxima bastante da quantidade de mensagens na lista de espera em cinza, o que significa que a quantidade de spam bloqueado está reduzindo.

No último ano (365 dias), 55% das mensagens na lista de espera chegaram à lista de espera, ou seja, 45% foram bloqueadas.

estatísticas de mailgraph ano

Observe que este gráfico incluiu um período no qual as mensagens na lista de espera não eram contadas devido a um erro de configuração do mailgraph, apenas ao atraso. Isso significa que esse cálculo superestima um pouco as mensagens atrasadas, na verdade, um pouco mais de emails foram bloqueados.

No último mês, 64% foram adiados e apenas 36% foram bloqueados.

mês de estatísticas mailgraph

Na última semana, 75% ficaram atrasados ​​e apenas 25% bloqueados.

semana de estatísticas mailgraph

Além disso, analisando a quantidade total de mensagens bloqueadas: este mês, a lista em cinza bloqueou 4 411 mensagens, mas o Amavisd (spamassasin) bloqueou 22 763 mensagens. Isso significa que apenas 16% do spam é bloqueado pela lista de espera, e o restante pelo amavisd.

Além disso, mais e mais provedores de envio em nuvem enviam de várias centenas de endereços IP. Eles tentam cada tentativa de transmissão de outro IP. Assim, a lista cinza pode bloquear esses e-mails por dias pares. Portanto, você precisa colocar todos os "bons" provedores de email na lista de permissões. Isso introduz um novo esforço de manutenção.

Eu sempre fui um grande fã da lista cinza, mas, infelizmente, vejo que está se tornando cada vez menos eficaz e acho que vou desativá-la em breve, pois começa a atrasar apenas 14% dos meus e-mails desnecessariamente sem bloquear muito spam. .

As estatísticas enganosas

A quantidade de emails bloqueados nas minhas (e suas) estatísticas também pode ser bastante enganadora. Vamos pegar um email proveniente de um grande provedor de email na nuvem (como o * .outbound.protection.outlook.com da Microsoft) que ainda não está na lista de permissões. A primeira tentativa falha. A segunda e a terceira tentativas de transmissão vêm de dois outros servidores (IPs); portanto, novamente falha, pois o trigêmeo não corresponde. Agora, a quarta tentativa vem do primeiro servidor novamente e é bem-sucedida. Isso será contado como uma transmissão atrasada e quatro mensagens em lista cinza. Meus cálculos acima indicariam que 1/4 = 25% das mensagens na lista cinza estava atrasado e 3/4 = 75% foram bloqueados. Mas, de fato, nenhuma mensagem foi bloqueada. Agora, colocamos na lista branca os servidores desses provedores de correio, para que eles não sejam mais colocados na lista de espera. O que acontecerá é que a quantidade de mensagens na lista cinza cairá mais do que a quantidade de mensagens atrasadas. Isso significa que a quantidade de mensagens bloqueadas que calculamos diminuirá. Mas não é verdade que menos mensagens foram bloqueadas.

De fato, o que fiz desde fevereiro de 2017 é adicionar cada vez mais provedores de correio em nuvem à lista de permissões para combater o problema de longos atrasos devido à lista de espera. Isso pode explicar (em parte?), Por que a quantidade de emails bloqueados que eu calculo está diminuindo rapidamente. Então, talvez, eu sempre pensei que a lista cinza bloqueia muito spam, mas a quantidade de spam bloqueada era muito menor o tempo todo, era calculada incorretamente. Portanto, tenha cuidado ao interpretar suas estatísticas.

A última vez que olhei isso quantitativamente foi em julho deste ano (2012). Em julho, meu servidor de correio recebeu cerca de 46.000 tentativas para entregar correio; desses, cerca de 1.750 retornaram e foram permitidos pela lista cinza (e passaram no domínio do remetente válido, no SPF e em alguns outros testes sem conteúdo). Desses, cerca de outros 1.500 foram filtrados pela minha filtragem baseada em conteúdo.

Supondo que esses 44.250 e-mails sejam spam (já que eles não poderiam passar para a lista cinza, acho que é uma suposição justa), se não fosse a lista cinza, minha filtragem baseada em conteúdo teria que lidar com 46.000 e-mails em vez de 1.750.

Um aumento de 25 vezes na carga da minha filtragem baseada em conteúdo exigiria que eu tivesse CPUs muito mais robustas e mais memória. Isso, por sua vez, aumentaria meus custos mensais de hospedagem, devido ao consumo extra de energia (e, provavelmente, ao tamanho do servidor).

Então, resumindo, a última vez que contei, sim, a lista cinza ainda fazia muito, muito bom sentido, como parte de um sistema completo de filtragem de spam . Eu o ativei para clientes nas últimas semanas e todos estão extremamente satisfeitos com a diminuição da carga em seus sistemas de filtragem baseados em conteúdo também.

Editar : observo que não respondi à pergunta sobre se está se tornando menos eficaz ao longo do tempo. Quando o ativei, no final de 2006, minha estimativa naquele momento era que ele filtrava cerca de 95% do spam. 1.750, na proporção de 46.000, é de cerca de 4%; portanto, meus dados sugerem que não se tornará menos eficaz nesse período.

os spambots geralmente ainda não fazem fila de mensagens, mas alguns deles enviam o spam duas vezes para todos os destinatários com alguns minutos de atraso para derrotar a lista de espera. Além disso, atualmente, o spam de spambots não é mais o verdadeiro problema, o spam de contas comprometidas do Yahoo, etc, é muito mais difícil de detectar.

Desse ponto de vista, a lista cinza não é tão eficaz quanto costumava ser. Em combinação com outras técnicas anti-spam, ele ainda pode ajudar, por exemplo, se seu domínio estiver frequentemente no "primeiro lote" de campanhas de spam, a lista cinza poderá ajudar a atrasar a mensagem por tempo suficiente para que as listas negras de domínio / ip sejam atualizadas. o spam passaria pelos seus filtros na primeira tentativa de conexão, talvez seja detectado na segunda tentativa.

Como uma questão tangencial, não gosto de estar na posição de ter implantado uma técnica como a lista cinza sem poder medir sua eficácia. No Debian, com o postfix como o MTA e o postgrey como o mecanismo de política de lista cinza, você pode apt-get install mailgraphobter apenas um gráfico simples de mensagens aceitas e rejeitadas. O Mailgraph é um pouco antigo e completamente independente, mas funciona, e seus dados ou técnicas podem ser facilmente integrados a um sistema de monitoramento moderno mais complexo.

Obtenha um filtro de email baseado em reputação. Greylisting é um pouco antigo e não é uma solução abrangente. Existem soluções alternativas (da perspectiva do remetente de spam) e prazos de entrega imprevisíveis para os usuários ...

Terceirize a filtragem para um serviço em nuvem ou compre um dispositivo que tenha acesso a essa lista e tenha outros métodos de validação de spam. Minha recomendação é geralmente o Barracuda para o dispositivo ou a solução de filtragem na nuvem . Ambas as opções têm economias de escala e heurísticas maduras que fornecem uma solução geral mais limpa.

Analisando um dos relatórios do Barracuda Spam Filter de meu cliente em setembro de 2012, das 98.457 mensagens, 1.623 foram cortadas antes de chegar ao servidor de correio por causa de destinatários ruins ... 34.488 foram bloqueados como SPAM . Apenas 96 mensagens duvidosas conseguiram passar. Os classificados como SPAM foram uma combinação de reputação, pontuação, intenção, três RBLs, filtragem bayesiana e conjuntos de regras personalizados. Tudo em uma unidade ... Tudo processado antes de acessar o servidor de correio relativamente pequeno.

Consulte também: Combate ao spam - O que posso fazer como administrador de email, proprietário de domínio ou usuário?