Remover mensagens duplicadas do Maildir

10

Tenho várias mensagens duplicadas no Maildir do meu servidor IMAP. Qual é a melhor maneira de removê-los?

Alguns pontos relevantes:

O ID da mensagem compartilhada geralmente é uma definição suficientemente boa de duplicado. Um pequeno script que remove todas as mensagens duplicadas, exceto uma, funcionaria.
Às vezes, é necessário encontrar duplicatas com base nos corpos das mensagens compartilhadas. O que é uma definição razoável de compartilhada aqui? Bitwise equivalente? E as diferenças estranhas na quebra de linha, escape e codificação de caracteres?
Às vezes, há alguma diferença significativa entre mensagens 'duplicadas'. Qual é a melhor maneira de revisar as diferenças nos conjuntos de mensagens 'duplicadas'? Difícil?

maildir

— Joseph Holsten
fonte

6

Fiz algumas melhorias significativas no script de Kevin mencionado acima, e ele teve a gentileza de aceitar meus pedidos de recebimento. Eventualmente, dividimos isso em um projeto dedicado, que você pode encontrar aqui:

https://github.com/kdeldycke/maildir-deduplicate

— Adam Spires
fonte

Este script foi movido para um novo local, por isso atualizei o link.

— Adam Spiers

3

para arquivos genéricos no linux, uso os utilitários fdupes para remover arquivos duplicados. Achei que também funciona para mensagens do Maildir.

— sarabande
fonte

1

O fdupes parece funcionar apenas para duplicatas exatas, enquanto o OP está (implicitamente) perguntando sobre padrões mais complexos de duplicação. Uma mensagem entregue duas vezes por causa de .forwardou com cabeçalhos ligeiramente diferentes; portanto, embora a mensagem em si seja duplicada, os dois arquivos que contêm as duas cópias podem não ser.

— Tripleee

0

O Gnome's Evolution [um agente gráfico de usuário de e-mail] possui um recurso interno para remover e-mails duplicados. Conforme explicado nesta página de ajuda , ele se resume a:

Selecione as mensagens suspeitas (ou apenas todas as mensagens)
Vá para o menu Mensagens e escolha Remover mensagens duplicadas .

Voilà.

O PS Evolution pode acessar suas mensagens localmente (MailDir, MH, Mbox) ou pelo IMAP.

— Franklin Piat
fonte

0

Melhor que eu encontrei hoje é de Kevin Deldycke maildir-desduplicar .

Ele ignora o X-MIMETrackcabeçalho por padrão e compara os cabeçalhos usando o SHA224resumo.
Exclui automaticamente duplicatas sem solicitar confirmação; no entanto, existe um modo de execução a seco que permite visualizar quais duplicatas serão excluídas.

Aposto que alguém poderia fazer algo chique com o delIMAPdups.pl de Rick Sanders , parte de suas ferramentas IMAP .

— Joseph Holsten
fonte

maildir-deduplicate mudei para um novo local e atualizei o link. No entanto, suas informações estão desatualizadas.

— Adam Spiers

Atualizei isso para que não haja mais informações desatualizadas e enganosas.

— Adam Spiers