Removendo linhas duplicadas no Notepad ++

595

É possível remover linhas duplicadas no Notepad ++, deixando apenas uma única ocorrência de uma linha?

duplicates notepad++

— UGEEN
fonte

760

O Notepad ++ pode fazer isso, desde que você queira classificar por linha e remover as linhas duplicadas ao mesmo tempo.

Você precisará do plug-in TextFX. Isso costumava ser incluído nas versões mais antigas do Notepad ++, mas se você tiver uma versão mais recente, poderá adicioná-la no menu acessando Plugins -> Plugin Manager -> Show Plugin Manager -> Available tab -> TextFX -> Install. Em alguns casos, também pode ser chamado TextFX Characters, mas é a mesma coisa

As caixas de seleção e botões necessário agora aparecerá no menu em: TextFX -> TextFX Tools.

Verifique se a opção "classificar saídas apenas únicas ..." está marcada. Em seguida, selecione um bloco de texto ( Ctrl+ Apara selecionar o documento inteiro). Por fim, clique em "classificar linhas com distinção entre maiúsculas e minúsculas" ou "classificar linhas com distinção entre maiúsculas e minúsculas"

layout de menu em n ++

— Colin Pickard
fonte

32

Plugin incrivelmente poderoso, apesar de sua "idade". Espero que NUNCA remova esse da oferta padrão de plug-in da NPP. O cara que pensou em todos os recursos deste plug-in era meio que "visionário".

— GeertVc

7

Mais poderoso que o excel.

— Vasu

6

E a versão do Notepad ++ x64? O plug-in TextFX x64-version não existe

— Geograph

15

O TextFx não está na versão de 64 bits.

— Rhyous 23/03/19

4

@ Geograph E não haverá plug-in de 64 bits do TextFx, veja esta nota . Portanto, seria bom saber se existe um plug-in alternativo que fornece remoção de classificação e duplicada.

— Robert

641

Desde o Notepad ++ versão 6, você pode usar esse regex na pesquisa e substituir o diálogo:

^(.*?)$\s+?^(?=.*^\1$)

e substitua por nada . Isso deixa de todas as linhas duplicadas a última ocorrência no arquivo.

Nenhuma classificação é necessária para isso e as linhas duplicadas podem estar em qualquer lugar do arquivo!

Você precisa verificar as opções "Expressão regular" e ". Corresponde à nova linha":

Bloco de notas ++ Substituir diálogo

^ corresponde ao início da linha.
(.*?)corresponde a qualquer caractere 0 ou mais vezes, mas o mínimo possível (corresponde exatamente à linha, isso é necessário devido à opção ". corresponde à nova linha"). A linha correspondente é armazenada, devido aos colchetes ao redor e acessíveis usando\1
$ corresponde ao final da linha.
\s+?^ esta parte corresponde a todos os caracteres de espaço em branco (novas linhas!) até o início da próxima linha ==> Isso remove as novas linhas após a linha correspondente, para que nenhuma linha vazia esteja lá após a substituição.
(?=.*^\1$)Esta é uma afirmação positiva. Esta é a parte importante desse regex, uma linha é correspondida apenas (e removida) quando existe exatamente a mesma linha seguindo em outro lugar no arquivo.

— stema
fonte

10

oh, este é brilhante, ele ainda exclui linhas vazias, eu estou macroing-lo neste momento :)

— Aprillion

66

Apenas remove TODAS as linhas de um arquivo em alguns casos.

— SerG

3

Existe alguma maneira de remover a ÚLTIMA ocorrência? Isso corresponde a todos, exceto o último ...

— Cullub 23/09

28

No meu caso, em que essa solução removeu todas as linhas, desmarcar a opção . matches newlinefez o truque.

— Kuitsi

3

@SerG Em alguns casos, não funcionou para mim também, mas quando eu removido "jogos de nova linha" que fez :)

— Davidenko

95

Se as linhas estiverem imediatamente uma após a outra, você poderá usar uma substituição de regex:

Padrão de Pesquisa: ^(.*\r?\n)(\1)+

Substituir com: \1

— Grant Peters
fonte

1

Talvez outros tiveram sorte com isso, mas para mim ^ \ 1 resultados em "não consigo encontrar o texto" (* \ n.)

— b1nary.atr0phy

4

@ b1naryatr0phy ter certeza de que "Modo de Pesquisa" definido como "expressão regular", eu também atualizou o padrão para que ele possa lidar com estilo finais de linha janelas

— Grant Peters

3

o notepad ++ possui um mecanismo de regex leve, não permite funções avançadas, nem mesmo o "? ou \ r \ n", pois funciona apenas em uma única linha e você usa $ para os caracteres \ r \ n

— Stefan Rogin

3

isso elimina um por um. Você deve repeti-lo várias vezes. Eu me pergunto por \ n + -> \ n não funciona (pensei que relata muitas substituições)

— Val

2

@Val, se você fizer a parte back-referência da partida um grupo com 1-ou-mais partidas necessários, o padrão irá corresponder a N linhas duplicadas contíguas de cada vez:^(.*\r?\n)(\1)+

— Kenigmatic

37

Notepad ++

-> Substituir janela

Verifique se no modo Pesquisa você selecionou o botão de opção Expressão regular

Encontre o que:

^ (. *) (\ r? \ n \ 1) + $

Substituir com:

$ 1

Antes:

e nós pensamos lá

e nós pensamos lá

única linha

é possível

é possível

Depois de:

e nós pensamos lá

única linha

é possível

— blueberry0xff
fonte

2

O arquivo não precisa ser classificado para que isso funcione?

— Peter Mortensen

isso é brilhante

— Remo Liechti 19/02

30

Se você não se importa com a ordem das linhas (o que eu acho que não), use uma caixa Linux / FreeBSD / Mac OS X / Cygwin e faça:

$ cat yourfile | sort | uniq > yourfile_nodups

Em seguida, abra o arquivo novamente no Notepad ++.

— Pablo Santa Cruz
fonte

3

Não funciona no Windows 7.'cat' is not recognized as an internal or external command, operable program or batch file.

— Iain Samuel McLean Elder

2

@Iain Elder: cat é um utilitário Unix padrão, e é por isso que esta resposta especifica que ele funciona no Linux, FreeBSD e MacOSX. A resposta também sugere Cygwyn: Este é um programa do Windows que oferece um shell de estilo unix e, com ele, gato. Para encurtar a história (tarde demais!): O Win 7 precisa do Cygwin para fazer isso.

— Travis Clark

11

No Windows você tem PowerShell:cat yourfile | sort -Unique

— Elazar

9

Estes são bons exemplos de "o uso gratuito de gatos". Esqueça o utilitário cat e use o redirecionamento de arquivo da seguinte maneira: classifique <seuarquivo | uniq> yourfile_nodups

— scott8035

1

@ scott8035, eu concordo que cat não serve para executar esse comando, mas acho útil começar com cat ao descobrir uma longa sequência de comandos não óbvios, como arquivo cat | sed ... | sed ... | sed ... e assim por diante. Então, eu diria que pode haver razões para usar o gato. É claro que o gato pode ser removido no final, mas alguns são preguiçosos para isso.

— FORTRAN

17

As últimas versões do Notepad ++ aparentemente não incluem o plugin TextFX. Para usar o plug-in para classificar / eliminar duplicatas, o plug-in deve ser baixado e instalado (mais envolvido) ou adicionado usando o gerenciador de plug-ins.

A) Maneira fácil (como descrito aqui ).

Plugins -> Gerenciador de Plugins -> Mostrar Gerenciador de Plugins -> guia Disponível -> Caracteres TextFX -> Instalar

B) Maneira mais envolvida, se outra versão for necessária ou a maneira mais fácil não funcionar.

Faça o download do plugin no SourceForge:

http://downloads.sourceforge.net/project/npp-plugins/TextFX/TextFX%20v0.26/TextFX.v0.26.unicode.bin.zip
Abra o arquivo zip e extraia o NppTextFX.dll
Coloque o NppTextFX.dll no diretório de plugins do Notepad ++, como:
C: \ Arquivos de Programas \ Notepad ++ \ plugins
Inicie o Notepad ++ e o TextFX será um dos itens de menu do arquivo (como visto na Resposta nº 1 acima, por Colin Pickard)

Após instalar o plug-in TextFX, siga as instruções na resposta nº 1 para classificar e remover duplicatas.

Além disso, considere configurar um atalho de teclado usando Configurações> Mapeador de atalhos se você usar esse comando com freqüência ou desejar replicar um atalho de teclado, como F9 no TextPad para classificação.

— a leste
fonte

No bloco de notas ++ 7.6, o plug-in deve ser adicionado a C:\Users\<your_user>\AppData\Local\Notepad++\plugins\NppTextFX. Fora isso, isso ainda funciona bem.

— P_W999

14

Na versão 7.8, você pode fazer isso sem nenhum plug-in - Editar -> Operações de linha -> Remover linhas duplicadas consecutivas. Você precisará classificar o arquivo para colocar linhas duplicadas em ordem consecutiva antes que isso funcione, mas funciona como um encanto.

As opções de classificação estão disponíveis em Editar -> Operações de linha -> Classificar por ...

— dr.nixon
fonte

7

Você pode precisar de um plugin para fazer isso. Você pode tentar a linha de comando cc.ddl(excluir linhas duplicadas) do ConyEdit . É um plug-in de editor cruzado para os editores de texto, incluindo o Notepad ++.

Com o ConyEdit em execução em segundo plano, siga as etapas abaixo:

digite a linha de comando cc.ddlno final do texto.
copie o texto e a linha de comando.
colar, então você verá o que deseja.

Exemplo

— Donald
fonte

5

Procure a expressão regular: \b(\w+)\b([\w\W]*)\b\1\b

Substitua por: $1$2

Pressione o botão Substituir até que não haja mais correspondências para a expressão regular em seu arquivo.

— Hesham Eraqi
fonte

Criou um arquivo de teste para tentar isso, mas a expressão regular não funcionou de maneira confiável para realizar o trabalho.

— RockPaperLizard

Você poderia fornecer um exemplo que falhe para que eu possa melhorar minha resposta?

— Hesham Eraqi 3/08/19

4

Nenhum funcionou para mim.

Uma solução é:

Substituir

^(.*)\s+(\r?\n\1\s+)+$

com

\1

— Manohar Reddy Poreddy
fonte

Criou um arquivo de teste para tentar isso, mas a expressão regular não funcionou de maneira confiável para realizar o trabalho.

— RockPaperLizard

Para todos os meus dados, funcionou bem. Eu esqueci qual era a minha solução. Adicione mais detalhes onde houve falha para que outras pessoas possam melhorar esse regex.

— Manohar Reddy Poreddy 20/03/16

Criei um arquivo para que cada linha tivesse um número inteiro entre 0 e 999, em ordem aleatória, às vezes com duplicatas. Não removeu a maioria das duplicatas e não removeu nenhuma duplicata que não fosse seqüencial.

— RockPaperLizard

1

Por favor, forneça 2 exemplos para quem trabalha e para quem não trabalha. Isso ajudará alguém.

— Manohar Reddy Poreddy 20/03/16

1

porque ^(.*)\s+(\r?\n\1\s+)+$e não ^(.*)\s*(\r?\n\1\s*)+$?

— Mark Ch

2

O gerenciador de plug-ins está indisponível no momento (não vem com a distribuição) para o Notepad ++. Você deve instalá-lo manualmente ( https://github.com/bruderstein/nppPluginManager/releases ) e, mesmo se o fizer, muitos plug-ins não estarão mais disponíveis (nenhum TextFX).

Talvez haja outro plugin que contenha a funcionalidade necessária. Fora isso, a única maneira de fazer isso no Notepad ++ é usar um regex especial para fazer a correspondência e depois substituir (Ctrl + F→ guia Substituir ).

Embora existam muitas funcionalidades disponíveis no item de menu Editar (aparar, remover linhas vazias, classificar, converter EOL), não há operação "única" disponível.

Se você possui o Windows 10, pode ativar o Bash (basta digitar Ubuntu na Microsoft Store e siga as instruções na descrição para instalá-lo) e usá-lo cat your_file.txt | sort | uniq > your_file_edited.txt. É claro que você deve estar no mesmo diretório de trabalho que "seu_arquivo.txt" ou fazer referência a ele pelo caminho.

— Patronauta
fonte