Mantenha apenas as linhas que contêm o número exato de delimitadores

Eu tenho um arquivo csv enorme com 10 campos separados por vírgulas. Infelizmente, algumas linhas estão malformadas e não contêm exatamente 10 vírgulas (o que causa alguns problemas quando desejo ler o arquivo no R). Como filtrar apenas as linhas que contêm exatamente 10 vírgulas?

Outro POSIX:

awk -F , 'NF == 11' <file

Se a linha tiver 10 vírgulas, haverá 11 campos nessa linha. Então, simplesmente fazemos awkuso ,como delimitador de campo. Se o número de campos for 11, a condição NF == 11é verdadeira e, em awkseguida , executa a ação padrão print $0.

Usando egrep(ou grep -Eno POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Isso filtra qualquer coisa que não contenha 10 vírgulas: corresponde a linhas completas ( ^no início e $no final), contendo exatamente dez repetições ( {10}) da sequência "qualquer número de caracteres, exceto ',', seguido por um único ','" ( ([^,]*,)), seguido novamente por qualquer número de caracteres, exceto ',' ( [^,]*).

Você também pode usar o -xparâmetro para soltar as âncoras:

grep -xE "([^,]*,){10}[^,]*" file.csv

Isso é menos eficiente que a solução da cuonglmawk ; o último é normalmente seis vezes mais rápido no meu sistema para linhas com cerca de 10 vírgulas. Linhas mais longas causarão grandes desacelerações.

O grepcódigo mais simples que funcionará:

grep -xE '([^,]*,){10}[^,]*'

Explicação:

-xgarante que o padrão deve corresponder à linha inteira , em vez de apenas parte dela. Isso é importante para que você não combine as linhas com mais de 10 vírgulas.

-E significa "regex estendido", o que reduz o escape da barra invertida no seu regex.

Os parênteses são usados ​​para agrupar e, {10}posteriormente, significa que deve haver exatamente dez correspondências em uma linha do padrão entre parênteses.

[^,]é uma classe de caracteres - por exemplo, [c-f]corresponderia a qualquer caractere único a c, a d, an eou an fe [^A-Z]corresponderia a qualquer caractere único que NÃO seja uma letra maiúscula. Portanto, [^,]corresponde a qualquer caractere, exceto uma vírgula.

A *classe após o caractere significa "zero ou mais destes".

Portanto, a parte regex ([^,]*,)significa "Qualquer caractere, exceto uma vírgula, qualquer número de vezes (incluindo zero vezes), seguido por uma vírgula" e {10}especifica 10 deles. Em seguida, [^,]*para corresponder o restante dos caracteres que não são vírgulas até o final da linha.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Isso primeiro ramifica qualquer linha com 11 ou mais vírgulas e depois imprime o que resta apenas aqueles que correspondem a 10 vírgulas.

Aparentemente, eu já respondi isso antes ... Aqui está um plágio de uma pergunta que procura exatamente 4 ocorrências de algum padrão:

Você pode direcionar [num]a ocorrência de um padrão com um s///comando sed ubstitution apenas adicionando o [num]ao comando. Quando você deseja tuma substituição bem-sucedida e não especifica um :rótulo de destino , o test se ramifica fora do script. Isso significa que tudo o que você precisa fazer é testar s///5uma vírgula ou mais e depois imprimir o que resta.

Ou, pelo menos, que lida com as linhas que excedem o máximo de 4. Aparentemente, você também tem um requisito mínimo. Felizmente, isso é tão simples:

sed -ne 's|,||5;t' -e 's||,|4p'

... apenas substitua a 4ª ocorrência de ,uma linha por si mesma e prenda sua pdica nas s///bandeiras da ubstituição. Como qualquer linha correspondente a ,5 ou mais vezes já foi removida, as linhas que contêm 4 ,correspondências contêm apenas 4.

Jogando um pouco curto python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Isso lerá cada linha e verificará se o número de vírgulas na linha é igual a 10 line.count(',') == 10; caso contrário, imprima a linha.

E aqui está uma maneira Perl:

perl -F, -ane 'print if $#F==10'

As -ncausas perlpara ler seu arquivo de entrada linha por linha e executar o script fornecido -eem cada linha. As -acurvas na divisão automática: cada linha de entrada será dividida no valor dado por -F(aqui, uma vírgula) e guardado como a matriz @F.

O $#F(ou, de maneira mais geral $#array), é o índice mais alto da matriz @F. Como as matrizes começam em 0, uma linha com 11 campos terá um @Fde 10. O script, portanto, imprime a linha se tiver exatamente 11 campos.

Se os campos puderem conter vírgulas ou novas linhas, seu código precisará entender csv. Exemplo (com três colunas):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Suponho que a maioria das soluções até agora descartaria a segunda e a quarta linha.