Existe uma maneira de 'uniq' por coluna?

Eu tenho um arquivo .csv como este:

stack2@example.com,2009-11-27 01:05:47.893000000,example.net,127.0.0.1
overflow@example.com,2009-11-27 00:58:29.793000000,example.net,255.255.255.0
overflow@example.com,2009-11-27 00:58:29.646465785,example.net,256.255.255.0
...

Eu tenho que remover e-mails duplicados (a linha inteira) do arquivo (ou seja, uma das linhas que contém overflow@example.como exemplo acima). Como uso uniqapenas no campo 1 (separado por vírgulas)? Segundo man, uniqnão tem opções para colunas.

Eu tentei algo com sort | uniqmas não funciona.

sort -u -t, -k1,1 file

• -u para único
• -t, então vírgula é o delimitador
• -k1,1 para o campo-chave 1

Resultado do teste:

overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F define o separador de campos.
• $1 é o primeiro campo.
• _[val]procura valno hash _(uma variável regular).
• ++ incrementar e retornar valor antigo.
• ! retorna não lógico.
• há uma impressão implícita no final.

Para considerar várias colunas.

Classifique e forneça uma lista exclusiva com base nas colunas 1 e 3:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : dois pontos é separador
• -k 1,1 -k 3,3 com base nas colunas 1 e 3

ou se você quiser usar o uniq:

<mycvs.cvs tr -s ',' ' ' | awk '{print $3" "$2" "$1}' | uniq -c -f2

dá:

1 01:05:47.893000000 2009-11-27 tack2@domain.com
2 00:58:29.793000000 2009-11-27 overflow@domain2.com
1

Se você quiser reter a última duplicata, poderá usar

 tac a.csv | sort -u -t, -r -k1,1 |tac

Qual foi a minha exigência

aqui

tac irá reverter o arquivo linha por linha

Aqui está uma maneira muito bacana.

Primeiro formate o conteúdo de modo que a coluna a ser comparada para exclusividade tenha uma largura fixa. Uma maneira de fazer isso é usar o awk printf com um especificador de largura de campo / coluna ("% 15s").

Agora, as opções -f e -w do uniq podem ser usadas para pular os campos / colunas anteriores e especificar a largura de comparação (largura da (s) coluna (s)).

Aqui estão três exemplos.

No primeiro exemplo ...

1) Transforme temporariamente a coluna de interesse em uma largura fixa maior ou igual à largura máxima do campo.

2) Use a opção -f uniq para ignorar as colunas anteriores e use a opção -w uniq para limitar a largura ao tmp_fixed_width.

3) Remova os espaços finais da coluna para "restaurar" sua largura (assumindo que não havia espaços finais anteriormente).

printf "%s" "$str" \
| awk '{ tmp_fixed_width=15; uniq_col=8; w=tmp_fixed_width-length($uniq_col); for (i=0;i<w;i++) { $uniq_col=$uniq_col" "}; printf "%s\n", $0 }' \
| uniq -f 7 -w 15 \
| awk '{ uniq_col=8; gsub(/ */, "", $uniq_col); printf "%s\n", $0 }'

No segundo exemplo ...

Crie uma nova coluna uniq 1. Em seguida, remova-a após a aplicação do filtro uniq.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; printf "%15s %s\n", uniq_col_1, $0 }' \
| uniq -f 0 -w 15 \
| awk '{ $1=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

O terceiro exemplo é o mesmo que o segundo, mas para várias colunas.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; uniq_col_2=8; printf "%5s %15s %s\n", uniq_col_1, uniq_col_2, $0 }' \
| uniq -f 0 -w 5 \
| uniq -f 1 -w 15 \
| awk '{ $1=$2=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

bem, mais simples do que isolar a coluna com o awk, se você precisar remover tudo com um certo valor para um determinado arquivo, por que não fazer grep -v:

por exemplo, para excluir tudo com o valor "col2" na segunda linha: col1, col2, col3, col4

grep -v ',col2,' file > file_minus_offending_lines

Se isso não for bom o suficiente, porque algumas linhas podem ser removidas incorretamente, possivelmente com o valor correspondente sendo exibido em uma coluna diferente, você pode fazer algo assim:

awk para isolar a coluna incorreta: por exemplo

awk -F, '{print $2 "|" $line}'

o -F define o campo delimitado como ",", $ 2 significa coluna 2, seguida por algum delimitador personalizado e, em seguida, a linha inteira. Você pode filtrar removendo as linhas que começam com o valor incorreto:

 awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE

e depois retire o material antes do delimitador:

awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE | sed 's/.*|//g'

(note: o comando sed é desleixado porque não inclui valores de escape. Além disso, o padrão sed deve realmente ser algo como "[^ |] +" (ou seja, qualquer coisa que não seja o delimitador). Mas esperamos que isso esteja claro o suficiente.

Classificando o arquivo sortprimeiro, você pode aplicar uniq.

Parece classificar o arquivo muito bem:

$ cat test.csv
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv | uniq
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

Você também pode fazer alguma mágica do AWK:

$ awk -F, '{ lines[$1] = $0 } END { for (l in lines) print lines[l] }' test.csv
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0