Como manter apenas cada enésima linha de um arquivo

Eu tenho um arquivo CSV bastante considerável (75 MB). Estou apenas tentando produzir um gráfico, então realmente não preciso de todos os dados.

Reescrita: eu gostaria de excluir n linhas, manter uma linha, excluir n linhas e assim por diante.

Portanto, se o arquivo estiver assim:

Line 1
Line 2
Line 3
Line 4
Line 5
Line 6

e n = 2, a saída seria:

Line 3
Line 6

Parece que sedé capaz de fazer isso, mas não consegui descobrir como. Um comando bash seria ideal, mas estou aberto a qualquer solução.

~ $ awk 'NR == 1 || NR % 3 == 0' yourfile
Line 1
Line 3
Line 6

NRA variável (número de registros) é o número de linhas de registros porque o comportamento padrão é a nova linha de RS(separador de registros). padrão e ação são opcionais no formato padrão do awk 'pattern {actions}'. quando damos apenas parte do padrão, awkgrava todos os campos $0para as truecondições do nosso padrão .

sed também pode fazer isso:

$ sed -n '1p;0~3p' input.txt
Line 1
Line 3
Line 6

man sedexplica ~como:

first ~ step Corresponde a cada passo da segunda linha, começando pela linha primeiro. Por exemplo, `` sed -n 1 ~ 2p '' imprimirá todas as linhas com números ímpares no fluxo de entrada, e o endereço 2 ~ 5 corresponderá a cada quinta linha, começando com a segunda. o primeiro pode ser zero; neste caso, sed opera como se fosse igual ao passo. (Esta é uma extensão.)

O Perl também pode fazer isso:

while (<>) {
    print  if $. % 3 == 1;
}

Este programa imprimirá a primeira linha de sua entrada e a cada terceira linha posteriormente.

Para explicar um pouco, <>é o operador de entrada de linha, que itera sobre as linhas de entrada quando usado em um whileloop como este. A variável especial $.contém o número de linhas lidas até o momento e %é o operador do módulo.

Esse código pode ser escrito de forma ainda mais compacta como uma linha, usando as opções -ne -e:

perl -ne 'print if $. % 3 == 1'  < input.txt  > output.txt

O -eswitch usa um pedaço de código Perl para executar como um parâmetro de linha de comando, enquanto o -nswitch envolve implicitamente o código em um whileloop como o mostrado acima.

Edit: Para obter as linhas 1, 3, 6, 9, ... como no exemplo, em vez das linhas 1, 4, 7, 10, ... como eu assumi que você queria, substitua $. % 3 == 1por $. == 1 or $. % 3 == 0.

Se você quiser fazer isso com um script Bash, tente:

#!/bin/sh

echo Please enter the file name
read fname
echo Please enter the Nth lines that you want to keep
read n

exec<$fname
value=0
while read line
do
    if [ $(( $value % $n )) -eq 0 ] ; then
        echo -e "$line" >> new_file.txt
    fi
        let value=value+1 
done
echo "Check the 'new_file.txt' that has been created in this directory";

Salve-o como "read_lines.sh" e lembre-se de conceder + x permissões ao arquivo bash.

chmod +x ./read_lines.sh

Uma solução no bash puro, que não gera um processo, é:

{ for f in {1..2}; do read line; done;
  while read line; do
    echo $line;
    for f in {1..2}; do read line; done;
  done; } < file

A primeira linha pula 2 linhas no início do arquivo e whileimprime a próxima linha e pula 2 linhas novamente.

Se o seu arquivo for pequeno, é uma maneira muito eficiente de fazer o trabalho, pois não inicia um processo. Quando seu arquivo é grande, seddeve ser usado, pois é mais eficiente no manuseio io do que bash.

Uma versão Python (ambos Python 2 e Python 3):

python2 -c "print(''.join(open('file.txt').readlines()[::3]))"

substitua [::3]pelos parâmetros de tamanho inicial, final e da etapa para obter mais controle. Por exemplo, [10:36:5]coloca as linhas 10,15, ..., 35.

Observe que, como readlines()mantém as terminações da linha, a saída dessa chamada pode terminar com uma última linha vazia, a menos que a última linha original seja eliminada pelo tamanho da etapa escolhida.

Também é possível uma versão de fluxo (aqui é emitida somente após o fluxo final):

python -c "import sys;print(''.join(list(sys.stdin)[::3]))" < file.txt