Divisão de arquivo para cada 10000 números (não linhas)

Eu tenho um arquivo que se parece com o seguinte:

chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT    

Eu quero dividir esse arquivo para cada intervalo de 10000 do 2º campo (NÃO linhas, mas intervalo numérico). Portanto, para este arquivo, gostaria de dividir da primeira linha (a linha com 61336212) para a linha que tem ou até 61346211 (61336212 + 9999), depois de 61346212 a 61356211 e assim por diante. Como você pode ver, os números no 2º campo / coluna não são 'preenchidos'.

Existe uma maneira de fazer isso?

awk 'NR==1 {n=$2}
     {
       file = sprintf("file.%.4d", ($2-n)/10000)
       if (file != last_file) {
         close(last_file)
         last_file = file
       }
       print > file
     }'

Iria escrever para file.0000, file.0001... (o número estar int(($2-n)/10000)onde nestá $2para a primeira linha).

Observe que fechamos os arquivos quando paramos de gravá-los, caso contrário, você atingia o limite do número de arquivos abertos simultaneamente após algumas centenas de arquivos (o GNU awkpode contornar esse limite, mas as performances se degradam rapidamente).

Estamos assumindo que esses números estão sempre subindo.

Corte a versão one-liner. Talvez mais adequado para o Code Golf do que este fórum. Isso gera split1, split2, split3 e assim por diante, como nomes de arquivos.

awk '{if($2>b+9999){a++;b=$2}print >"split" a}' file.txt

Para ter arquivos de saída denominados split001, split002, split003, envolve este extra sprintf:

awk '{if($2>b+9999){a++;b=$2}print >sprintf("split%03d",a)}' file.txt

Para evitar o problema de desaceleração gritante identificado por @ Stéphane Chazelas, use perl:

perl -ne '(undef,$a)=split(/\s+/,$_);if($a>$b+9999){$c++;$b=$a}open(D,sprintf(">>ysplit%03d",$c));print D' <file.txt

#!/bin/bash
first=$( head -n1 file | awk -F" +" '{print $2}' )
last=$( tail -n1 file | awk -F" +" '{print $2}' )
for (( i=$first ; i<=$last ; i=i+10000 )) ; do
   awk -v start=$i -v end=$(($i+10000)) 'BEGIN { FS == " +" } { if ( $2 >= start && $2 < end ) print $0 }' file \
   >> interval_"$i"_to_"$(( $i+10000 ))"
done

Teste com intervalo definido como 100:

more inter*
::::::::::::::
interval_61336212_to_61346212
::::::::::::::
chr19   61336212        +       0       0       CG      CGT    
chr19   61336213        -       0       0       CG      CGG    
chr19   61336218        +       0       0       CG      CGG    
chr19   61336219        -       0       0       CG      CGC    
chr19   61336268        +       0       0       CG      CGG    
chr19   61336269        -       0       0       CG      CGA    
::::::::::::::
interval_61336312_to_61346312
::::::::::::::
chr19   61336402        +       0       0       CG      CGG    
chr19   61336403        -       0       0       CG      CGT  

Nota: produzirá arquivos vazios por intervalos vazios; para remover arquivos vazios, adicione:

for file in interval* ; do
  if [ ! -s "$file" ] ; then
    rm "$file"
  fi
done

Será executado sobre o arquivo para cada etapa do forloop, portanto não é o mais eficiente.

Se você quer dizer apenas cálculo, não contagem de linhas:

awk 'NR==1 || n+10000<$2{n=$2; portion++}{print > FILENAME "." portion}' file