Perguntas com a marcação «text-processing»

Eu tenho um exemplo de arquivo / etc / passwd como este: tom:x:1000:1000:Work:/home/tom:/bin/bash george:x:1000:1000:Work:/home/george:/bin/bash bla:x:1000:1000:Work:/home/bla:/bin/bash boo:x:1000:1000:Work:/home/boo:/bin/bash bee:x:1000:1000:Work:/root/list:/bin/bash Estou tentando listar todos os usuários com uma pasta pessoal /home/. eu escrevi cat ~/Desktop/e.txt |awk -F ":" '{if ($6 ~/^/home/) print $1;}' onde e.txt é o texto que copiei aqui. Entendo que …

10 text-processing  awk  wildcards  passwd 

Existe uma maneira conveniente de identificar blocos duplicados ou quase duplicados de texto em um arquivo? Eu quero usar isso para identificar a duplicação de código. Parece que existem programas especiais com esse recurso, mas não pretendo envolvê-lo. Espero que exista uma ferramenta semelhante ao diff que possa fazer uma …

10 text-processing  diff  vimdiff 

Como criar um novo arquivo mesclando colunas seletivas de dois arquivos separados usando o awk? Sem bagunçar as ordens dos elementos dos dois arquivos. Exemplo: o arquivo 3 pode conter a coluna 1,2,3 do arquivo 1 e a coluna 4 do arquivo 2. File 1 A 23 8 T A …

10 text-processing  awk  columns 

Estou procurando por algo que se comporte como o de Perl chomp. Estou procurando um comando que simplesmente imprima sua entrada, menos o último caractere se for uma nova linha: $ printf "one\ntwo\n" | COMMAND_IM_LOOKING_FOR ; echo " done" one two done $ printf "one\ntwo" | COMMAND_IM_LOOKING_FOR ; echo " …

10 bash  shell-script  text-processing  newlines 

Recebi um arquivo .csv com a FF FEBOM: $ head -n1 dotan.csv | hd 00000000 ff fe 41 00 64 00 20 00 67 00 72 00 6f 00 75 00 |..A.d. .g.r.o.u.| Ao usá awk-lo para analisá-lo, estou recebendo um monte de bytes nulos, que suspeito que sejam devidos …

10 text-processing  character-encoding  unicode 

Eu tenho um arquivo de texto de 250 MB, tudo em uma linha. Neste arquivo, quero substituir acaracteres por bcaracteres: sed -e "s/a/b/g" < one-line-250-mb.txt Falha com: sed: couldn't re-allocate memory Parece-me que esse tipo de tarefa pode ser executada em linha sem alocar muita memória. Existe uma ferramenta melhor …

10 text-processing  sed  performance  large-files  out-of-memory 

Eu tenho um arquivo que contém dados como este: report aaaaaaaa - .. -th bbbbbbbbb -to ccccccccc .. --. Pergunta: desejo remover qualquer linha que não comece com as seguintes seqüências de caracteres: report -th -to isso significa que a saída desejada removerá todos os pontos e hashes do meio …

10 text-processing  sed  grep  awk 

Existe uma maneira conveniente de converter a saída do comando * nix "tree" para o formato JSON? Edit: Eu acho que não descrevi o meu problema o suficiente. Meu objetivo é converter algo como: . |-- dir1 | |-- dirA | | |-- dirAA | | `-- dirBB | `-- …

10 text-processing  tree  json 

Eu tenho três tipos de dados que estão em formatos diferentes; para cada tipo de dado, existe um script Python que o transforma em um único formato unificado. Esse script Python é lento e vinculado à CPU (para um único núcleo em uma máquina com vários núcleos), então eu quero …

10 text-processing  pipe  split  parallelism 

input.txt (cerca de 30 mil linhas) RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502 output.txt RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502

10 text-processing 

Estou tentando classificar dentro de uma linha de entrada em um número desconhecido de campos: Entrada: ab bc bc ab cd ef bc bc cd ef cd bc ab ef ab bc cd gh Resultado: ab bc ab bc bc cd ef bc cd ef ab cb cd ab bc …

10 text-processing  awk  sort 

Eu estou tentando escrever um script de shell que solicita um caractere ASCII no intervalo AZ ou az e retorna seu valor numérico equivalente. Por exemplo, a saída pode ter a seguinte aparência: scarlet$ Please type a character between A and Z or between a and z: scarlet$ A scarlet$ …

10 text-processing  scripting  od 

Preciso criar o arquivo /opt/nginx/conf.d/default.confcom este conteúdo via shell script e criar o arquivo se ele não existir: server { listen 80 default_server; listen [::]:80 default_server; server_name _; root /usr/share/nginx/html; } Como escrevo conteúdo de várias linhas por meio de um script de shell? Eu criei o diretório sudo mkdir …

9 text-processing  files  nginx 

Este é um arquivo de peça N W N N N N N N N N N N C N N N N N N N N N N A N N N N N N N N N N N N N N N N N N N N …

9 text-processing  bioinformatics 

Eu tenho o seguinte arquivo: AA,true AA,false BB,false CC,false BB,true DD,true Estou tentando procurar duplicatas e remover a linha que tem o valor da coluna igual a true. como saída, deve ser: AA,false BB,false CC,false DD,true

9 text-processing  awk  sed