Perguntas com a marcação «text-processing»

Eu tenho um arquivo de texto em uma codificação desconhecida ou mista. Quero ver as linhas que contêm uma sequência de bytes que não é UTF-8 válida (canalizando o arquivo de texto em algum programa). Equivalentemente, quero filtrar as linhas que são válidas UTF-8. Em outras palavras, estou procurando .grep …

50 command-line  text-processing  character-encoding  unicode 

Preciso executar periodicamente um comando que garanta que alguns arquivos de texto sejam mantidos no modo Linux. Infelizmente, dos2unixsempre modifica o arquivo, o que atrapalha os carimbos de data e hora das pastas e arquivos e causa gravações desnecessárias. O script que escrevo está no Bash, então prefiro respostas baseadas …

48 bash  text-processing  newlines 

O arquivo de entrada1 é: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Atribuo à correspondência o padrão de other file(como dog 123 4335no arquivo2). Eu igualo o padrão da linha dog 123 4335e, depois de imprimir todas as linhas sem a linha correspondente, minha saída …

48 text-processing  sed  grep 

Trabalho com arquivos CSV e, às vezes, preciso verificar rapidamente o conteúdo de uma linha ou coluna na linha de comando. Em muitos casos cut, head, tail, e amigos vão fazer o trabalho; no entanto, o corte não pode lidar facilmente com situações como "this, is the first entry", this …

47 command-line  software-rec  text-processing  csv 

Eu tenho vários .htmarquivos que abrem no Gedit sem nenhum aviso / erro, mas quando eu abro esses mesmos arquivos Jedit, ele me avisa sobre a codificação UTF-8 inválida ... A meta tag HTML indica "charset = ISO-8859-1". O Jedit permite uma lista de codificações de fallback e uma lista …

46 text-processing  utilities  character-encoding 

Eu quero converter .txtarquivos para .pdf. Estou usando isso: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Mas isso produz um "erro" - se houver uma linha muito longa no arquivo de texto, ela não será quebrada. Entrada de texto PDF de …

45 text-processing  pdf  imagemagick  conversion 

Eu uso sed para excluir rapidamente linhas com posição específica como sed '1d' sed '5d' Mas, e se eu quiser excluir a última linha do arquivo e não souber a contagem de linhas (eu sei que posso usar isso wce vários outros truques). Atualmente, usando uma solução alternativa com heade …

44 text-processing  sed 

Existe uma maneira fácil de substituir / avaliar variáveis ​​de ambiente em um arquivo? Como, digamos, eu tenho um arquivo config.xmlque contém: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ... etc Desejo substituir $INSTANCE_IDno arquivo o valor da INSTANCE_IDvariável de ambiente $SERVICE_NAMEpelo valor da SERVICE_NAMEvar env. Não vou saber …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ O resultado que eu preciso é exibir todas as linhas do arquivo original, removendo todas as duplicatas (não apenas as consecutivas), …

40 text-processing  uniq 

No shell, como posso ler os bytes de um arquivo binário que tenho e imprimir a saída como números hexadecimais?

39 shell  text-processing  binary 

Às vezes, estou recebendo como uma lista separada por guias de entrada, que não está bem alinhada, por exemplo var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Existe uma maneira fácil de torná-los alinhados? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

Como posso substituir todas as novas linhas por espaço, exceto a última nova linha. Posso substituir toda a nova linha para o espaço usando, trmas como posso fazer isso com algumas exceções?

38 bash  shell-script  text-processing  tr 

Eu tenho um arquivo com cerca de 30.000.000 linhas (Radius Accounting) e preciso encontrar a última correspondência de um determinado padrão. O comando: tac accounting.log | grep $pattern dá o que eu preciso, mas é muito lento porque o sistema operacional precisa primeiro ler o arquivo inteiro e depois enviar …

38 text-processing  files  grep  tail 

Existe uma maneira de comentar / descomentar um script shell / config / ruby ​​usando a linha de comando? por exemplo: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf isso adicionaria ou removeria o #login on bla.conf-line14 em 18. Normalmente eu uso sed, mas devo conhecer o conteúdo dessas linhas …

37 shell-script  text-processing 

Estou tentando remover alguns caracteres do arquivo (UTF-8). Estou usando trpara esse fim: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat O arquivo contém alguns caracteres estrangeiros (como "Латвийская" ou "àé"). trparece não entendê-los: trata-os como não-alfa e remove-os também. Tentei alterar algumas das minhas configurações de localidade: LC_CTYPE=C LC_COLLATE=C tr -cs …

36 linux  text-processing  unicode  tr