Localizar e substituir dentro de um arquivo de texto a partir de um comando Bash

Qual é a maneira mais simples de encontrar e substituir uma determinada string de entrada, digamos abc, e substituir por outra string, digamos XYZno arquivo /tmp/file.txt?

Estou escrevendo um aplicativo e usando o IronPython para executar comandos através do SSH - mas não conheço o Unix tão bem e não sei o que procurar.

Ouvi dizer que o Bash, além de ser uma interface de linha de comando, pode ser uma linguagem de script muito poderosa. Portanto, se isso for verdade, presumo que você possa executar ações como estas.

Posso fazer isso com o bash, e qual é o script mais simples (uma linha) para alcançar meu objetivo?

A maneira mais fácil é usar sed (ou perl):

sed -i -e 's/abc/XYZ/g' /tmp/file.txt

O que invocará o sed para fazer uma edição no local devido à -iopção Isso pode ser chamado a partir do bash.

Se você realmente deseja usar apenas o bash, o seguinte pode funcionar:

while read a; do
    echo ${a//abc/XYZ}
done < /tmp/file.txt > /tmp/file.txt.t
mv /tmp/file.txt{.t,}

Isso faz um loop em cada linha, substituindo e gravando em um arquivo temporário (não quero prejudicar a entrada). A mudança no final apenas muda temporariamente para o nome original.

A manipulação de arquivos normalmente não é feita pelo Bash, mas por programas invocados pelo Bash, por exemplo:

perl -pi -e 's/abc/XYZ/g' /tmp/file.txt

A -ibandeira diz para fazer uma substituição no local.

Veja man perlrunpara obter mais detalhes, incluindo como fazer um backup do arquivo original.

Fiquei surpreso quando me deparei com isso ...

Há um replacecomando que acompanha o "mysql-server"pacote; portanto, se você o instalou, tente:

# replace string abc to XYZ in files
replace "abc" "XYZ" -- file.txt file2.txt file3.txt

# or pipe an echo to replace
echo "abcdef" |replace "abc" "XYZ"

Veja man replacemais sobre isso.

Este é um post antigo, mas para quem quiser usar variáveis ​​como @centurian, as aspas simples significam que nada será expandido.

Uma maneira simples de obter variáveis ​​é fazer a concatenação de cadeias, pois isso é feito por justaposição no bash, o seguinte deve funcionar:

sed -i -e "s/$var1/$var2/g" /tmp/file.txt

O Bash, como outras conchas, é apenas uma ferramenta para coordenar outros comandos. Normalmente, você tentaria usar comandos UNIX padrão, mas é claro que pode usar o Bash para chamar qualquer coisa, incluindo seus próprios programas compilados, outros scripts de shell, scripts Python e Perl etc.

Nesse caso, existem algumas maneiras de fazer isso.

Se você deseja ler um arquivo e gravá-lo em outro arquivo, pesquisando / substituindo à medida que avança, use sed:

sed 's/abc/XYZ/g' <infile >outfile

Se você deseja editar o arquivo no local (como se estivesse abrindo o arquivo em um editor, editando-o e salvando-o), forneça instruções ao editor de linha 'ex'

echo "%s/abc/XYZ/g
w
q
" | ex file

Ex é como vi sem o modo de tela cheia. Você pode dar os mesmos comandos que você faria no prompt ':' do vi.

Encontrei esse tópico entre outros e concordo que ele contém as respostas mais completas, por isso estou adicionando as minhas também:

1. sede edsão tão úteis ... à mão. Veja este código de @Johnny:

   sed -i -e 's/abc/XYZ/g' /tmp/file.txt

2. Quando minha restrição é usá-lo em um script de shell, nenhuma variável pode ser usada no lugar de "abc" ou "XYZ". O BashFAQ parece concordar com o que eu entendo pelo menos. Então, eu não posso usar:

   x='abc'
   y='XYZ'
   sed -i -e 's/$x/$y/g' /tmp/file.txt
   #or,
   sed -i -e "s/$x/$y/g" /tmp/file.txt

   Mas o que nós podemos fazer? Como, @Johnny disse, use um while read...mas, infelizmente, esse não é o fim da história. O seguinte funcionou bem comigo:

   #edit user's virtual domain
   result=
   #if nullglob is set then, unset it temporarily
   is_nullglob=$( shopt -s | egrep -i '*nullglob' )
   if [[ is_nullglob ]]; then
      shopt -u nullglob
   fi
   while IFS= read -r line; do
      line="${line//'<servername>'/$server}"
      line="${line//'<serveralias>'/$alias}"
      line="${line//'<user>'/$user}"
      line="${line//'<group>'/$group}"
      result="$result""$line"'\n'
   done < $tmp
   echo -e $result > $tmp
   #if nullglob was set then, re-enable it
   if [[ is_nullglob ]]; then
      shopt -s nullglob
   fi
   #move user's virtual domain to Apache 2 domain directory
   ......

3. Como se pode ver se nullglobestá definido então, ele se comporta estranhamente quando há uma string que contém a *as in:

   <VirtualHost *:80>
    ServerName www.example.com

   que se torna

   <VirtualHost ServerName www.example.com

   não há colchetes angulares finais e o Apache2 nem pode carregar.

4. Esse tipo de análise deve ser mais lento que a pesquisa com um clique e substituir, mas, como você já viu, existem quatro variáveis ​​para quatro padrões de pesquisa diferentes trabalhando em um ciclo de análise.

A solução mais adequada em que consigo pensar com as suposições dadas do problema.

Você pode usar sed:

sed -i 's/abc/XYZ/gi' /tmp/file.txt

Use -ipara "ignorar maiúsculas e minúsculas" se não tiver certeza de que o texto a ser encontrado é abcou ABCou AbC, etc.

Você pode usar finde, sedse não souber seu nome de arquivo:

find ./ -type f -exec sed -i 's/abc/XYZ/gi' {} \;

Encontre e substitua em todos os arquivos Python:

find ./ -iname "*.py" -type f -exec sed -i 's/abc/XYZ/gi' {} \;

Você também pode usar o edcomando para pesquisar em arquivos e substituir:

# delete all lines matching foobar 
ed -s test.txt <<< $'g/foobar/d\nw' 

Veja mais em " Editando arquivos via scripts comed ".

Se o arquivo em que você está trabalhando não é tão grande, e armazená-lo temporariamente em uma variável não é problema, você pode usar a substituição de string Bash em todo o arquivo de uma só vez - não há necessidade de revisá-lo linha por linha:

file_contents=$(</tmp/file.txt)
echo "${file_contents//abc/XYZ}" > /tmp/file.txt

Todo o conteúdo do arquivo será tratado como uma cadeia longa, incluindo quebras de linha.

XYZ pode ser uma variável $replacement, por exemplo , e uma vantagem de não usar sed aqui é que você não precisa se preocupar que a cadeia de pesquisa ou substituição possa conter o caractere delimitador do padrão sed (geralmente, mas não necessariamente, /). Uma desvantagem é não poder usar expressões regulares ou nenhuma das operações mais sofisticadas do sed.

Cuidado se você substituir os URLs pelo caractere "/".

Um exemplo de como fazer isso:

sed -i "s%http://domain.com%http://www.domain.com/folder/%g" "test.txt"

Extraído de: http://www.sysadmit.com/2015/07/linux-reemplazar-texto-en-archivos-con-sed.html

Experimente o seguinte comando shell:

find ./  -type f -name "file*.txt" | xargs sed -i -e 's/abc/xyz/g'

Para editar o texto no arquivo de maneira não interativa, você precisa de um editor de texto no local, como o vim.

Aqui está um exemplo simples de como usá-lo na linha de comando:

vim -esnc '%s/foo/bar/g|:wq' file.txt

Isso é equivalente à resposta @slim do ex editor, que é basicamente a mesma coisa.

Aqui estão alguns exexemplos práticos.

Substituindo texto foopor barno arquivo:

ex -s +%s/foo/bar/ge -cwq file.txt

Removendo os espaços em branco à direita para vários arquivos:

ex +'bufdo!%s/\s\+$//e' -cxa *.txt

Solução de problemas (quando o terminal está preso):

• Adicione -V1param para mostrar mensagens detalhadas.
• Forçar Encerrar por: -cwq!.

Veja também:

• Como editar arquivos de maneira não interativa (por exemplo, no pipeline)? na Vi SE

Você também pode usar python no script bash. Não tive muito sucesso com algumas das principais respostas aqui e achei que funcionava sem a necessidade de loops:

#!/bin/bash
python
filetosearch = '/home/ubuntu/ip_table.txt'
texttoreplace = 'tcp443'
texttoinsert = 'udp1194'

s = open(filetosearch).read()
s = s.replace(texttoreplace, texttoinsert)
f = open(filetosearch, 'w')
f.write(s)
f.close()
quit()

Você pode usar o comando rpl. Por exemplo, você deseja alterar o nome de domínio em todo o projeto php.

rpl -ivRpd -x'.php' 'old.domain.name' 'new.domain.name' ./path_to_your_project_folder/  

Esta não é uma clara causa de causa, mas é muito rápida e útil. :)