Como fazer uma busca / substituição recursiva de uma string por awk ou sed?

Como localizo e substituo cada ocorrência de:

subdomainA.example.com

com

subdomainB.example.com

em cada arquivo de texto sob a /home/www/árvore de diretórios recursivamente?

find /home/www \( -type d -name .git -prune \) -o -type f -print0 | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

-print0diz findpara imprimir cada um dos resultados separados por um caractere nulo, em vez de uma nova linha. No caso improvável de o seu diretório ter arquivos com novas linhas nos nomes, isso ainda permite xargstrabalhar nos nomes de arquivos corretos.

\( -type d -name .git -prune \)é uma expressão que pula completamente todos os diretórios nomeados .git. Você pode expandi-lo facilmente, se você usa o SVN ou tem outras pastas que deseja preservar - basta comparar com mais nomes. É aproximadamente equivalente a -not -path .git, mas mais eficiente, porque, em vez de verificar todos os arquivos no diretório, ignora-o completamente. O -odepois é necessário por causa de como -prunerealmente funciona.

Para mais informações, consulte man find.

Nota : Não execute este comando em uma pasta incluindo um repositório git - alterações em .git podem corromper seu índice git.

find /home/www/ -type f -exec \
    sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

Comparado a outras respostas aqui, isso é mais simples do que a maioria e usa sed em vez de perl, que é o que a pergunta original fazia.

A maneira mais simples para mim é

grep -rl oldtext . | xargs sed -i 's/oldtext/newtext/g'

Todos os truques são quase os mesmos, mas eu gosto deste:

find <mydir> -type f -exec sed -i 's/<string1>/<string2>/g' {} +

• find <mydir>: procure no diretório

• -type f:

  O arquivo é do tipo: arquivo regular

• -exec command {} +:

  Essa variante da ação -exec executa o comando especificado nos arquivos selecionados, mas a linha de comandos é criada anexando cada nome de arquivo selecionado no final; o número total de invocações do comando será muito menor que o número de arquivos correspondentes. A linha de comando é construída da mesma maneira que o xargs cria suas linhas de comando. Somente uma instância de `{} 'é permitida dentro do comando. O comando é executado no diretório inicial.

cd /home/www && find . -type f -print0 |
  xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

Para mim, a solução mais fácil de lembrar é https://stackoverflow.com/a/2113224/565525 , ou seja:

sed -i '' -e 's/subdomainA/subdomainB/g' $(find /home/www/ -type f)

NOTA : -i ''resolve o problema OSXsed: 1: "...": invalid command code .

NOTA : Se houver muitos arquivos para processar, você receberá Argument list too long. A solução alternativa - uso find -execou xargssolução descrita acima.

Para quem usa o silver searcher ( ag)

ag SearchString -l0 | xargs -0 sed -i 's/SearchString/Replacement/g'

Como o ag ignora as pastas / arquivos git / hg / svn por padrão, é seguro executar dentro de um repositório.

Um oneliner agradável como um extra. Usando git grep.

git grep -lz 'subdomainA.example.com' | xargs -0 perl -i'' -pE "s/subdomainA.example.com/subdomainB.example.com/g"

Para reduzir os arquivos para recursivamente sed, você pode, greppara sua instância de string:

grep -rl <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

Se você executar, man grepnotará que também pode definir um--exlude-dir="*.git" sinalizador se desejar omitir a pesquisa nos diretórios .git, evitando problemas de índice git, como outros indicaram educadamente.

Levando você a:

grep -rl --exclude-dir="*.git" <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

Este é compatível com os repositórios git e um pouco mais simples:

Linux:

git grep -l 'original_text' | xargs sed -i 's/original_text/new_text/g'

Mac:

git grep -l 'original_text' | xargs sed -i '' -e 's/original_text/new_text/g'

(Obrigado a http://blog.jasonmeridth.com/posts/use-git-grep-to-replace-strings-in-files-in-your-git-repository/ )

find /home/www/ -type f -exec perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

find /home/www/ -type f listará todos os arquivos em / home / www / (e seus subdiretórios). O sinalizador "-exec" indica ao find para executar o seguinte comando em cada arquivo encontrado.

perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

é o comando executado nos arquivos (muitos de cada vez). O {}é substituído por nomes de arquivos. O +no final do comando diz findpara criar um comando para muitos nomes de arquivos.

De acordo com a findpágina do manual: "A linha de comando é construída da mesma maneira que o xargs cria suas linhas de comando."

Assim, é possível atingir seu objetivo (e manipular nomes de arquivos contendo espaços) sem usar xargs -0, ou -print0.

Eu só precisava disso e não estava satisfeito com a velocidade dos exemplos disponíveis. Então eu criei o meu próprio:

cd /var/www && ack-grep -l --print0 subdomainA.example.com | xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

O Ack-grep é muito eficiente para encontrar arquivos relevantes. Esse comando substituiu ~ 145.000 arquivos com facilidade, enquanto outros demoraram tanto que eu mal podia esperar até que eles terminassem.

Um método direto, se você precisar excluir diretórios ( --exclude-dir=.svn) e também pode ter nomes de arquivos com espaços (usando 0Byte com grep -Zexargs -0

grep -rlZ oldtext . --exclude-dir=.svn | xargs -0 sed -i 's/oldtext/newtext/g'

grep -lr 'subdomainA.example.com' | while read file; do sed -i "s/subdomainA.example.com/subdomainB.example.com/g" "$file"; done

Eu acho que a maioria das pessoas não sabe que pode inserir algo em um "arquivo de leitura ao mesmo tempo" e evita esses argumentos desagradáveis ​​-print0, enquanto preserva espaços nos nomes de arquivos.

A adição adicional de um echobefore antes do sed permite que você veja quais arquivos serão alterados antes de realmente fazê-lo.

Você pode usar o awk para resolver isso como abaixo,

for file in `find /home/www -type f`
do
   awk '{gsub(/subdomainA.example.com/,"subdomainB.example.com"); print $0;}' $file > ./tempFile && mv ./tempFile $file;
done

espero que isso ajude você !!!

Maneira mais simples de substituir ( todos os arquivos, diretório, recursivo )

find . -type f -not -path '*/\.*' -exec sed -i 's/foo/bar/g' {} +

Nota: Às vezes você pode precisar ignorar alguns arquivos ocultos, ou seja,.git , , pode usar o comando acima.

Se você deseja incluir arquivos ocultos, use

find . -type f  -exec sed -i 's/foo/bar/g' {} +

Nos dois casos, a string fooserá substituída por uma nova stringbar

Tente o seguinte:

sed -i 's/subdomainA/subdomainB/g' `grep -ril 'subdomainA' *`

#!/usr/local/bin/bash -x

find * /home/www -type f | while read files
do

sedtest=$(sed -n '/^/,/$/p' "${files}" | sed -n '/subdomainA/p')

    if [ "${sedtest}" ]
    then
    sed s'/subdomainA/subdomainB/'g "${files}" > "${files}".tmp
    mv "${files}".tmp "${files}"
    fi

done

De acordo com este post do blog:

find . -type f | xargs perl -pi -e 's/oldtext/newtext/g;'

Se você não se importa de usar vimjunto com grepou findferramentas, pode acompanhar a resposta dada pelo usuário Gert neste link -> Como fazer uma substituição de texto em uma hierarquia de pastas grandes? .

Aqui está o acordo:

• grep recursivamente para a sequência que você deseja substituir em um determinado caminho e utilize apenas o caminho completo do arquivo correspondente. (esse seria o $(grep 'string' 'pathname' -Rl).

• (opcional) se você quiser fazer um pré-backup desses arquivos no diretório centralizado, talvez também possa usá-lo: cp -iv $(grep 'string' 'pathname' -Rl) 'centralized-directory-pathname'

• depois disso, você pode editar / substituir à vontade, vimseguindo um esquema semelhante ao fornecido no link fornecido:

  • :bufdo %s#string#replacement#gc | update

Um pouco da velha escola, mas isso funcionou no OS X.

Existem alguns truques:

• Editará apenas arquivos com extensão .slsno diretório atual

• .deve ser escapado para garantir sedque não os avalie como "qualquer caractere"

• ,é usado como seddelimitador em vez do usual/

Observe também que isso é para editar um modelo Jinja para passar um variableno caminho de um import(mas isso não é tópico).

Primeiro, verifique se o seu comando sed faz o que você deseja (isso imprimirá apenas as alterações no stdout, não os arquivos):

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

Edite o comando sed conforme necessário, quando estiver pronto para fazer alterações:

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed -i '' 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

Observe o comando -i ''in sed , eu não queria criar um backup dos arquivos originais (como explicado em Edições no local com sed no OS X ou no comentário de Robert Lujo nesta página).

Gente sedutora feliz!

só para evitar mudar também

• NearlysubdomainA.example.com
• subdomínioA.exemplo.comp.outros

mas ainda

• subdomínioA.exemplo.com.IsIt.good

(talvez não seja bom na idéia por trás da raiz do domínio)

find /home/www/ -type f -exec sed -i 's/\bsubdomainA\.example\.com\b/\1subdomainB.example.com\2/g' {} \;

Eu apenas uso tops:

find . -name '*.[c|cc|cp|cpp|m|mm|h]' -print0 |  xargs -0 tops -verbose  replace "verify_noerr(<b args>)" with "__Verify_noErr(<args>)" \
replace "check(<b args>)" with "__Check(<args>)" 

Aqui está uma versão que deve ser mais geral que a maioria; não requer find(usando em duvez disso), por exemplo. Requer xargs, que é encontrado apenas em algumas versões do Plano 9 (como o 9front).

 du -a | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

Se você deseja adicionar filtros como extensões de arquivo, use grep:

 du -a | grep "\.scala$" | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

Para Qshell (qsh) no IBMi, não faça o bash conforme marcado pelo OP.

Limitações dos comandos qsh:

• find não tem a opção -print0
• xargs não possui a opção -0
• sed não tem a opção -i

Assim, a solução em qsh:

    PATH='your/path/here'
    SEARCH=\'subdomainA.example.com\'
    REPLACE=\'subdomainB.example.com\'

    for file in $( find ${PATH} -P -type f ); do

            TEMP_FILE=${file}.${RANDOM}.temp_file

            if [ ! -e ${TEMP_FILE} ]; then
                    touch -C 819 ${TEMP_FILE}

                    sed -e 's/'$SEARCH'/'$REPLACE'/g' \
                    < ${file} > ${TEMP_FILE}

                    mv ${TEMP_FILE} ${file}
            fi
    done

Ressalvas:

• A solução exclui o tratamento de erros
• Not Bash como marcado por OP

Se você quiser usar isso sem destruir completamente o seu repositório SVN, poderá dizer a 'find' para ignorar todos os arquivos ocultos, fazendo:

find . \( ! -regex '.*/\..*' \) -type f -print0 | xargs -0 sed -i 's/subdomainA.example.com/subdomainB.example.com/g'

Usando a combinação de grepesed

for pp in $(grep -Rl looking_for_string)
do
    sed -i 's/looking_for_string/something_other/g' "${pp}"
done

Para substituir todas as ocorrências em um repositório git, você pode usar:

git ls-files -z | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

Consulte Listar arquivos no repositório git local? para outras opções para listar todos os arquivos em um repositório. As -zopções dizem ao git para separar os nomes dos arquivos com um byte zero, o que garante que xargs(com a opção -0) possam separar os nomes de arquivos, mesmo que contenham espaços ou outros enfeites.

perl -p -i -e 's/oldthing/new_thingy/g' `grep -ril oldthing *`

para alterar vários arquivos (e salvar um backup como *.bak):

perl -p -i -e "s/\|/x/g" *

pegará todos os arquivos no diretório e substituirá |por x chamado “torta Perl” (fácil como torta)