Iterando Diretórios com Python

Eu preciso percorrer os subdiretórios de um determinado diretório e procurar arquivos. Se eu receber um arquivo, tenho que abri-lo, alterar o conteúdo e substituí-lo por minhas próprias linhas.

Eu tentei isso:

import os

rootdir ='C:/Users/sid/Desktop/test'

for subdir, dirs, files in os.walk(rootdir):
    for file in files:
        f=open(file,'r')
        lines=f.readlines()
        f.close()
        f=open(file,'w')
        for line in lines:
            newline = "No you are not"
            f.write(newline)
        f.close()

mas estou recebendo um erro. O que estou fazendo de errado?

O passeio real pelos diretórios funciona como você o codificou. Se você substituir o conteúdo do loop interno por uma printdeclaração simples , poderá ver que cada arquivo foi encontrado:

import os
rootdir = 'C:/Users/sid/Desktop/test'

for subdir, dirs, files in os.walk(rootdir):
    for file in files:
        print os.path.join(subdir, file)

Se você ainda receber erros ao executar o procedimento acima, forneça a mensagem de erro.

Atualizado para Python3

import os
rootdir = 'C:/Users/sid/Desktop/test'

for subdir, dirs, files in os.walk(rootdir):
    for file in files:
        print(os.path.join(subdir, file))

Outra maneira de retornar todos os arquivos nos subdiretórios é usar o pathlibmódulo , introduzido no Python 3.4, que fornece uma abordagem orientada a objetos para lidar com os caminhos do sistema de arquivos (Pathlib também está disponível no Python 2.7 através do módulo pathlib2 no PyPi ):

from pathlib import Path

rootdir = Path('C:/Users/sid/Desktop/test')
# Return a list of regular files only, not directories
file_list = [f for f in rootdir.glob('**/*') if f.is_file()]

# For absolute paths instead of relative the current dir
file_list = [f for f in rootdir.resolve().glob('**/*') if f.is_file()]

Desde o Python 3.5, o globmódulo também oferece suporte à localização de arquivos recursivos:

import os
from glob import iglob

rootdir_glob = 'C:/Users/sid/Desktop/test/**/*' # Note the added asterisks
# This will return absolute paths
file_list = [f for f in iglob('**/*', recursive=True) if os.path.isfile(f)]

A file_listpartir de qualquer uma das abordagens acima pode ser iterada sem a necessidade de um loop aninhado:

for f in file_list:
    print(f) # Replace with desired operations

A partir de 2020 , glob.iglob(path/**, recursive=True)parece a solução mais pitônica , ou seja:

import glob, os

for filename in glob.iglob('/pardadox-music/**', recursive=True):
    if os.path.isfile(filename): # filter dirs
        print(filename)

Resultado:

/pardadox-music/modules/her1.mod
/pardadox-music/modules/her2.mod
...

Notas:
1 - glob.iglob

glob.iglob(pathname, recursive=False)

Retorne um iterador que produz os mesmos valores que glob()sem realmente armazená-los todos simultaneamente.

2 - Se recursivo for True, o padrão '**'corresponderá a todos os arquivos e zero ou mais directoriese subdirectories.

3 - Se o diretório contiver arquivos começando com,  .eles não serão correspondidos por padrão. Por exemplo, considere um diretório que contém  card.gif e .card.gif:

>>> import glob
>>> glob.glob('*.gif') ['card.gif'] 
>>> glob.glob('.c*')['.card.gif']

4 - Você também pode usar rglob(pattern), que é o mesmo que chamar  glob() com **/adicionado na frente do padrão relativo fornecido.