Arquivos de texto concatenados em Python

Eu tenho uma lista de 20 nomes de arquivos, como ['file1.txt', 'file2.txt', ...]. Eu quero escrever um script Python para concatenar esses arquivos em um novo arquivo. Eu poderia abrir cada arquivo f = open(...), ler linha por linha chamando f.readline()e escrever cada linha nesse novo arquivo. Não me parece muito "elegante", especialmente a parte em que tenho que ler // escrever linha por linha.

Existe uma maneira mais "elegante" de fazer isso no Python?

Isso deve servir

Para arquivos grandes:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Para arquivos pequenos:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

... e outro interessante que eu pensei :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Infelizmente, esse último método deixa alguns descritores de arquivos abertos, dos quais o GC deve cuidar de qualquer maneira. Eu só pensei que isso era interessante

Use shutil.copyfileobj.

Ele lê automaticamente os arquivos de entrada pedaço por pedaço para você, o que é mais eficiente e a leitura dos arquivos de entrada e funcionará mesmo que alguns arquivos de entrada sejam muito grandes para caber na memória:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

É exatamente para isso que serve o fileinput :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Para este caso de uso, não é realmente muito mais simples do que apenas repetir os arquivos manualmente, mas em outros casos, é muito útil ter um único iterador que itere sobre todos os arquivos como se fossem um único arquivo. (Além disso, o fato de que fileinputfecha cada arquivo assim que ele é feito significa que não há necessidade de withou closecada um, mas isso é apenas uma poupança de uma linha, não que grande de um negócio.)

Existem outros recursos interessantes fileinput, como a capacidade de fazer modificações no local dos arquivos apenas filtrando cada linha.

Conforme observado nos comentários e discutido em outro post , o fileinputPython 2.7 não funcionará como indicado. Aqui, uma pequena modificação para tornar o código compatível com Python 2.7

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Eu não sei sobre elegância, mas isso funciona:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

O que há de errado com os comandos UNIX? (considerando que você não está trabalhando no Windows):

ls | xargs cat | tee output.txt faz o trabalho (você pode chamá-lo de python com subprocesso, se quiser)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Uma referência simples mostra que o obturador tem um desempenho melhor.

Uma alternativa à resposta do @ inspectorG4dget (melhor resposta até a data 29-03-2016). Eu testei com 3 arquivos de 436MB.

@ inspectorG4dget solução: 162 segundos

A seguinte solução: 125 segundos

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

A idéia é criar um arquivo em lote e executá-lo, aproveitando a "velha boa tecnologia". É semi-python, mas funciona mais rápido. Funciona para janelas.

Se você tiver muitos arquivos no diretório, glob2poderá ser uma opção melhor para gerar uma lista de nomes de arquivos em vez de escrevê-los manualmente.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Confira o método .read () do objeto File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Você poderia fazer algo como:

concat = ""
for file in files:
    concat += open(file).read()

ou uma maneira python mais 'elegante':

concat = ''.join([open(f).read() for f in files])

que, de acordo com este artigo: http://www.skymind.com/~ocrow/python_string/ , também seria o mais rápido.

Se os arquivos não forem gigantescos:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Se os arquivos forem grandes demais para serem totalmente lidos e mantidos na RAM, o algoritmo deverá ser um pouco diferente para ler cada arquivo a ser copiado em um loop por pedaços de comprimento fixo, usando, read(10000)por exemplo.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)