Postando uma resposta a pedido dos comentaristas sobre a minha resposta a uma pergunta semelhante em que a mesma técnica foi usada para alterar a última linha de um arquivo, não apenas obtê-la.
Para um arquivo de tamanho significativo, mmap
é a melhor maneira de fazer isso. Para melhorar a mmap
resposta existente , esta versão é portátil entre Windows e Linux e deve ser executada mais rapidamente (embora não funcione sem algumas modificações no Python de 32 bits com arquivos na faixa de GB, consulte a outra resposta para obter dicas sobre como lidar com isso. e para modificar para trabalhar no Python 2 ).
import io # Gets consistent version of open for both Py2.7 and Py3.x
import itertools
import mmap
def skip_back_lines(mm, numlines, startidx):
'''Factored out to simplify handling of n and offset'''
for _ in itertools.repeat(None, numlines):
startidx = mm.rfind(b'\n', 0, startidx)
if startidx < 0:
break
return startidx
def tail(f, n, offset=0):
# Reopen file in binary mode
with io.open(f.name, 'rb') as binf, mmap.mmap(binf.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# len(mm) - 1 handles files ending w/newline by getting the prior line
startofline = skip_back_lines(mm, offset, len(mm) - 1)
if startofline < 0:
return [] # Offset lines consumed whole file, nothing to return
# If using a generator function (yield-ing, see below),
# this should be a plain return, no empty list
endoflines = startofline + 1 # Slice end to omit offset lines
# Find start of lines to capture (add 1 to move from newline to beginning of following line)
startofline = skip_back_lines(mm, n, startofline) + 1
# Passing True to splitlines makes it return the list of lines without
# removing the trailing newline (if any), so list mimics f.readlines()
return mm[startofline:endoflines].splitlines(True)
# If Windows style \r\n newlines need to be normalized to \n, and input
# is ASCII compatible, can normalize newlines with:
# return mm[startofline:endoflines].replace(os.linesep.encode('ascii'), b'\n').splitlines(True)
Isso pressupõe que o número de linhas atadas seja pequeno o suficiente para que você possa lê-las na memória com segurança de uma só vez; você também pode fazer disso uma função de gerador e ler manualmente uma linha de cada vez, substituindo a linha final por:
mm.seek(startofline)
# Call mm.readline n times, or until EOF, whichever comes first
# Python 3.2 and earlier:
for line in itertools.islice(iter(mm.readline, b''), n):
yield line
# 3.3+:
yield from itertools.islice(iter(mm.readline, b''), n)
Por fim, isso é lido no modo binário (necessário usar mmap
) para str
fornecer linhas (Py2) e bytes
linhas (Py3); se você quiser unicode
(Py2) ou str
(Py3), a abordagem iterativa pode ser aprimorada para decodificar e / ou corrigir novas linhas:
lines = itertools.islice(iter(mm.readline, b''), n)
if f.encoding: # Decode if the passed file was opened with a specific encoding
lines = (line.decode(f.encoding) for line in lines)
if 'b' not in f.mode: # Fix line breaks if passed file opened in text mode
lines = (line.replace(os.linesep, '\n') for line in lines)
# Python 3.2 and earlier:
for line in lines:
yield line
# 3.3+:
yield from lines
Nota: digitei tudo isso em uma máquina na qual não tenho acesso ao Python para testar. Por favor, deixe-me saber se eu digitei alguma coisa; isso foi semelhante o suficiente à minha outra resposta e acho que deve funcionar, mas os ajustes (por exemplo, lidar com um offset
) podem levar a erros sutis. Por favor, deixe-me saber nos comentários se houver algum erro.
seek(0,2)
entãotell()
) e use esse valor para procurar em relação ao início.