_csv.Error: campo maior que o limite do campo (131072)

Eu tenho um script lendo em um arquivo csv com campos muito grandes:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

No entanto, isso gera o seguinte erro em alguns arquivos csv:

_csv.Error: field larger than field limit (131072)

Como posso analisar arquivos csv com campos enormes? Ignorar as linhas com campos enormes não é uma opção, pois os dados precisam ser analisados ​​nas etapas subsequentes.

O arquivo csv pode conter campos muito grandes, portanto, aumente o field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizefunciona para Python 2.xe 3.x. sys.maxintfuncionaria apenas com o Python 2.x ( SO: what-is-sys-maxint-in-python-3 )

Atualizar

Como Geoff apontou, o código acima pode resultar no seguinte erro: OverflowError: Python int too large to convert to C long. Para contornar isso, você pode usar o seguinte código rápido e sujo (que deve funcionar em todos os sistemas com Python 2 e Python 3):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Isso pode ocorrer porque seu arquivo CSV incorporou aspas simples ou duplas. Se o seu arquivo CSV estiver delimitado por tabulação, tente abri-lo como:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Abaixo está para verificar o limite atual

csv.field_size_limit()

Fora [20]: 131072

Abaixo está para aumentar o limite. Adicione-o ao código

csv.field_size_limit(100000000)

Tente verificar o limite novamente

csv.field_size_limit()

Fora [22]: 100000000

Agora você não receberá o erro "_csv.Error: campo maior que o limite do campo (131072)"

tamanhos de campo csv são controlados via [Python 3.Docs]: csv. field_size_limit ( [new_limit] ) :

Retorna o tamanho máximo atual do campo permitido pelo analisador. Se new_limit for fornecido, esse se tornará o novo limite.

É definido por padrão como 128k ou 0x20000 ( 131072 ), o que deve ser suficiente para qualquer arquivo .csv decente :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

No entanto, ao lidar com um arquivo .csv ( com a citação e o delimitador corretos ) com (pelo menos) um campo maior que esse tamanho, o erro é exibido.
Para se livrar do erro, o limite de tamanho deve ser aumentado (para evitar preocupações, é tentado o valor máximo possível).

Nos bastidores (verifique [GitHub]: python / cpython - (mestre) cpython / Modules / _csv.c para obter detalhes da implementação), a variável que mantém esse valor é um C longo ( [Wikipedia]: tipos de dados C ), cujo tamanho varia de acordo com a arquitetura da CPU e do SO ( I L P ). A diferença clássica: para um sistema operacional de 64 bits ( compilação Python ), o tamanho do tipo longo ( em bits ) é:

• Nix : 64
• Vitória : 32

Ao tentar defini-lo, o novo valor é verificado para estar nos limites longos , por isso, em alguns casos, outra exceção aparece (esse caso é comum no Win ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Para evitar esse problema, defina o limite (máximo possível) ( LONG_MAX ) usando um artifício (graças a [Python 3.Docs]: ctypes - Uma biblioteca de funções estrangeira para Python ). Ele deve funcionar no Python 3 e Python 2 , em qualquer CPU / OS .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

Python de 64 bits em um Nix como sistema operacional :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Para Python de 32 bits , as coisas são uniformes: é o comportamento encontrado no Win .

Verifique os seguintes recursos para obter mais detalhes sobre:

• Brincando com os limites dos tipos C do Python : [SO]: valor máximo e mínimo dos números inteiros dos tipos C do Python (resposta de @ CristiFati)
• Diferenças entre Python de 32 bits e 64 bits : [SO]: Como determino se meu shell python está sendo executado no modo de 32 bits ou 64 bits no OS X? (Resposta de CristiFati)

Acabei de acontecer comigo em um arquivo CSV 'simples'. Algumas pessoas podem chamá-lo de um arquivo formatado inválido. Sem caracteres de escape, sem aspas duplas e delimitadores era um ponto e vírgula.

Uma linha de amostra desse arquivo ficaria assim:

Primeira célula; Segunda "célula com aspas duplas e espaço à esquerda; célula 'parcialmente citada'; última célula

a citação simples na segunda célula jogaria o analisador de seus trilhos. O que funcionou foi:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Às vezes, uma linha contém coluna de aspas duplas. Quando o leitor csv tenta ler esta linha, não entende o final da coluna e dispara esse aumento. A solução está abaixo:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Você pode usar read_csvfrom pandaspara pular essas linhas.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Localize o arquivo cqlshrc geralmente colocado no diretório .cassandra.

Nesse arquivo anexado,

[csv]
field_size_limit = 1000000000