“For line in…” resulta em UnicodeDecodeError: o codec 'utf-8' não pode decodificar byte

Aqui está o meu código,

for line in open('u.item'):
#read each line

sempre que executo esse código, ocorre o seguinte erro:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte

Eu tentei resolver isso e adicionar um parâmetro extra em open (), o código parece;

for line in open('u.item', encoding='utf-8'):
#read each line

Mas, novamente, dá o mesmo erro. o que devo fazer então! Por favor ajude.

Conforme sugerido por Mark Ransom, encontrei a codificação correta para esse problema. A codificação era "ISO-8859-1", portanto, a substituição open("u.item", encoding="utf-8")por open('u.item', encoding = "ISO-8859-1")resolverá o problema.

Também funcionou para mim, a ISO 8859-1 vai economizar muito, hahaha, principalmente se estiver usando APIs de reconhecimento de fala

Exemplo:

file = open('../Resources/' + filename, 'r', encoding="ISO-8859-1");

Na verdade, seu arquivo não contém dados codificados utf-8, contém algumas outras codificações. Descubra o que é essa codificação e use-a na openchamada.

No Windows-1252, por exemplo, a codificação 0xe9seria o caractere é.

Tente ler isto usando pandas

pd.read_csv('u.item', sep='|', names=m_cols , encoding='latin-1')

Se você estiver usando Python 2o seguinte, a solução:

import io
for line in io.open("u.item", encoding="ISO-8859-1"):
    # do something

Como o encodingparâmetro não funciona open(), você receberá o seguinte erro:

TypeError: 'encoding' é um argumento de palavra-chave inválido para esta função

Você pode resolver o problema com:

for line in open(your_file_path, 'rb'):

'rb' está lendo o arquivo no modo binário. Leia mais aqui . Espero que isso ajude!

Isso funciona:

open('filename', encoding='latin-1')

ou:

open('filename',encoding="IS0-8859-1")

Se alguém procurá-los, este é um exemplo para converter um arquivo CSV no Python 3:

try:
    inputReader = csv.reader(open(argv[1], encoding='ISO-8859-1'), delimiter=',',quotechar='"')
except IOError:
    pass

Às vezes, quando open(filepath)em que na filepathverdade não é um arquivo, o mesmo erro ocorre; primeiro, verifique se o arquivo que você está tentando abrir existe:

import os
assert os.path.isfile(filepath)

espero que isso ajude.

você pode tentar desta maneira:

open('u.item', encoding='utf8', errors='ignore')