UnicodeDecodeError: o codec 'charmap' não pode decodificar o byte X na posição Y: mapeamentos de caracteres para <não definido>

Estou tentando obter um programa Python 3 para fazer algumas manipulações com um arquivo de texto preenchido com informações. No entanto, ao tentar ler o arquivo, recebo o seguinte erro:

 Traceback (most recent call last):  
     File "SCRIPT LOCATION", line NUMBER, in <module>  
     `text = file.read()`  
     File "C:\Python31\lib\encodings\cp1252.py", line 23, in decode  
     `return codecs.charmap_decode(input,self.errors,decoding_table)[0]`  
     UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 2907500: character maps to `<undefined>`  

O arquivo em questão não está usando a CP1252codificação. Está usando outra codificação. Qual você tem que descobrir por si mesmo. Os comuns são Latin-1e UTF-8. Como 0x90 na verdade não significa nada Latin-1, UTF-8(onde 0x90 é um byte de continuação) é mais provável.

Você especifica a codificação ao abrir o arquivo:

file = open(filename, encoding="utf8")

Só para adicionar no caso de file = open(filename, encoding="utf8")não funcionar tentefile = open(filename, errors='ignore')

Como uma extensão da resposta de @ LennartRegebro :

Se você não pode dizer qual codificação seu arquivo usa e a solução acima não funciona (não é utf8) e você se limitou a adivinhar - existem ferramentas on-line que você pode usar para identificar qual é a codificação. Eles não são perfeitos, mas geralmente funcionam muito bem. Depois de descobrir a codificação, você poderá usar a solução acima.

EDIT: (copiado do comentário)

Um editor de texto bastante popular Sublime Texttem um comando para exibir a codificação, se tiver sido definido ...

1. Vá para View-> Show Console(ou Ctrl+ `)

2. Digite o campo na parte inferior view.encoding()e espere o melhor (não consegui nada, Undefinedmas talvez você tenha mais sorte ...)

Como alternativa, se você não precisar decodificar o arquivo, como carregar o arquivo em um site open(filename, 'rb'),. r = leitura, b = binário

TLDR? Tentar:file = open(filename, encoding='cp437)

Por quê? Quando se usa:

file = open(filename)
text = file.read()

O Python assume que o arquivo usa a mesma página de código do ambiente atual (cp1252 no caso da postagem de abertura) e tenta decodificá-lo para seu próprio UTF-8 padrão. Se o arquivo contiver caracteres de valores não definidos nesta página de códigos (como 0x90), obteremos UnicodeDecodeError. Às vezes, não sabemos a codificação do arquivo, às vezes a codificação do arquivo pode não ser tratada pelo Python (como, por exemplo, o cp790), às vezes o arquivo pode conter codificações mistas.

Se esses caracteres não forem necessários, pode-se decidir substituí-los por pontos de interrogação, com:

file = open(filename, errors='replace')

Outra solução alternativa é usar:

file = open(filename, errors='ignore')

Os caracteres são deixados intactos, mas outros erros também serão ocultados.

A solução bastante boa é especificar a codificação, mas não nenhuma (como cp1252), mas aquela com TODOS os caracteres definidos (como cp437):

file = open(filename, encoding='cp437')

A página de código 437 é a codificação DOS original. Todos os códigos são definidos, portanto, não há erros durante a leitura do arquivo, nenhum erro é ocultado, os caracteres são preservados (não completamente intactos, mas ainda distinguíveis).

Para aqueles que trabalham no Anaconda no Windows, tive o mesmo problema. O Notepad ++ me ajuda a resolvê-lo.

Abra o arquivo no Notepad ++. No canto inferior direito, será exibida a codificação atual do arquivo. No menu superior, ao lado de "Exibir", localize "Codificação". Em "Codificação", vá para "conjuntos de caracteres" e lá, com paciência, procure o contexto que você precisa. No meu caso, a codificação "Windows-1252" foi encontrada em "Europa Ocidental"

Pare de desperdiçar seu tempo, basta adicionar o seguinte encoding="cp437"e errors='ignore'ao seu código em leitura e gravação:

open('filename.csv', encoding="cp437", errors='ignore')
open(file_name, 'w', newline='', encoding="cp437", errors='ignore')

Boa Sorte Vá com Deus

para mim, alterar o caractere Mysql da mesma forma que o meu código ajudou a resolver a solução. `photo = open ('pic3.png', codificação = latin1), texto forte