Python, Unicode e o console do Windows

Quando tento imprimir uma seqüência de caracteres Unicode em um console do Windows, recebo um UnicodeEncodeError: 'charmap' codec can't encode character ....erro. Suponho que isso ocorre porque o console do Windows não aceita caracteres somente Unicode. Qual é a melhor maneira de contornar isso? Existe alguma maneira de fazer o Python imprimir automaticamente um em ?vez de falhar nessa situação?

Edit: Estou usando o Python 2.5.

Nota: a resposta @ LasseV.Karlsen com a marca de seleção está desatualizada (a partir de 2008). Por favor, use as soluções / respostas / sugestões abaixo com cuidado !!

A resposta @JFSebastian é mais relevante a partir de hoje (6 de janeiro de 2016).

Nota: Esta resposta está desatualizada (a partir de 2008). Por favor, use a solução abaixo com cuidado !!

Aqui está uma página que detalha o problema e uma solução (procure na página o texto Encapsulando sys.stdout em uma instância ):

PrintFails - Python Wiki

Aqui está um trecho de código dessa página:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Há mais informações nessa página, vale a pena ler.

Atualização: Python 3.6 implementa PEP 528: Altere a codificação do console do Windows para UTF-8 : o console padrão no Windows agora aceitará todos os caracteres Unicode. Internamente, ele usa a mesma API Unicode que o win-unicode-consolepacote mencionado abaixo . print(unicode_string)deve funcionar agora.

Eu recebo um UnicodeEncodeError: 'charmap' codec can't encode character... erro.

O erro significa que os caracteres Unicode que você está tentando imprimir não podem ser representados usando a chcpcodificação de caracteres do console atual ( ). A página de código geralmente é uma codificação de 8 bits, cp437que pode representar apenas ~ 0x100 caracteres a partir de ~ 1M caracteres Unicode:

>>> u "\ N {EURO SIGN}". encode ('cp437')
Traceback (última chamada mais recente):
...
UnicodeEncodeError: o codec 'charmap' não pode codificar o caractere '\ u20ac' na posição 0:
mapas de caracteres para 

Suponho que isso ocorre porque o console do Windows não aceita caracteres somente Unicode. Qual é a melhor maneira de contornar isso?

O console do Windows aceita caracteres Unicode e pode até exibi-los (somente BMP) se a fonte correspondente estiver configurada . WriteConsoleW()A API deve ser usada conforme sugerido na resposta de @Daira Hopwood . Pode ser chamado de forma transparente, ou seja, você não precisa e não deve modificar seus scripts se usar o win-unicode-consolepacote :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Veja Qual é o problema do Python 3.4, Unicode, diferentes idiomas e Windows?

Existe alguma maneira de fazer o Python imprimir automaticamente um em ?vez de falhar nessa situação?

Se for suficiente substituir todos os caracteres não codificáveis ​​por ?no seu caso, você poderá definir PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

No Python 3.6+, a codificação especificada por PYTHONIOENCODINGenvvar é ignorada para buffers de console interativos, a menos que PYTHONLEGACYWINDOWSIOENCODINGenvvar seja definido como uma seqüência de caracteres não vazia.

Apesar das outras respostas plausíveis que sugerem alterar a página de códigos para 65001, isso não funciona . (Além disso, alterar a codificação padrão usando nãosys.setdefaultencoding é uma boa ideia .)

Veja esta pergunta para detalhes e código que funciona.

Se você não está interessado em obter uma representação confiável do (s) caractere (s) incorreto (s), use algo assim (trabalhando com python> = 2.6, incluindo 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Os caracteres incorretos na string serão convertidos em uma representação que pode ser impressa pelo console do Windows.

O código abaixo fará a saída do Python para o console como UTF-8, mesmo no Windows.

O console exibirá os caracteres bem no Windows 7, mas no Windows XP não os exibirá bem, mas pelo menos funcionará e o mais importante: você terá uma saída consistente do seu script em todas as plataformas. Você poderá redirecionar a saída para um arquivo.

O código abaixo foi testado com o Python 2.6 no Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Basta digitar este código na linha de comando antes de executar o script python:

chcp 65001 & set PYTHONIOENCODING=utf-8

Como a resposta de Giampaolo Rodolà, mas ainda mais suja: eu realmente pretendo passar muito tempo (em breve) compreendendo todo o assunto das codificações e como elas se aplicam aos consoles Windoze,

No momento, eu só queria o sthg, o que significaria que o meu programa não iria entrar em colapso e o que eu entendi ... e também que não envolvia a importação de muitos módulos exóticos (em particular eu estou usando o Jython, na metade do tempo um Python acaba por não estar disponível).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

NB "pr" é mais curto para digitar do que "print" (e um pouco mais curto para digitar que "safeprint") ...!

Para o Python 2, tente:

print unicode(string, 'unicode-escape')

Para o Python 3, tente:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Ou tente win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Eu me deparei com isso sozinho, trabalhando em um bot do Twitch chat (IRC). (Python 2.7 mais recente)

Eu queria analisar as mensagens de bate-papo para responder ...

msg = s.recv(1024).decode("utf-8")

mas também imprima-os com segurança no console em um formato legível por humanos:

print(msg.encode('ascii','replace'));

Isso corrigiu o problema dos UnicodeEncodeError: 'charmap'erros de lançamento do bot e substituiu os caracteres unicode por ?.

A causa do seu problema NÃO é o console do Win que não está disposto a aceitar Unicode (como faz isso desde que eu acho que o Win2k por padrão). É a codificação padrão do sistema. Experimente este código e veja o que ele oferece:

import sys
sys.getdefaultencoding()

se ele diz ascii, aí está sua causa ;-) Você precisa criar um arquivo chamado sitecustomize.py e colocá-lo no caminho do python (eu o coloco em /usr/lib/python2.5/site-packages, mas isso é diferente em Win - é c: \ python \ lib \ site-packages ou algo assim), com o seguinte conteúdo:

import sys
sys.setdefaultencoding('utf-8')

e talvez você também queira especificar a codificação em seus arquivos:

# -*- coding: UTF-8 -*-
import sys,time

Edit: mais informações podem ser encontradas no excelente livro Dive into Python

Tipo de parente na resposta de JF Sebastian, mas mais direto.

Se você estiver tendo esse problema ao imprimir no console / terminal, faça o seguinte:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: Há várias maneiras de iniciar um python: você pode usar o console python (que possui um logotipo python) ou o console do windows (está escrito cmd.exe).

Não consegui imprimir caracteres utf8 no console do Windows. A impressão de caracteres utf-8 me gera este erro:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Depois de tentar e não entender a resposta acima, descobri que era apenas um problema de configuração. Clique com o botão direito do mouse na parte superior das janelas do console do cmd e, na guia, fontescolha lucida console.

James Sulak perguntou:

Existe alguma maneira de fazer o Python imprimir automaticamente um? em vez de falhar nesta situação?

Outras soluções recomendam que tentemos modificar o ambiente do Windows ou substituir a print()função do Python . A resposta abaixo se aproxima mais do cumprimento da solicitação de Sulak.

No Windows 7, o Python 3.5 pode ser criado para imprimir Unicode sem gerar a UnicodeEncodeErrorseguinte:

    No lugar de:     print(text)
    substitute:     print(str(text).encode('utf-8'))

Em vez de lançar uma exceção, o Python agora exibe caracteres Unicode não imprimíveis como códigos hexadecimais \ xNN , por exemplo:

  \ N \ xe2 \ x80 \ x99 \ xc3 \ xa9tait mais do que hal \ xe2 \ x80 \ x99un point noir

Ao invés de

  Halmalo n'était plus qu'un point noir

É verdade que o último é preferível ceteris paribus , mas, caso contrário, o primeiro é completamente preciso para mensagens de diagnóstico. Como exibe Unicode como valores de bytes literais, o primeiro também pode ajudar no diagnóstico de problemas de codificação / decodificação.

Nota: A str()chamada acima é necessária porque, de outra forma, encode()faz com que o Python rejeite um caractere Unicode como uma tupla de números.