Configurando a codificação correta ao canalizar stdout em Python

Ao canalizar a saída de um programa Python, o interpretador Python fica confuso sobre a codificação e o define como Nenhum. Isso significa um programa como este:

# -*- coding: utf-8 -*-
print u"åäö"

funcionará bem quando executado normalmente, mas falhará com:

UnicodeEncodeError: o codec 'ascii' não pode codificar o caractere u '\ xa0' na posição 0: ordinal fora do intervalo (128)

quando usado em uma sequência de tubulação.

Qual é a melhor maneira de fazer isso funcionar na tubulação? Posso apenas dizer a ele para usar a codificação que seja o shell / sistema de arquivos / o que estiver usando?

As sugestões que eu vi até agora são modificar o site.py diretamente ou codificar a codificação padrão usando este hack:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print u"åäö"

Existe uma maneira melhor de fazer a tubulação funcionar?

Seu código funciona quando executado em um script porque o Python codifica a saída para qualquer codificação que seu aplicativo de terminal estiver usando. Se você estiver usando um encanamento, deverá codificá-lo.

Uma regra prática é: sempre use Unicode internamente. Decodifique o que você recebe e codifique o que você envia.

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Outro exemplo didático é um programa Python para converter entre ISO-8859-1 e UTF-8, tornando tudo maiúsculo.

import sys
for line in sys.stdin:
    # Decode what you receive:
    line = line.decode('iso8859-1')

    # Work with Unicode internally:
    line = line.upper()

    # Encode what you send:
    line = line.encode('utf-8')
    sys.stdout.write(line)

Definir a codificação padrão do sistema é uma má idéia, porque alguns módulos e bibliotecas que você usa podem confiar no fato de serem ASCII. Não faça isso.

Primeiro, com relação a esta solução:

# -*- coding: utf-8 -*-
print u"åäö".encode('utf-8')

Não é prático imprimir explicitamente com uma determinada codificação sempre. Isso seria repetitivo e propenso a erros.

Uma solução melhor é mudar sys.stdoutno início do seu programa, codificar com uma codificação selecionada. Aqui está uma solução que encontrei no Python: Como o sys.stdout.encoding é escolhido? , em particular um comentário de "toka":

import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)

Você pode tentar alterar a variável de ambiente "PYTHONIOENCODING" para "utf_8". Eu escrevi uma página no meu calvário com este problema .

Tl; dr da postagem do blog:

import sys, locale, os
print(sys.stdout.encoding)
print(sys.stdout.isatty())
print(locale.getpreferredencoding())
print(sys.getfilesystemencoding())
print(os.environ["PYTHONIOENCODING"])
print(chr(246), chr(9786), chr(9787))

da-te

utf_8
False
ANSI_X3.4-1968
ascii
utf_8
ö ☺ ☻

export PYTHONIOENCODING=utf-8

fazer o trabalho, mas não pode configurá-lo no próprio python ...

o que podemos fazer é verificar se não está definido e dizer ao usuário para defini-lo antes do script de chamada com:

if __name__ == '__main__':
    if (sys.stdout.encoding is None):
        print >> sys.stderr, "please set python env PYTHONIOENCODING=UTF-8, example: export PYTHONIOENCODING=UTF-8, when write to stdout."
        exit(1)

Atualize para responder ao comentário: o problema existe apenas ao passar para o stdout. Eu testei no Fedora 25 Python 2.7.13

python --version
Python 2.7.13

cat b.py

#!/usr/bin/env python
#-*- coding: utf-8 -*-
import sys

print sys.stdout.encoding

running ./b.py

UTF-8

executando ./b.py | Menos

None

Eu tive um problema semelhante na semana passada . Foi fácil de corrigir no meu IDE (PyCharm).

Aqui estava minha correção:

A partir da barra de menus do PyCharm: Arquivo -> Configurações ... -> Editor -> Codificações de arquivo e defina: "IDE Encoding", "Project Encoding" e "Project Encoding" e "Default codification for properties files" ALL para UTF-8 e agora ela funciona como um encanto.

Espero que isto ajude!

Uma versão higienizada discutível da resposta de Craig McQueen.

import sys, codecs
class EncodedOut:
    def __init__(self, enc):
        self.enc = enc
        self.stdout = sys.stdout
    def __enter__(self):
        if sys.stdout.encoding is None:
            w = codecs.getwriter(self.enc)
            sys.stdout = w(sys.stdout)
    def __exit__(self, exc_ty, exc_val, tb):
        sys.stdout = self.stdout

Uso:

with EncodedOut('utf-8'):
    print u'ÅÄÖåäö'

Eu poderia "automatizá-lo" chamando:

def __fix_io_encoding(last_resort_default='UTF-8'):
  import sys
  if [x for x in (sys.stdin,sys.stdout,sys.stderr) if x.encoding is None] :
      import os
      defEnc = None
      if defEnc is None :
        try:
          import locale
          defEnc = locale.getpreferredencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.getfilesystemencoding()
        except: pass
      if defEnc is None :
        try: defEnc = sys.stdin.encoding
        except: pass
      if defEnc is None :
        defEnc = last_resort_default
      os.environ['PYTHONIOENCODING'] = os.environ.get("PYTHONIOENCODING",defEnc)
      os.execvpe(sys.argv[0],sys.argv,os.environ)
__fix_io_encoding() ; del __fix_io_encoding

Sim, é possível obter um loop infinito aqui se esse "setenv" falhar.

Eu apenas pensei em mencionar algo aqui que eu tive que passar muito tempo experimentando antes de finalmente perceber o que estava acontecendo. Isso pode ser tão óbvio para todos aqui que eles nem se deram ao trabalho de mencioná-lo. Mas teria me ajudado se eles tivessem, então, nesse princípio ...!

NB: Estou usando o Jython especificamente, v 2.7, portanto, possivelmente isso pode não se aplicar ao CPython ...

NB2: as duas primeiras linhas do meu arquivo .py aqui são:

# -*- coding: utf-8 -*-
from __future__ import print_function

O mecanismo de construção de cadeia "%" (AKA "interpolation operator") também causa problemas ADICIONAIS ... Se a codificação padrão do "ambiente" for ASCII e você tentar fazer algo como

print( "bonjour, %s" % "fréd" )  # Call this "print A"

Você não terá dificuldade em executar no Eclipse ... Em uma CLI do Windows (janela do DOS), você encontrará que a codificação é a página de código 850 (meu sistema operacional Windows 7) ou algo semelhante, que pode manipular pelo menos caracteres acentuados europeus, por isso vou trabalhar.

print( u"bonjour, %s" % "fréd" ) # Call this "print B"

também irá funcionar.

Se, OTOH, você direcionar para um arquivo da CLI, a codificação stdout será None, que será padronizada como ASCII (no meu sistema operacional de qualquer maneira), que não poderá lidar com nenhuma das impressões acima ... (codificação temida erro).

Então, você pode pensar em redirecionar seu stdout usando

sys.stdout = codecs.getwriter('utf8')(sys.stdout)

e tente executar na tubulação da CLI para um arquivo ... Muito estranhamente, a impressão A acima funcionará ... Mas a impressão B acima gerará o erro de codificação! No entanto, o seguinte funcionará bem:

print( u"bonjour, " + "fréd" ) # Call this "print C"

A conclusão a que cheguei (provisoriamente) é que, se uma string especificada como Unicode usando o prefixo "u" for submetida ao mecanismo de% -handling, ela envolverá o uso da codificação de ambiente padrão, independentemente de se você configurou o stdout para redirecionar!

Como as pessoas lidam com isso é uma questão de escolha. Gostaria de receber um especialista em Unicode para dizer por que isso acontece, se de alguma forma eu entendi errado, qual a solução preferida para isso, se também se aplica ao CPython , se ocorre no Python 3, etc., etc.

Encontrei esse problema em um aplicativo herdado e era difícil identificar onde estava o conteúdo impresso. Eu me ajudei com esse hack:

# encoding_utf8.py
import codecs
import builtins


def print_utf8(text, **kwargs):
    print(str(text).encode('utf-8'), **kwargs)


def print_utf8(fn):
    def print_fn(*args, **kwargs):
        return fn(str(*args).encode('utf-8'), **kwargs)
    return print_fn


builtins.print = print_utf8(print)

No topo do meu script, test.py:

import encoding_utf8
string = 'Axwell Λ Ingrosso'
print(string)

Observe que isso altera TODAS as chamadas para impressão para usar uma codificação; portanto, seu console imprimirá o seguinte:

$ python test.py
b'Axwell \xce\x9b Ingrosso'

No Windows, tive esse problema com muita frequência ao executar um código Python a partir de um editor (como Sublime Text), mas não se o executasse na linha de comando.

Nesse caso, verifique os parâmetros do seu editor. No caso do SublimeText, isso Python.sublime-buildresolveu:

{
  "cmd": ["python", "-u", "$file"],
  "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)",
  "selector": "source.python",
  "encoding": "utf8",
  "env": {"PYTHONIOENCODING": "utf-8", "LANG": "en_US.UTF-8"}
}