Como posso remover caracteres não ASCII, mas deixar pontos e espaços usando Python?

Estou trabalhando com um arquivo .txt. Quero uma seqüência de caracteres do texto do arquivo sem caracteres não ASCII. No entanto, quero deixar espaços e pontos. No momento, estou tirando isso também. Aqui está o código:

def onlyascii(char):
    if ord(char) < 48 or ord(char) > 127: return ''
    else: return char

def get_my_string(file_path):
    f=open(file_path,'r')
    data=f.read()
    f.close()
    filtered_data=filter(onlyascii, data)
    filtered_data = filtered_data.lower()
    return filtered_data

Como devo modificar onlyascii () para deixar espaços e pontos? Imagino que não seja muito complicado, mas não consigo descobrir.

Você pode filtrar todos os caracteres da string que não podem ser impressos usando string.printable , assim:

>>> s = "some\x00string. with\x15 funny characters"
>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, s)
'somestring. with funny characters'

string.printable em minha máquina contém:

0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ
!"#$%&\'()*+,-./:;<=>?@[\\]^_`{|}~ \t\n\r\x0b\x0c

EDIT: No Python 3, o filtro retornará um iterável. A maneira correta de obter uma string de volta seria:

''.join(filter(lambda x: x in printable, s))

Uma maneira fácil de mudar para um codec diferente é usando encode () ou decode (). No seu caso, você deseja converter para ASCII e ignorar todos os símbolos que não são suportados. Por exemplo, a letra sueca å não é um caractere ASCII:

    >>>s = u'Good bye in Swedish is Hej d\xe5'
    >>>s = s.encode('ascii',errors='ignore')
    >>>print s
    Good bye in Swedish is Hej d

Editar:

Python3: str -> bytes -> str

>>>"Hej då".encode("ascii", errors="ignore").decode()
'hej d'

Python2: unicode -> str -> unicode

>>> u"hej då".encode("ascii", errors="ignore").decode()
u'hej d'

Python2: str -> unicode -> str (decodificar e codificar na ordem reversa)

>>> "hej d\xe5".decode("ascii", errors="ignore").encode()
'hej d'

De acordo com @artfulrobot, isso deve ser mais rápido do que filtrar e lambda:

re.sub(r'[^\x00-\x7f]',r'', your-non-ascii-string) 

Veja mais exemplos aqui http://stackoverflow.com/questions/20078816/replace-non-ascii-characters-with-a-single-space/20079244#20079244

Sua pergunta é ambígua; as duas primeiras sentenças juntas implicam que você acredita que espaço e "ponto" são caracteres não ASCII. Isso está incorreto. Todos os caracteres como ord (char) <= 127 são caracteres ASCII. Por exemplo, sua função exclui esses caracteres! "# $% & \ '() * +, -. / Mas inclui vários outros, por exemplo [] {}.

Por favor, dê um passo para trás, pense um pouco e edite sua pergunta para nos dizer o que você está tentando fazer, sem mencionar a palavra ASCII, e por que você acha que caracteres como ord (char)> = 128 são ignoráveis. Além disso: qual versão do Python? Qual é a codificação de seus dados de entrada?

Observe que seu código lê todo o arquivo de entrada como uma única string, e seu comentário ("ótima solução") para outra resposta implica que você não se preocupa com novas linhas em seus dados. Se o seu arquivo contém duas linhas como esta:

this is line 1
this is line 2

o resultado seria 'this is line 1this is line 2' ... é isso que você realmente quer?

Uma solução maior incluiria:

1. um nome melhor para a função de filtro do que onlyascii

2. reconhecimento de que uma função de filtro precisa apenas retornar um valor verdadeiro se o argumento for retido:

   def filter_func(char):
       return char == '\n' or 32 <= ord(char) <= 126
   # and later:
   filtered_data = filter(filter_func, data).lower()

Você pode usar o seguinte código para remover letras que não sejam do inglês:

import re
str = "123456790 ABC#%? .(朱惠英)"
result = re.sub(r'[^\x00-\x7f]',r'', str)
print(result)

Isso vai voltar

123456790 ABC #%? . ()

Se você quiser caracteres ascii imprimíveis, provavelmente deve corrigir seu código para:

if ord(char) < 32 or ord(char) > 126: return ''

isto é equivalente a string.printable(resposta de @jterrace), exceto pela ausência de retornos e tabulações ('\ t', '\ n', '\ x0b', '\ x0c' e '\ r'), mas não corresponde a o alcance da sua pergunta

Trabalhando meu caminho através do Fluent Python (Ramalho) - altamente recomendado. Liners de compreensão de lista inspirados no Capítulo 2:

onlyascii = ''.join([s for s in data if ord(s) < 127])
onlymatch = ''.join([s for s in data if s in
              'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'])