Python: Removendo \ xa0 da string?

Atualmente, estou usando a Beautiful Soup para analisar um arquivo HTML e chamar get_text(), mas parece que estou ficando com muitos \ xa0 Unicode representando espaços. Existe uma maneira eficiente de remover todos eles no Python 2.7 e transformá-los em espaços? Eu acho que a pergunta mais generalizada seria, existe uma maneira de remover a formatação Unicode?

Eu tentei usar line = line.replace(u'\xa0',' '):, como sugerido por outro thread, mas isso mudou os \ xa0 para u, então agora tenho "u" em todo lugar. ):

EDIT: O problema parece ter sido resolvido str.replace(u'\xa0', ' ').encode('utf-8'), mas apenas ficar .encode('utf-8')sem replace()parece causar caracteres ainda mais estranhos, \ xc2 por exemplo. Alguém pode explicar isso?

\ xa0 é realmente um espaço sem quebra no Latin1 (ISO 8859-1), também chr (160). Você deve substituí-lo por um espaço.

string = string.replace(u'\xa0', u' ')

Quando .encode ('utf-8'), ele codifica o unicode para utf-8, o que significa que cada unicode pode ser representado por 1 a 4 bytes. Nesse caso, \ xa0 é representado por 2 bytes \ xc2 \ xa0.

Leia em http://docs.python.org/howto/unicode.html .

Observação: nesta resposta, a partir de 2012, o Python seguiu em frente, você deve poder usar unicodedata.normalizeagora

Há muitas coisas úteis na unicodedatabiblioteca do Python . Um deles é a .normalize()função.

Experimentar:

new_str = unicodedata.normalize("NFKD", unicode_str)

Substituindo NFKD por qualquer um dos outros métodos listados no link acima, se você não obtiver os resultados que deseja.

Tente usar .strip () no final da sua linha line.strip()funcionou bem para mim

Depois de tentar vários métodos, para resumir, foi assim que eu fiz. A seguir, estão duas maneiras de evitar / remover caracteres \ xa0 da string HTML analisada.

Suponha que temos nosso html bruto da seguinte forma:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Então, vamos tentar limpar essa string HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

O código acima produz esses caracteres \ xa0 na cadeia de caracteres. Para removê-los corretamente, podemos usar duas maneiras.

Método 1 (recomendado): O primeiro é o método get_text da BeautifulSoup com o argumento strip como True. Portanto, nosso código se torna:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Método 2: A outra opção é usar a biblioteca unicodedata do python

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Também detalhei esses métodos neste blog que você pode consultar.

tente isto:

string.replace('\\xa0', ' ')

Corri para o mesmo problema, puxando alguns dados de um banco de dados sqlite3 com python. As respostas acima não funcionaram para mim (não sei por quê), mas funcionou: line = line.decode('ascii', 'ignore')No entanto, meu objetivo era excluir os \ xa0s, em vez de substituí-los por espaços.

Eu peguei isso neste tutorial unicode super útil de Ned Batchelder.

Acabo aqui pesquisando o problema com caracteres não imprimíveis. Eu uso o MySQL UTF-8 general_cie lido com a linguagem polonesa. Para cadeias problemáticas, tenho que proceder da seguinte maneira:

text=text.replace('\xc2\xa0', ' ')

É apenas uma solução rápida e você provavelmente deve tentar algo com a configuração de codificação correta.

Experimente este código

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) é 0xC2A0 em UTF-8. .encode('utf8')basta pegar seu Unicode 0xA0 e substituí-lo pelo 0xC2A0 da UTF-8. Daí a aparição de 0xC2s ... A codificação não está substituindo, como você provavelmente já percebeu agora.

É o equivalente a um caractere de espaço, então tire-o

print(string.strip()) # no more xa0

Em Beautiful Soup, você pode passar get_text()o parâmetro strip, que retira o espaço em branco do início e do final do texto. Isso removerá \xa0ou qualquer outro espaço em branco se ocorrer no início ou no final da string. Beautiful Soup substituiu uma string vazia por \xa0e isso resolveu o problema para mim.

mytext = soup.get_text(strip=True)

Versão genérica com a expressão regular (removerá todos os caracteres de controle):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

O Python o reconhece como um caractere de espaço, então você pode splitusá-lo sem argumentos e juntar-se por um espaço em branco normal:

line = ' '.join(line.split())