Módulo Python ElementTree: como ignorar o espaço para nome dos arquivos XML para localizar o elemento correspondente ao usar o método “find”, “findall”

Eu quero usar o método "findall" para localizar alguns elementos do arquivo xml de origem no módulo ElementTree.

No entanto, o arquivo xml de origem (test.xml) possui um espaço para nome. Eu truncar parte do arquivo xml como exemplo:

<?xml version="1.0" encoding="iso-8859-1"?>
<XML_HEADER xmlns="http://www.test.com">
    <TYPE>Updates</TYPE>
    <DATE>9/26/2012 10:30:34 AM</DATE>
    <COPYRIGHT_NOTICE>All Rights Reserved.</COPYRIGHT_NOTICE>
    <LICENSE>newlicense.htm</LICENSE>
    <DEAL_LEVEL>
        <PAID_OFF>N</PAID_OFF>
        </DEAL_LEVEL>
</XML_HEADER>

O exemplo de código python está abaixo:

from xml.etree import ElementTree as ET
tree = ET.parse(r"test.xml")
el1 = tree.findall("DEAL_LEVEL/PAID_OFF") # Return None
el2 = tree.findall("{http://www.test.com}DEAL_LEVEL/{http://www.test.com}PAID_OFF") # Return <Element '{http://www.test.com}DEAL_LEVEL/PAID_OFF' at 0xb78b90>

Embora possa funcionar, porque existe um espaço para nome "{http://www.test.com}", é muito inconveniente adicionar um espaço para nome na frente de cada tag.

Como posso ignorar o espaço para nome ao usar o método "find", "findall" e assim por diante?

Em vez de modificar o próprio documento XML, é melhor analisá-lo e modificar as tags no resultado. Dessa forma, você pode lidar com vários espaços para nome e aliases de espaço para nome:

from io import StringIO  # for Python 2 import from StringIO instead
import xml.etree.ElementTree as ET

# instead of ET.fromstring(xml)
it = ET.iterparse(StringIO(xml))
for _, el in it:
    prefix, has_namespace, postfix = el.tag.partition('}')
    if has_namespace:
        el.tag = postfix  # strip all namespaces
root = it.root

Isso se baseia na discussão aqui: http://bugs.python.org/issue18304

Atualização: em rpartition vez de partitiongarantir que você obtenha o nome da tag, postfixmesmo que não haja espaço para nome. Assim, você pode condensar:

for _, el in it:
    _, _, el.tag = el.tag.rpartition('}') # strip ns

Se você remover o atributo xmlns do xml antes de analisá-lo, não haverá um espaço para nome anexado a cada marca na árvore.

import re

xmlstring = re.sub(' xmlns="[^"]+"', '', xmlstring, count=1)

As respostas até agora colocam explicitamente o valor do espaço para nome no script. Para uma solução mais genérica, prefiro extrair o namespace do xml:

import re
def get_namespace(element):
  m = re.match('\{.*\}', element.tag)
  return m.group(0) if m else ''

E use-o no método find:

namespace = get_namespace(tree.getroot())
print tree.find('./{0}parent/{0}version'.format(namespace)).text

Aqui está uma extensão da resposta de nonagon, que também remove os namespaces dos atributos:

from StringIO import StringIO
import xml.etree.ElementTree as ET

# instead of ET.fromstring(xml)
it = ET.iterparse(StringIO(xml))
for _, el in it:
    if '}' in el.tag:
        el.tag = el.tag.split('}', 1)[1]  # strip all namespaces
    for at in list(el.attrib.keys()): # strip namespaces of attributes too
        if '}' in at:
            newat = at.split('}', 1)[1]
            el.attrib[newat] = el.attrib[at]
            del el.attrib[at]
root = it.root

UPDATE: adicionado list()para que o iterador funcione (necessário para o Python 3)

Melhorando a resposta de ericspod:

Em vez de alterar o modo de análise globalmente, podemos agrupar isso em um objeto que suporta a construção with.

from xml.parsers import expat

class DisableXmlNamespaces:
    def __enter__(self):
            self.oldcreate = expat.ParserCreate
            expat.ParserCreate = lambda encoding, sep: self.oldcreate(encoding, None)
    def __exit__(self, type, value, traceback):
            expat.ParserCreate = self.oldcreate

Isso pode ser usado da seguinte maneira

import xml.etree.ElementTree as ET
with DisableXmlNamespaces():
     tree = ET.parse("test.xml")

A vantagem dessa maneira é que ela não altera nenhum comportamento para código não relacionado fora do bloco with. Acabei criando isso depois de obter erros em bibliotecas não relacionadas depois de usar a versão ericspod, que também utilizava expat.

Você também pode usar a construção elegante de formatação de string:

ns='http://www.test.com'
el2 = tree.findall("{%s}DEAL_LEVEL/{%s}PAID_OFF" %(ns,ns))

ou, se tiver certeza de que PAID_OFF aparece apenas em um nível na árvore:

el2 = tree.findall(".//{%s}PAID_OFF" % ns)

Se você estiver usando ElementTreee não, cElementTreepoderá forçar o Expat a ignorar o processamento do espaço para nome substituindo ParserCreate():

from xml.parsers import expat
oldcreate = expat.ParserCreate
expat.ParserCreate = lambda encoding, sep: oldcreate(encoding, None)

ElementTreetenta usar o Expat chamando, ParserCreate()mas não fornece opção para não fornecer uma cadeia separadora de namespace; o código acima fará com que seja ignorado, mas avise que isso pode quebrar outras coisas.

Eu posso estar atrasado para isso, mas eu não acho re.sub seja uma boa solução.

No entanto, a reescrita xml.parsers.expat não funciona nas versões do Python 3.x,

O principal culpado é a xml/etree/ElementTree.pyparte inferior do código fonte

# Import the C accelerators
try:
    # Element is going to be shadowed by the C implementation. We need to keep
    # the Python version of it accessible for some "creative" by external code
    # (see tests)
    _Element_Py = Element

    # Element, SubElement, ParseError, TreeBuilder, XMLParser
    from _elementtree import *
except ImportError:
    pass

O que é meio triste.

A solução é se livrar dele primeiro.

import _elementtree
try:
    del _elementtree.XMLParser
except AttributeError:
    # in case deleted twice
    pass
else:
    from xml.parsers import expat  # NOQA: F811
    oldcreate = expat.ParserCreate
    expat.ParserCreate = lambda encoding, sep: oldcreate(encoding, None)

Testado em Python 3.6.

Experimentar try instrução é útil caso, em algum lugar do seu código, você recarregue ou importe um módulo duas vezes e receba erros estranhos, como

• profundidade de recursão máxima excedida
• AttributeError: XMLParser

btw caramba o código fonte etree parece realmente confuso.

Vamos combinar a resposta de nonagon com a resposta de mzjn para uma pergunta relacionada :

def parse_xml(xml_path: Path) -> Tuple[ET.Element, Dict[str, str]]:
    xml_iter = ET.iterparse(xml_path, events=["start-ns"])
    xml_namespaces = dict(prefix_namespace_pair for _, prefix_namespace_pair in xml_iter)
    return xml_iter.root, xml_namespaces

Usando esta função, nós:

1. Crie um iterador para obter os espaços para nome e um objeto de árvore analisada .

2. Faça uma iteração sobre o iterador criado para obter os ditames dos namespaces que podemos passar posteriormente em cada um find()ou findall()chamar conforme sugerido pelo iMom0 .

3. Retorne o objeto do elemento raiz e os espaços para nome da árvore analisada.

Eu acho que essa é a melhor abordagem geral, já que não há manipulação de um XML de origem ou resultado analisado xml.etree.ElementTree saída .

Eu também gostaria de creditar a resposta de Barny por fornecer uma peça essencial desse quebra-cabeça (que você pode obter a raiz analisada do iterador). Até que eu realmente percorri a árvore XML duas vezes no meu aplicativo (uma vez para obter namespaces, o segundo para uma raiz).