Concatenando duas listas - diferença entre '+ =' e extend ()

Eu vi que existem duas maneiras (talvez mais) de concatenar listas no Python: Uma maneira é usar o método extend ():

a = [1, 2]
b = [2, 3]
b.extend(a)

o outro para usar o operador mais (+):

b += a

Agora, eu me pergunto: Qual dessas duas opções é a maneira 'pitônica' de concatenação de listas e existe uma diferença entre as duas (procurei o tutorial oficial do Python, mas não consegui encontrar nada sobre esse tópico).

A única diferença no nível de bytecode é que o .extendcaminho envolve uma chamada de função, que é um pouco mais cara no Python do que no INPLACE_ADD.

Você realmente não deve se preocupar com nada, a menos que esteja executando esta operação bilhões de vezes. É provável, no entanto, que o gargalo esteja em outro lugar.

Você não pode usar + = para variável não local (variável que não é local para a função e também não é global)

def main():
    l = [1, 2, 3]

    def foo():
        l.extend([4])

    def boo():
        l += [5]

    foo()
    print l
    boo()  # this will fail

main()

É porque, para o caso de extensão , o compilador carregará a variável lusando a LOAD_DEREFinstrução, mas para + = ele usará LOAD_FAST- e você obtém*UnboundLocalError: local variable 'l' referenced before assignment*

Você pode encadear chamadas de função, mas não pode + = uma chamada de função diretamente:

class A:
    def __init__(self):
        self.listFoo = [1, 2]
        self.listBar = [3, 4]

    def get_list(self, which):
        if which == "Foo":
            return self.listFoo
        return self.listBar

a = A()
other_list = [5, 6]

a.get_list("Foo").extend(other_list)
a.get_list("Foo") += other_list  #SyntaxError: can't assign to function call

Eu diria que há alguma diferença quando se trata de numpy (acabei de ver que a pergunta é sobre concatenar duas listas, não numpy array, mas como pode ser um problema para iniciantes, como eu, espero que isso ajude alguém que buscam a solução para este post), por ex.

import numpy as np
a = np.zeros((4,4,4))
b = []
b += a

retornará com erro

ValueError: os operandos não puderam ser transmitidos junto com as formas (0,) (4,4,4)

b.extend(a) funciona perfeitamente

Do código fonte do CPython 3.5.2 : Não há grande diferença.

static PyObject *
list_inplace_concat(PyListObject *self, PyObject *other)
{
    PyObject *result;

    result = listextend(self, other);
    if (result == NULL)
        return result;
    Py_DECREF(result);
    Py_INCREF(self);
    return (PyObject *)self;
}

extend () funciona com qualquer iterável *, + = funciona com alguns, mas pode ficar estranho.

import numpy as np

l = [2, 3, 4]
t = (5, 6, 7)
l += t
l
[2, 3, 4, 5, 6, 7]

l = [2, 3, 4]
t = np.array((5, 6, 7))
l += t
l
array([ 7,  9, 11])

l = [2, 3, 4]
t = np.array((5, 6, 7))
l.extend(t)
l
[2, 3, 4, 5, 6, 7]

Python 3.6
* com certeza .extend () funciona com qualquer iterável, mas comente se estiver incorreto

Na verdade, existem diferenças entre as três opções: ADD, INPLACE_ADDe extend. O primeiro é sempre mais lento, enquanto os outros dois são aproximadamente os mesmos.

Com essas informações, prefiro usar o extendque é mais rápido do que ADDe me parece mais explícito do que você está fazendo INPLACE_ADD.

Tente o seguinte código algumas vezes (para Python 3):

import time

def test():
    x = list(range(10000000))
    y = list(range(10000000))
    z = list(range(10000000))

    # INPLACE_ADD
    t0 = time.process_time()
    z += x
    t_inplace_add = time.process_time() - t0

    # ADD
    t0 = time.process_time()
    w = x + y
    t_add = time.process_time() - t0

    # Extend
    t0 = time.process_time()
    x.extend(y)
    t_extend = time.process_time() - t0

    print('ADD {} s'.format(t_add))
    print('INPLACE_ADD {} s'.format(t_inplace_add))
    print('extend {} s'.format(t_extend))
    print()

for i in range(10):
    test()

ADD 0.3540440000000018 s
INPLACE_ADD 0.10896000000000328 s
extend 0.08370399999999734 s

ADD 0.2024550000000005 s
INPLACE_ADD 0.0972940000000051 s
extend 0.09610200000000191 s

ADD 0.1680199999999985 s
INPLACE_ADD 0.08162199999999586 s
extend 0.0815160000000077 s

ADD 0.16708400000000267 s
INPLACE_ADD 0.0797719999999913 s
extend 0.0801490000000058 s

ADD 0.1681250000000034 s
INPLACE_ADD 0.08324399999999343 s
extend 0.08062700000000689 s

ADD 0.1707760000000036 s
INPLACE_ADD 0.08071900000000198 s
extend 0.09226200000000517 s

ADD 0.1668420000000026 s
INPLACE_ADD 0.08047300000001201 s
extend 0.0848089999999928 s

ADD 0.16659500000000094 s
INPLACE_ADD 0.08019399999999166 s
extend 0.07981599999999389 s

ADD 0.1710910000000041 s
INPLACE_ADD 0.0783479999999912 s
extend 0.07987599999999873 s

ADD 0.16435900000000458 s
INPLACE_ADD 0.08131200000001115 s
extend 0.0818660000000051 s

Eu procurei o tutorial oficial do Python, mas não consegui encontrar nada sobre este tópico

Esta informação está oculta nas Perguntas frequentes sobre programação :

... para listas, __iadd__[ie +=] é equivalente a entrar extendna lista e retornar a lista. É por isso que dizemos que, para listas, +=é uma "abreviação" paralist.extend

Você também pode ver isso no código fonte do CPython: https://github.com/python/cpython/blob/v3.8.2/Objects/listobject.c#L1000-L1011

De acordo com o Python para análise de dados.

“Observe que a concatenação da lista por adição é uma operação relativamente cara, pois uma nova lista deve ser criada e os objetos copiados. Geralmente, é preferível usar o estender para anexar elementos a uma lista existente, especialmente se você estiver criando uma lista grande. " Portanto,

everything = []
for chunk in list_of_lists:
    everything.extend(chunk)

é mais rápido que a alternativa concatenativa:

everything = []
for chunk in list_of_lists:
    everything = everything + chunk