Retornar uma lista de apply
é uma operação perigosa, pois não é garantido que o objeto resultante seja uma Série ou um DataFrame. E exceções podem ser levantadas em certos casos. Vamos percorrer um exemplo simples:
df = pd.DataFrame(data=np.random.randint(0, 5, (5,3)),
columns=['a', 'b', 'c'])
df
a b c
0 4 0 0
1 2 0 1
2 2 2 2
3 1 2 2
4 3 0 0
Existem três resultados possíveis com o retorno de uma lista de apply
1) Se o comprimento da lista retornada não for igual ao número de colunas, uma Série de listas será retornada.
df.apply(lambda x: list(range(2)), axis=1) # returns a Series
0 [0, 1]
1 [0, 1]
2 [0, 1]
3 [0, 1]
4 [0, 1]
dtype: object
2) Quando o comprimento da lista retornada é igual ao número de colunas, um DataFrame é retornado e cada coluna obtém o valor correspondente na lista.
df.apply(lambda x: list(range(3)), axis=1) # returns a DataFrame
a b c
0 0 1 2
1 0 1 2
2 0 1 2
3 0 1 2
4 0 1 2
3) Se o comprimento da lista retornada for igual ao número de colunas da primeira linha, mas tiver pelo menos uma linha em que a lista tenha um número diferente de elementos que o número de colunas, um ValueError será gerado.
i = 0
def f(x):
global i
if i == 0:
i += 1
return list(range(3))
return list(range(4))
df.apply(f, axis=1)
ValueError: Shape of passed values is (5, 4), indices imply (5, 3)
Respondendo ao problema sem aplicar
Usar apply
com o eixo = 1 é muito lento. É possível obter um desempenho muito melhor (especialmente em conjuntos de dados maiores) com métodos iterativos básicos.
Crie um quadro de dados maior
df1 = df.sample(100000, replace=True).reset_index(drop=True)
Horários
# apply is slow with axis=1
%timeit df1.apply(lambda x: mylist[x['col_1']: x['col_2']+1], axis=1)
2.59 s ± 76.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
# zip - similar to @Thomas
%timeit [mylist[v1:v2+1] for v1, v2 in zip(df1.col_1, df1.col_2)]
29.5 ms ± 534 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
@Thomas answer
%timeit list(map(get_sublist, df1['col_1'],df1['col_2']))
34 ms ± 459 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)