Eu tenho um dataframe do pandas com os seguintes nomes de coluna:

Resultado1, Teste1, Resultado2, Teste2, Resultado3, Teste3, etc ...

Desejo eliminar todas as colunas cujo nome contém a palavra "Teste". O número dessas colunas não é estático, mas depende de uma função anterior.

Como eu posso fazer isso?

import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

Esta é uma boa maneira de fazer isso:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

Mais barato, mais rápido e idiomático: str.contains

Em versões recentes do pandas, você pode usar métodos de string no índice e nas colunas. Aqui, str.startswithparece um bom ajuste.

Para remover todas as colunas começando com uma determinada substring:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

Para correspondência que não diferencia maiúsculas de minúsculas, você pode usar a correspondência baseada em regex str.containscom uma âncora SOL:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

se os tipos mistos forem uma possibilidade, especifique na=Falsetambém.

Você pode filtrar as colunas que deseja usando 'filtro'

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

Agora filtrar

df.filter(like='result',axis=1)

Obter..

   result1  result34
0   2.0     NaN
1   NaN     10.0

Isso pode ser feito perfeitamente em uma linha com:

df = df.drop(df.filter(regex='Test').columns, axis=1)

Use o DataFrame.selectmétodo:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

Este método faz tudo no local. Muitas das outras respostas criam cópias e não são tão eficientes:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

Não deixe cair. Pegue o oposto do que você deseja.

df = df.filter(regex='^((?!badword).)*$').columns

a maneira mais curta de fazer é:

resdf = df.filter(like='Test',axis=1)

Solução ao eliminar uma lista de nomes de colunas contendo regex. Prefiro essa abordagem porque frequentemente edito a lista suspensa. Usa um regex de filtro negativo para a lista suspensa.

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)