Selecionando com critérios complexos em pandas.DataFrame

Por exemplo, eu tenho DF simples:

import pandas as pd
from random import randint

df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9)*10 for x in xrange(10)],
                   'C': [randint(1, 9)*100 for x in xrange(10)]})

Posso selecionar valores de 'A' para os quais os valores correspondentes para 'B' serão maiores que 50 e para 'C' - não iguais a 900, usando métodos e expressões idiomáticas do Pandas?

Certo! Configuração:

>>> import pandas as pd
>>> from random import randint
>>> df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
                   'B': [randint(1, 9)*10 for x in range(10)],
                   'C': [randint(1, 9)*100 for x in range(10)]})
>>> df
   A   B    C
0  9  40  300
1  9  70  700
2  5  70  900
3  8  80  900
4  7  50  200
5  9  30  900
6  2  80  700
7  2  80  400
8  5  80  300
9  7  70  800

Podemos aplicar operações de coluna e obter objetos booleanos da série:

>>> df["B"] > 50
0    False
1     True
2     True
3     True
4    False
5    False
6     True
7     True
8     True
9     True
Name: B
>>> (df["B"] > 50) & (df["C"] == 900)
0    False
1    False
2     True
3     True
4    False
5    False
6    False
7    False
8    False
9    False

[Atualizar, para mudar para o novo estilo .loc]:

E então podemos usá-los para indexar no objeto. Para acesso de leitura, você pode encadear índices:

>>> df["A"][(df["B"] > 50) & (df["C"] == 900)]
2    5
3    8
Name: A, dtype: int64

mas você pode ter problemas devido à diferença entre uma visualização e uma cópia, fazendo isso para acesso de gravação. Você pode usar .loc:

>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"]
2    5
3    8
Name: A, dtype: int64
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"].values
array([5, 8], dtype=int64)
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"] *= 1000
>>> df
      A   B    C
0     9  40  300
1     9  70  700
2  5000  70  900
3  8000  80  900
4     7  50  200
5     9  30  900
6     2  80  700
7     2  80  400
8     5  80  300
9     7  70  800

Note que eu digitei acidentalmente == 900e não != 900, ou ~(df["C"] == 900), mas tenho preguiça de corrigi-lo. Exercício para o leitor. : ^)

Outra solução é usar o método de consulta :

import pandas as pd

from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9) * 10 for x in xrange(10)],
                   'C': [randint(1, 9) * 100 for x in xrange(10)]})
print df

   A   B    C
0  7  20  300
1  7  80  700
2  4  90  100
3  4  30  900
4  7  80  200
5  7  60  800
6  3  80  900
7  9  40  100
8  6  40  100
9  3  10  600

print df.query('B > 50 and C != 900')

   A   B    C
1  7  80  700
2  4  90  100
4  7  80  200
5  7  60  800

Agora, se você quiser alterar os valores retornados na coluna A, salve o índice:

my_query_index = df.query('B > 50 & C != 900').index

.... e use .ilocpara alterá-los, ou seja:

df.iloc[my_query_index, 0] = 5000

print df

      A   B    C
0     7  20  300
1  5000  80  700
2  5000  90  100
3     4  30  900
4  5000  80  200
5  5000  60  800
6     3  80  900
7     9  40  100
8     6  40  100
9     3  10  600

E lembre-se de usar parênteses!

Lembre-se de que o &operador tem precedência sobre operadores como >ou <etc. É por isso que

4 < 5 & 6 > 4

avalia como False. Portanto, se você estiver usando pd.loc, precisará colocar colchetes em torno de suas instruções lógicas, caso contrário, você receberá um erro. É por isso que:

df.loc[(df['A'] > 10) & (df['B'] < 15)]

ao invés de

df.loc[df['A'] > 10 & df['B'] < 15]

o que resultaria em

TypeError: não é possível comparar uma matriz [float64] dtyped com uma escalar do tipo [bool]

Você pode usar os pandas, que possuem algumas funções integradas para comparação. Portanto, se você deseja selecionar valores de "A" que sejam atendidos pelas condições de "B" e "C" (supondo que você deseje retornar um objeto pandas do DataFrame)

df[['A']][df.B.gt(50) & df.C.ne(900)]

df[['A']] retornará a coluna A no formato DataFrame.

A função 'gt' do panda retornará as posições da coluna B maiores que 50 e 'ne' retornará as posições diferentes de 900.