Como descartar linhas do Pandas DataFrame cujo valor em uma determinada coluna é NaN

Eu tenho isso DataFramee quero apenas os registros cuja EPScoluna não é NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... ou seja, algo como df.drop(....)obter esse quadro de dados resultante:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Como faço isso?

Não deixe cair, apenas pegue as linhas onde o EPS não é NA:

df = df[df['EPS'].notna()]

Esta questão já está resolvida, mas ...

... considere também a solução sugerida por Wouter em seu comentário original . A capacidade de lidar com dados ausentes, inclusive dropna(), é explicitamente incorporada aos pandas. Além do desempenho potencialmente aprimorado, em vez de fazê-lo manualmente, essas funções também vêm com uma variedade de opções que podem ser úteis.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Também existem outras opções (consulte os documentos em http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), incluindo a remoção de colunas em vez de linhas.

Muito útil!

Eu sei que isso já foi respondido, mas apenas por uma solução puramente panda para essa pergunta específica, em oposição à descrição geral de Aman (que foi maravilhosa) e no caso de mais alguém acontecer com isso:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Você pode usar isto:

df.dropna(subset=['EPS'], how='all', inplace=True)

Mais simples de todas as soluções:

filtered_df = df[df['EPS'].notnull()]

A solução acima é muito melhor do que usar np.isfinite ()

Você pode usar o método dataframe notnull ou inverso de isnull ou numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Maneira simples e fácil

df.dropna(subset=['EPS'],inplace=True)

fonte: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

ainda outra solução que usa o fato de que np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Outra versão:

df[~df['EPS'].isna()]

Em conjuntos de dados com grande número de colunas, é ainda melhor ver quantas colunas contêm valores nulos e quantas não.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Por exemplo, no meu dataframe, ele continha 82 colunas, das quais 19 continham pelo menos um valor nulo.

Além disso, você também pode remover automaticamente colunas e linhas, dependendo de quais possuem mais valores nulos.
Aqui está o código que faz isso de forma inteligente:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Nota: O código acima remove todos os seus valores nulos. Se você deseja valores nulos, processe-os antes.

Pode ser adicionado em que '&' pode ser usado para adicionar condições adicionais, por exemplo

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Observe que, ao avaliar as declarações, os pandas precisam de parênteses.

Por alguma razão, nenhuma das respostas enviadas anteriormente funcionou para mim. Esta solução básica fez:

df = df[df.EPS >= 0]

Embora, é claro, isso também elimine linhas com números negativos. Então, se você quiser, provavelmente também será bom adicionar isso depois.

df = df[df.EPS <= 0]

Uma das soluções pode ser

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Outra maneira pode ser

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Espero que sejam úteis.