pandas python: remova duplicatas pelas colunas A, mantendo a linha com o valor mais alto na coluna B

Eu tenho um quadro de dados com valores de repetição na coluna A. Quero eliminar duplicatas, mantendo a linha com o valor mais alto na coluna B.

Então, é isso:

A B
1 10
1 20
2 30
2 40
3 10

Deve se transformar nisso:

A B
1 20
2 40
3 10

Wes adicionou uma funcionalidade interessante para eliminar duplicatas: http://wesmckinney.com/blog/?p=340 . Mas o AFAICT foi desenvolvido para duplicatas exatas, portanto não há menção de critérios para selecionar quais linhas serão mantidas.

Suponho que provavelmente haja uma maneira fácil de fazer isso - talvez tão fácil quanto classificar o quadro de dados antes de eliminar duplicatas -, mas não conheço a lógica interna do groupby o suficiente para descobrir isso. Alguma sugestão?

Isso leva o último. Não é o máximo:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

Você também pode fazer algo como:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

A resposta principal é fazer muito trabalho e parece muito lenta para conjuntos de dados maiores. applyé lento e deve ser evitado, se possível. ixestá obsoleto e deve ser evitado também.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

Ou simplesmente agrupe por todas as outras colunas e obtenha o máximo da coluna necessária. df.groupby('A', as_index=False).max()

Solução mais simples:

Para eliminar duplicatas com base em uma coluna:

df = df.drop_duplicates('column_name', keep='last')

Para eliminar duplicatas com base em várias colunas:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Tente o seguinte:

df.groupby(['A']).max()

Eu classificaria o quadro de dados primeiro com a Coluna B descendente, depois soltaria duplicatas da Coluna A e manteria

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

sem nenhum groupby

Você pode tentar isso também

df.drop_duplicates(subset='A', keep='last')

Mencionei isso em https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Eu acho que no seu caso você realmente não precisa de um grupo. Gostaria de classificar por ordem decrescente sua coluna B, em seguida, largar duplicatas na coluna A e, se você quiser, também pode ter um novo índice limpo e agradável assim:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Aqui está uma variação que eu tive que resolver e que vale a pena compartilhar: para cada string exclusiva, columnAeu queria encontrar a string associada mais comum columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

O .any()escolhe se houver um empate para o modo. (Observe que o uso .any()de uma série de ints retorna um booleano em vez de escolher um deles.)

Para a pergunta original, a abordagem correspondente simplifica a

df.groupby('columnA').columnB.agg('max').reset_index().

Quando as postagens já respondidas respondem à pergunta, fiz uma pequena alteração adicionando o nome da coluna na qual a função max () é aplicada para melhor legibilidade do código.

df.groupby('A', as_index=False)['B'].max()

A maneira mais fácil de fazer isso:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

isso também funciona:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

Não vou lhe dar a resposta completa (acho que você não está procurando a análise e a gravação da parte do arquivo), mas uma dica essencial deve ser suficiente: use a set()função python e, em seguida, sorted()ou em .sort()conjunto com .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]