Altere um valor com base em outro valor em pandas

Estou tentando reprogramar meu código Stata em Python para melhorias de velocidade, e fui apontado na direção de PANDAS. Estou, no entanto, tendo dificuldade em entender como processar os dados.

Digamos que eu queira iterar todos os valores no cabeçalho da coluna 'ID'. Se esse ID corresponder a um número específico, quero alterar dois valores correspondentes FirstName e LastName.

No Stata, é assim:

replace FirstName = "Matt" if ID==103
replace LastName =  "Jones" if ID==103

Portanto, isso substitui todos os valores em FirstName que correspondem aos valores de ID == 103 para Matt.

No PANDAS, estou tentando algo assim

df = read_csv("test.csv")
for i in df['ID']:
    if i ==103:
          ...

Não tenho certeza para onde ir a partir daqui. Alguma ideia?

Uma opção é usar os recursos de segmentação e indexação do Python para avaliar logicamente os locais onde sua condição se mantém e substituir os dados lá.

Supondo que você possa carregar seus dados diretamente no pandascom pandas.read_csv, o código a seguir pode ser útil para você.

import pandas
df = pandas.read_csv("test.csv")
df.loc[df.ID == 103, 'FirstName'] = "Matt"
df.loc[df.ID == 103, 'LastName'] = "Jones"

Conforme mencionado nos comentários, você também pode fazer a atribuição às duas colunas de uma vez:

df.loc[df.ID == 103, ['FirstName', 'LastName']] = 'Matt', 'Jones'

Observe que você precisará da pandasversão 0.11 ou mais recente para usar locnas operações de atribuição de substituição.

Outra maneira de fazer isso é usar o que é chamado de atribuição em cadeia. O comportamento disso é menos estável e, portanto, não é considerada a melhor solução (é explicitamente desencorajado nos documentos), mas é útil saber sobre:

import pandas
df = pandas.read_csv("test.csv")
df['FirstName'][df.ID == 103] = "Matt"
df['LastName'][df.ID == 103] = "Jones"

Você pode usar map, ele pode mapear valores de um dicionário ou até mesmo uma função personalizada.

Suponha que este seja o seu df:

    ID First_Name Last_Name
0  103          a         b
1  104          c         d

Crie os dictos:

fnames = {103: "Matt", 104: "Mr"}
lnames = {103: "Jones", 104: "X"}

E mapa:

df['First_Name'] = df['ID'].map(fnames)
df['Last_Name'] = df['ID'].map(lnames)

O resultado será:

    ID First_Name Last_Name
0  103       Matt     Jones
1  104         Mr         X

Ou use uma função personalizada:

names = {103: ("Matt", "Jones"), 104: ("Mr", "X")}
df['First_Name'] = df['ID'].map(lambda x: names[x][0])

A pergunta original trata de um caso de uso específico e restrito. Para aqueles que precisam de respostas mais genéricas, aqui estão alguns exemplos:

Criação de uma nova coluna usando dados de outras colunas

Dado o quadro de dados abaixo:

import pandas as pd
import numpy as np

df = pd.DataFrame([['dog', 'hound', 5],
                   ['cat', 'ragdoll', 1]],
                  columns=['animal', 'type', 'age'])

In[1]:
Out[1]:
  animal     type  age
----------------------
0    dog    hound    5
1    cat  ragdoll    1

Abaixo, estamos adicionando uma nova descriptioncoluna como uma concatenação de outras colunas usando a +operação que é substituída por séries. Formatação de string extravagante, strings f etc. não funcionarão aqui, pois +se aplica a valores escalares e não a valores 'primitivos':

df['description'] = 'A ' + df.age.astype(str) + ' years old ' \
                    + df.type + ' ' + df.animal

In [2]: df
Out[2]:
  animal     type  age                description
-------------------------------------------------
0    dog    hound    5    A 5 years old hound dog
1    cat  ragdoll    1  A 1 years old ragdoll cat

Obtemos 1 yearso gato (em vez de 1 year), que corrigiremos a seguir usando condicionais.

Modificando uma coluna existente com condicionais

Aqui, estamos substituindo a animalcoluna original por valores de outras colunas e usando np.wherepara definir uma substring condicional com base no valor de age:

# append 's' to 'age' if it's greater than 1
df.animal = df.animal + ", " + df.type + ", " + \
    df.age.astype(str) + " year" + np.where(df.age > 1, 's', '')

In [3]: df
Out[3]:
                 animal     type  age
-------------------------------------
0   dog, hound, 5 years    hound    5
1  cat, ragdoll, 1 year  ragdoll    1

Modificando várias colunas com condicionais

Uma abordagem mais flexível é chamar .apply()um dataframe inteiro em vez de uma única coluna:

def transform_row(r):
    r.animal = 'wild ' + r.type
    r.type = r.animal + ' creature'
    r.age = "{} year{}".format(r.age, r.age > 1 and 's' or '')
    return r

df.apply(transform_row, axis=1)

In[4]:
Out[4]:
         animal            type      age
----------------------------------------
0    wild hound    dog creature  5 years
1  wild ragdoll    cat creature   1 year

No código acima, a transform_row(r)função pega um Seriesobjeto que representa uma determinada linha (indicado por axis=1, o valor padrão de axis=0fornecerá um Seriesobjeto para cada coluna). Isso simplifica o processamento, pois podemos acessar os valores 'primitivos' reais na linha usando os nomes das colunas e ter visibilidade de outras células na linha / coluna fornecida.

Essa pergunta ainda pode ser consultada com frequência suficiente para que valha a pena oferecer um adendo à resposta do Sr. Kassies. A dictclasse interna pode ser subclassificada de forma que um padrão seja retornado para as chaves 'ausentes'. Este mecanismo funciona bem para pandas. Mas veja abaixo.

Desta forma, é possível evitar erros de chave.

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> class SurnameMap(dict):
...     def __missing__(self, key):
...         return ''
...     
>>> surnamemap = SurnameMap()
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap[x])
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401         

A mesma coisa pode ser feita de maneira mais simples da seguinte maneira. O uso do argumento 'default' para o getmétodo de um objeto dict torna desnecessário criar uma subclasse de um dict.

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> surnamemap = {}
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap.get(x, ''))
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401