Converter coluna Pandas contendo NaNs em dtype `int`

Eu li dados de um arquivo .csv em um dataframe do Pandas, como abaixo. Para uma das colunas, a saber id, desejo especificar o tipo de coluna como int. O problema é que a idsérie tem valores ausentes / vazios.

Quando tento converter a idcoluna em inteiro enquanto lê o arquivo .csv, recebo:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

Como alternativa, tentei converter o tipo de coluna depois de ler como abaixo, mas desta vez recebo:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

Como posso resolver isso?

A falta de NaN rep em colunas inteiras é um panda "pegadinha" .

A solução usual é simplesmente usar carros alegóricos.

Na versão 0.24. + Os pandas ganharam a capacidade de armazenar tipos inteiros com valores ausentes.

Tipo de Dados Inteiro Anulável .

Pandas podem representar dados inteiros com possivelmente valores ausentes usando arrays.IntegerArray. Este é um tipo de extensão implementado no pandas. Não é o tipo padrão para números inteiros e não será inferido; você deve passar explicitamente o dtype para array()ou Series:

arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)

0      1
1      2
2    NaN
dtype: Int64

Para converter a coluna em números inteiros anuláveis, use:

df['myCol'] = df['myCol'].astype('Int64')

Meu caso de uso está filtrando dados antes do carregamento em uma tabela do banco de dados:

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)

Remova NaNs, converta para int, converta para str e, em seguida, reinsira NANs.

Não é bonito, mas faz o trabalho!

Agora é possível criar uma coluna de pandas contendo NaNs como dtype int, já que agora é adicionada oficialmente ao pandas 0.24.0

Notas da versão do pandas 0.24.x Quote: "O Pandas ganhou a capacidade de armazenar tipos inteiros com valores ausentes

Se você absolutamente deseja combinar números inteiros e NaNs em uma coluna, pode usar o tipo de dados 'objeto':

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

Isso substituirá os NaNs por um número inteiro (não importa qual), converter para int, converter para objeto e finalmente reinserir NaNs.

Se você pode modificar os dados armazenados, use um valor sentinela como ausente id. Um caso de uso comum, inferido pelo nome da coluna, sendo idum número inteiro, estritamente maior que zero, você pode usar 0como um valor sentinela para poder escrever

if row['id']:
   regular_process(row)
else:
   special_process(row)

Você pode usar .dropna()se estiver OK descartar as linhas com os valores de NaN.

df = df.dropna(subset=['id'])

Como alternativa, use .fillna()e .astype()para substituir o NaN por valores e convertê-los em int.

Corri para esse problema ao processar um arquivo CSV com números inteiros grandes, enquanto alguns deles estavam ausentes (NaN). Usar float como o tipo não era uma opção, porque eu poderia perder a precisão.

Minha solução foi usar str como o tipo intermediário . Em seguida, você pode converter a string para int como desejar posteriormente no código. Substituí NaN por 0, mas você pode escolher qualquer valor.

df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)

Para a ilustração, aqui está um exemplo de como os flutuadores podem perder a precisão:

s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)

E a saída é:

1.2345678901234567e+19 12345678901234567168 12345678901234567890

A maioria das soluções aqui mostra como usar um número inteiro de espaço reservado para representar nulos. Essa abordagem não é útil se você não tiver certeza de que o número inteiro não será exibido nos dados de origem. Meu método com irá formatar carros alegóricos sem seus valores decimais e converter nulos em nenhum. O resultado é um tipo de dados do objeto que se parecerá com um campo inteiro com valores nulos quando carregado em um CSV.

keep_df[col] = keep_df[col].apply(lambda x: None if pandas.isnull(x) else '{0:.0f}'.format(pandas.to_numeric(x)))

Encontrei este problema ao trabalhar com o pyspark. Como este é um front-end python para código em execução em uma jvm, requer segurança de tipo e o uso de float em vez de int não é uma opção. Eu resolvi o problema envolvendo os pandas pd.read_csvem uma função que preencherá as colunas definidas pelo usuário com valores de preenchimento definidos pelo usuário antes de convertê-los no tipo necessário. Aqui está o que eu acabei usando:

def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
    if custom_dtype is None:
        return pd.read_csv(file_path, **kwargs)
    else:
        assert 'dtype' not in kwargs.keys()
        df = pd.read_csv(file_path, dtype = {}, **kwargs)
        for col, typ in custom_dtype.items():
            if fill_values is None or col not in fill_values.keys():
                fill_val = -1
            else:
                fill_val = fill_values[col]
            df[col] = df[col].fillna(fill_val).astype(typ)
    return df

import pandas as pd

df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])

Primeiro remova as linhas que contêm NaN. Em seguida, faça a conversão de número inteiro nas linhas restantes. Por último, insira as linhas removidas novamente. Espero que funcione

Supondo que o DateColumn formatado 3312018.0 deve ser convertido para 31/03/2018 como uma sequência. E, alguns registros estão ausentes ou 0.

df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))