Eu tenho o seguinte DataFrame indexado com colunas e linhas nomeadas, números não contínuos:

          a         b         c         d
2  0.671399  0.101208 -0.181532  0.241273
3  0.446172 -0.243316  0.051767  1.577318
5  0.614758  0.075793 -0.451460 -0.012493

Gostaria de adicionar uma nova coluna 'e',, ao quadro de dados existente e não quero alterar nada no quadro de dados (ou seja, a nova coluna sempre tem o mesmo comprimento que o DataFrame).

0   -0.335485
1   -1.166658
2   -0.385571
dtype: float64

Como posso adicionar uma coluna eao exemplo acima?

Use os índices df1 originais para criar a série:

df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)

Edit 2015
Alguns relataram ter recebido SettingWithCopyWarningeste código.
No entanto, o código ainda funciona perfeitamente com a versão 0.16.1 do pandas atual.

>>> sLength = len(df1['a'])
>>> df1
          a         b         c         d
6 -0.269221 -0.026476  0.997517  1.294385
8  0.917438  0.847941  0.034235 -0.448948

>>> df1['e'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e
6 -0.269221 -0.026476  0.997517  1.294385  1.757167
8  0.917438  0.847941  0.034235 -0.448948  2.228131

>>> p.version.short_version
'0.16.1'

O SettingWithCopyWarningobjetivo é informar sobre uma atribuição possivelmente inválida em uma cópia do Dataframe. Não significa necessariamente que você fez errado (pode disparar falsos positivos), mas a partir de 0.13.0, você sabe que existem métodos mais adequados para o mesmo objetivo. Então, se você receber o aviso, basta seguir o aviso: Tente usar .loc [row_index, col_indexer] = value

>>> df1.loc[:,'f'] = pd.Series(np.random.randn(sLength), index=df1.index)
>>> df1
          a         b         c         d         e         f
6 -0.269221 -0.026476  0.997517  1.294385  1.757167 -0.050927
8  0.917438  0.847941  0.034235 -0.448948  2.228131  0.006109
>>> 

De fato, atualmente esse é o método mais eficiente, conforme descrito em documentos de pandas

Edit 2017

Conforme indicado nos comentários e pelo @Alexander, atualmente o melhor método para adicionar os valores de uma Série como uma nova coluna de um DataFrame poderia estar usando assign:

df1 = df1.assign(e=pd.Series(np.random.randn(sLength)).values)

Esta é a maneira simples de adicionar uma nova coluna: df['e'] = e

Gostaria de adicionar uma nova coluna, 'e', ​​ao quadro de dados existente e não alterar nada no quadro de dados. (A série sempre tem o mesmo tamanho que um quadro de dados.)

Suponho que os valores do índice ecorrespondam aos valores df1.

A maneira mais fácil de iniciar uma nova coluna denominada ee atribuir os valores de sua série e:

df['e'] = e.values

atribuir (Pandas 0.16.0+)

No Pandas 0.16.0, você também pode usar assign, que atribui novas colunas a um DataFrame e retorna um novo objeto (uma cópia) com todas as colunas originais, além das novas.

df1 = df1.assign(e=e.values)

Conforme este exemplo (que também inclui o código fonte da assignfunção), você também pode incluir mais de uma coluna:

df = pd.DataFrame({'a': [1, 2], 'b': [3, 4]})
>>> df.assign(mean_a=df.a.mean(), mean_b=df.b.mean())
   a  b  mean_a  mean_b
0  1  3     1.5     3.5
1  2  4     1.5     3.5

No contexto do seu exemplo:

np.random.seed(0)
df1 = pd.DataFrame(np.random.randn(10, 4), columns=['a', 'b', 'c', 'd'])
mask = df1.applymap(lambda x: x <-0.7)
df1 = df1[-mask.any(axis=1)]
sLength = len(df1['a'])
e = pd.Series(np.random.randn(sLength))

>>> df1
          a         b         c         d
0  1.764052  0.400157  0.978738  2.240893
2 -0.103219  0.410599  0.144044  1.454274
3  0.761038  0.121675  0.443863  0.333674
7  1.532779  1.469359  0.154947  0.378163
9  1.230291  1.202380 -0.387327 -0.302303

>>> e
0   -1.048553
1   -1.420018
2   -1.706270
3    1.950775
4   -0.509652
dtype: float64

df1 = df1.assign(e=e.values)

>>> df1
          a         b         c         d         e
0  1.764052  0.400157  0.978738  2.240893 -1.048553
2 -0.103219  0.410599  0.144044  1.454274 -1.420018
3  0.761038  0.121675  0.443863  0.333674 -1.706270
7  1.532779  1.469359  0.154947  0.378163  1.950775
9  1.230291  1.202380 -0.387327 -0.302303 -0.509652

A descrição desse novo recurso, quando foi introduzido pela primeira vez, pode ser encontrada aqui .

Parece que nas versões recentes do Pandas o caminho a seguir é usar o df.assign :

df1 = df1.assign(e=np.random.randn(sLength))

Não produz SettingWithCopyWarning.

Fazer isso diretamente via NumPy será o mais eficiente:

df1['e'] = np.random.randn(sLength)

Observe que minha sugestão original (muito antiga) era usar map(que é muito mais lenta):

df1['e'] = df1['a'].map(lambda x: np.random.random())

Atribuição de coluna super simples

Um dataframe do pandas é implementado como um ditado ordenado de colunas.

Isso significa que __getitem__ []não só pode ser usado para obter uma determinada coluna, mas __setitem__ [] =também para atribuir uma nova coluna.

Por exemplo, esse quadro de dados pode ter uma coluna adicionada a ele simplesmente usando o []acessador

    size      name color
0    big      rose   red
1  small    violet  blue
2  small     tulip   red
3  small  harebell  blue

df['protected'] = ['no', 'no', 'no', 'yes']

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

Observe que isso funciona mesmo se o índice do quadro de dados estiver desativado.

df.index = [3,2,1,0]
df['protected'] = ['no', 'no', 'no', 'yes']
    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

[] = é o caminho a seguir, mas cuidado!

No entanto, se você tiver um pd.Seriese tentar atribuí-lo a um dataframe em que os índices estejam desativados, você terá problemas. Consultar exemplo:

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'])
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

Isso ocorre porque um pd.Seriespor padrão tem um índice enumerado de 0 a n. E o [] =método dos pandas tenta ser "inteligente"

O que realmente está acontecendo.

Quando você usa o [] =método, o pandas realiza silenciosamente uma junção externa ou mesclagem externa usando o índice do quadro de dados à esquerda e o índice da série à direita.df['column'] = series

Nota

Isso rapidamente causa dissonância cognitiva, pois o []=método está tentando fazer muitas coisas diferentes, dependendo da entrada, e o resultado não pode ser previsto, a menos que você saiba como os pandas funcionam. Eu recomendaria, portanto, contra as []=bases de código, mas ao explorar dados em um notebook, tudo bem.

Contornando o problema

Se você tem um pd.Seriese deseja que ele seja atribuído de cima para baixo, ou se está codificando código produtivo e não tem certeza da ordem do índice, vale a pena salvaguardar esse tipo de problema.

Você pode fazer o downcast pd.Seriespara a np.ndarrayou a list, isso fará o truque.

df['protected'] = pd.Series(['no', 'no', 'no', 'yes']).values

ou

df['protected'] = list(pd.Series(['no', 'no', 'no', 'yes']))

Mas isso não é muito explícito.

Algum codificador pode aparecer e dizer "Ei, isso parece redundante, vou otimizar isso daqui".

Maneira explícita

Definir o índice de pd.Seriescomo o índice de dfé explícito.

df['protected'] = pd.Series(['no', 'no', 'no', 'yes'], index=df.index)

Ou, mais realista, você provavelmente pd.Seriesjá possui um .

protected_series = pd.Series(['no', 'no', 'no', 'yes'])
protected_series.index = df.index

3     no
2     no
1     no
0    yes

Agora pode ser atribuído

df['protected'] = protected_series

    size      name color protected
3    big      rose   red        no
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue       yes

Maneira alternativa com df.reset_index()

Como a dissonância do índice é o problema, se você acha que o índice do quadro de dados não deve ditar as coisas, você pode simplesmente descartá - lo, isso deve ser mais rápido, mas não é muito limpo, pois sua função agora provavelmente faz duas coisas.

df.reset_index(drop=True)
protected_series.reset_index(drop=True)
df['protected'] = protected_series

    size      name color protected
0    big      rose   red        no
1  small    violet  blue        no
2  small     tulip   red        no
3  small  harebell  blue       yes

Nota sobre df.assign

Embora df.assigntorne mais explícito o que você está fazendo, ele realmente tem os mesmos problemas que os mencionados acima[]=

df.assign(protected=pd.Series(['no', 'no', 'no', 'yes']))
    size      name color protected
3    big      rose   red       yes
2  small    violet  blue        no
1  small     tulip   red        no
0  small  harebell  blue        no

Apenas observe df.assignque sua coluna não é chamada self. Isso causará erros. Isso torna df.assign fedorento , pois existem esses tipos de artefatos na função.

df.assign(self=pd.Series(['no', 'no', 'no', 'yes'])
TypeError: assign() got multiple values for keyword argument 'self'

Você pode dizer: "Bem, eu não usarei selfentão". Mas quem sabe como essa função muda no futuro para suportar novos argumentos. Talvez o nome da sua coluna seja um argumento em uma nova atualização do pandas, causando problemas com a atualização.

Maneiras mais fáceis: -

data['new_col'] = list_of_values

data.loc[ : , 'new_col'] = list_of_values

Dessa forma, você evita o que é chamado de indexação encadeada ao definir novos valores em um objeto pandas. Clique aqui para ler mais .

Se você deseja definir toda a nova coluna com um valor base inicial (por exemplo None), você pode fazer isso:df1['e'] = None

Na verdade, isso atribuiria o tipo "objeto" à célula. Mais tarde, você poderá inserir tipos de dados complexos, como lista, em células individuais.

Eu peguei o temido SettingWithCopyWarninge não foi corrigido usando a sintaxe iloc. Meu DataFrame foi criado por read_sql a partir de uma fonte ODBC. Usando uma sugestão da lowtech acima, o seguinte funcionou para mim:

df.insert(len(df.columns), 'e', pd.Series(np.random.randn(sLength),  index=df.index))

Isso funcionou bem para inserir a coluna no final. Não sei se é o mais eficiente, mas não gosto de mensagens de aviso. Eu acho que existe uma solução melhor, mas não consigo encontrá-la e acho que depende de algum aspecto do índice.
Nota . Isso só funciona uma vez e dará uma mensagem de erro se você tentar substituir a coluna existente.
Nota Como acima e da 0.16.0, assign é a melhor solução. Consulte a documentação http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.assign.html#pandas.DataFrame.assign Funciona bem para o tipo de fluxo de dados em que você não substitui seus valores intermediários.

1. Primeiro, crie um python list_of_ecom dados relevantes.
2. Usa isto: df['e'] = list_of_e

Se a coluna que você está tentando adicionar for uma variável em série, basta:

df["new_columns_name"]=series_variable_name #this will do it for you

Isso funciona bem mesmo se você estiver substituindo uma coluna existente. Apenas digite new_columns_name igual à coluna que deseja substituir. Ele substituirá apenas os dados da coluna existente pelos novos dados da série.

Se o quadro de dados e o objeto Series tiverem o mesmo índice , pandas.concattambém funcionará aqui:

import pandas as pd
df
#          a            b           c           d
#0  0.671399     0.101208   -0.181532    0.241273
#1  0.446172    -0.243316    0.051767    1.577318
#2  0.614758     0.075793   -0.451460   -0.012493

e = pd.Series([-0.335485, -1.166658, -0.385571])    
e
#0   -0.335485
#1   -1.166658
#2   -0.385571
#dtype: float64

# here we need to give the series object a name which converts to the new  column name 
# in the result
df = pd.concat([df, e.rename("e")], axis=1)
df

#          a            b           c           d           e
#0  0.671399     0.101208   -0.181532    0.241273   -0.335485
#1  0.446172    -0.243316    0.051767    1.577318   -1.166658
#2  0.614758     0.075793   -0.451460   -0.012493   -0.385571

Caso eles não tenham o mesmo índice:

e.index = df.index
df = pd.concat([df, e.rename("e")], axis=1)

Infalível:

df.loc[:, 'NewCol'] = 'New_Val'

Exemplo:

df = pd.DataFrame(data=np.random.randn(20, 4), columns=['A', 'B', 'C', 'D'])

df

           A         B         C         D
0  -0.761269  0.477348  1.170614  0.752714
1   1.217250 -0.930860 -0.769324 -0.408642
2  -0.619679 -1.227659 -0.259135  1.700294
3  -0.147354  0.778707  0.479145  2.284143
4  -0.529529  0.000571  0.913779  1.395894
5   2.592400  0.637253  1.441096 -0.631468
6   0.757178  0.240012 -0.553820  1.177202
7  -0.986128 -1.313843  0.788589 -0.707836
8   0.606985 -2.232903 -1.358107 -2.855494
9  -0.692013  0.671866  1.179466 -1.180351
10 -1.093707 -0.530600  0.182926 -1.296494
11 -0.143273 -0.503199 -1.328728  0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832  0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15  0.955298 -1.430019  1.434071 -0.088215
16 -0.227946  0.047462  0.373573 -0.111675
17  1.627912  0.043611  1.743403 -0.012714
18  0.693458  0.144327  0.329500 -0.655045
19  0.104425  0.037412  0.450598 -0.923387


df.drop([3, 5, 8, 10, 18], inplace=True)

df

           A         B         C         D
0  -0.761269  0.477348  1.170614  0.752714
1   1.217250 -0.930860 -0.769324 -0.408642
2  -0.619679 -1.227659 -0.259135  1.700294
4  -0.529529  0.000571  0.913779  1.395894
6   0.757178  0.240012 -0.553820  1.177202
7  -0.986128 -1.313843  0.788589 -0.707836
9  -0.692013  0.671866  1.179466 -1.180351
11 -0.143273 -0.503199 -1.328728  0.610552
12 -0.923110 -1.365890 -1.366202 -1.185999
13 -2.026832  0.273593 -0.440426 -0.627423
14 -0.054503 -0.788866 -0.228088 -0.404783
15  0.955298 -1.430019  1.434071 -0.088215
16 -0.227946  0.047462  0.373573 -0.111675
17  1.627912  0.043611  1.743403 -0.012714
19  0.104425  0.037412  0.450598 -0.923387

df.loc[:, 'NewCol'] = 0

df
           A         B         C         D  NewCol
0  -0.761269  0.477348  1.170614  0.752714       0
1   1.217250 -0.930860 -0.769324 -0.408642       0
2  -0.619679 -1.227659 -0.259135  1.700294       0
4  -0.529529  0.000571  0.913779  1.395894       0
6   0.757178  0.240012 -0.553820  1.177202       0
7  -0.986128 -1.313843  0.788589 -0.707836       0
9  -0.692013  0.671866  1.179466 -1.180351       0
11 -0.143273 -0.503199 -1.328728  0.610552       0
12 -0.923110 -1.365890 -1.366202 -1.185999       0
13 -2.026832  0.273593 -0.440426 -0.627423       0
14 -0.054503 -0.788866 -0.228088 -0.404783       0
15  0.955298 -1.430019  1.434071 -0.088215       0
16 -0.227946  0.047462  0.373573 -0.111675       0
17  1.627912  0.043611  1.743403 -0.012714       0
19  0.104425  0.037412  0.450598 -0.923387       0

Deixe-me acrescentar que, assim como no hum3 , .locnão resolveu o problema SettingWithCopyWarninge tive que recorrer df.insert(). No meu caso, o falso positivo foi gerado pela indexação em cadeia "falsa" dict['a']['e'], onde 'e'está a nova coluna e dict['a']é um DataFrame vindo do dicionário.

Observe também que, se você souber o que está fazendo, poderá mudar o aviso usando pd.options.mode.chained_assignment = None e depois usando uma das outras soluções fornecidas aqui.

para inserir uma nova coluna em um determinado local (0 <= loc <= quantidade de colunas) em um quadro de dados, basta usar Dataframe.insert:

DataFrame.insert(loc, column, value)

Portanto, se você desejar adicionar a coluna e no final de um quadro de dados chamado df , poderá usar:

e = [-0.335485, -1.166658, -0.385571]    
DataFrame.insert(loc=len(df.columns), column='e', value=e)

O valor pode ser uma série, um número inteiro (nesse caso, todas as células são preenchidas com esse valor único) ou uma estrutura semelhante a uma matriz

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.insert.html

Antes de atribuir uma nova coluna, se você tiver dados indexados, precisará classificar o índice. Pelo menos no meu caso eu tive que:

data.set_index(['index_column'], inplace=True)
"if index is unsorted, assignment of a new column will fail"        
data.sort_index(inplace = True)
data.loc['index_value1', 'column_y'] = np.random.randn(data.loc['index_value1', 'column_x'].shape[0])

Uma coisa a observar, porém, é que, se você fizer

df1['e'] = Series(np.random.randn(sLength), index=df1.index)

isso efetivamente será uma junção esquerda no df1.index. Portanto, se você deseja ter um efeito de junção externa , minha solução provavelmente imperfeita é criar um quadro de dados com valores de índice que cubram o universo dos seus dados e, em seguida, use o código acima. Por exemplo,

data = pd.DataFrame(index=all_possible_values)
df1['e'] = Series(np.random.randn(sLength), index=df1.index)

Eu estava procurando uma maneira geral de adicionar uma coluna de numpy.nans a um dataframe sem ser burro SettingWithCopyWarning.

Entre o seguinte:

• as respostas aqui
• esta pergunta sobre passar uma variável como argumento de palavra-chave
• este método para gerar uma numpymatriz de NaNs em linha

Eu vim com isso:

col = 'column_name'
df = df.assign(**{col:numpy.full(len(df), numpy.nan)})

Para adicionar uma nova coluna, 'e', ​​ao quadro de dados existente

 df1.loc[:,'e'] = Series(np.random.randn(sLength))

Por uma questão de integridade - mais uma solução usando o método DataFrame.eval () :

Dados:

In [44]: e
Out[44]:
0    1.225506
1   -1.033944
2   -0.498953
3   -0.373332
4    0.615030
5   -0.622436
dtype: float64

In [45]: df1
Out[45]:
          a         b         c         d
0 -0.634222 -0.103264  0.745069  0.801288
4  0.782387 -0.090279  0.757662 -0.602408
5 -0.117456  2.124496  1.057301  0.765466
7  0.767532  0.104304 -0.586850  1.051297
8 -0.103272  0.958334  1.163092  1.182315
9 -0.616254  0.296678 -0.112027  0.679112

Solução:

In [46]: df1.eval("e = @e.values", inplace=True)

In [47]: df1
Out[47]:
          a         b         c         d         e
0 -0.634222 -0.103264  0.745069  0.801288  1.225506
4  0.782387 -0.090279  0.757662 -0.602408 -1.033944
5 -0.117456  2.124496  1.057301  0.765466 -0.498953
7  0.767532  0.104304 -0.586850  1.051297 -0.373332
8 -0.103272  0.958334  1.163092  1.182315  0.615030
9 -0.616254  0.296678 -0.112027  0.679112 -0.622436

Para criar uma coluna vazia

df['i'] = None

A seguir, o que eu fiz ... Mas eu sou muito novo em pandas e realmente em Python em geral, então não há promessas.

df = pd.DataFrame([[1, 2], [3, 4], [5,6]], columns=list('AB'))

newCol = [3,5,7]
newName = 'C'

values = np.insert(df.values,df.shape[1],newCol,axis=1)
header = df.columns.values.tolist()
header.append(newName)

df = pd.DataFrame(values,columns=header)

Se você obtiver o SettingWithCopyWarning, uma solução fácil é copiar o DataFrame ao qual você está tentando adicionar uma coluna.

df = df.copy()
df['col_name'] = values