colunas de dataframe do pandas dimensionadas com o sklearn

Eu tenho um dataframe de pandas com colunas de tipo misto e gostaria de aplicar o min_max_scaler do sklearn a algumas das colunas. Idealmente, eu gostaria de fazer essas transformações no local, mas ainda não descobri uma maneira de fazer isso. Eu escrevi o seguinte código que funciona:

import pandas as pd
import numpy as np
from sklearn import preprocessing

scaler = preprocessing.MinMaxScaler()

dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
min_max_scaler = preprocessing.MinMaxScaler()

def scaleColumns(df, cols_to_scale):
    for col in cols_to_scale:
        df[col] = pd.DataFrame(min_max_scaler.fit_transform(pd.DataFrame(dfTest[col])),columns=[col])
    return df

dfTest

    A   B   C
0    14.00   103.02  big
1    90.20   107.26  small
2    90.95   110.35  big
3    96.27   114.23  small
4    91.21   114.68  small

scaled_df = scaleColumns(dfTest,['A','B'])
scaled_df

A   B   C
0    0.000000    0.000000    big
1    0.926219    0.363636    small
2    0.935335    0.628645    big
3    1.000000    0.961407    small
4    0.938495    1.000000    small

Estou curioso para saber se essa é a maneira preferida / mais eficiente de fazer essa transformação. Existe uma maneira que eu poderia usar df.apply que seria melhor?

Também estou surpreso por não conseguir que o seguinte código funcione:

bad_output = min_max_scaler.fit_transform(dfTest['A'])

Se eu passar um quadro de dados inteiro para o scaler, ele funcionará:

dfTest2 = dfTest.drop('C', axis = 1) good_output = min_max_scaler.fit_transform(dfTest2) good_output

Estou confuso por que a passagem de uma série para o scaler falha. No meu código de trabalho completo acima, eu esperava apenas passar uma série para o scaler e depois definir a coluna dataframe = para a série escalada. Eu já vi essa pergunta em alguns outros lugares, mas não encontrei uma boa resposta. Qualquer ajuda para entender o que está acontecendo aqui seria muito apreciada!

Não sei se as versões anteriores pandasimpediram isso, mas agora o seguinte trecho funciona perfeitamente para mim e produz exatamente o que você deseja, sem precisar usarapply

>>> import pandas as pd
>>> from sklearn.preprocessing import MinMaxScaler


>>> scaler = MinMaxScaler()

>>> dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],
                           'B':[103.02,107.26,110.35,114.23,114.68],
                           'C':['big','small','big','small','small']})

>>> dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A', 'B']])

>>> dfTest
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Como isso?

dfTest = pd.DataFrame({
           'A':[14.00,90.20,90.95,96.27,91.21],
           'B':[103.02,107.26,110.35,114.23,114.68], 
           'C':['big','small','big','small','small']
         })
dfTest[['A','B']] = dfTest[['A','B']].apply(
                           lambda x: MinMaxScaler().fit_transform(x))
dfTest

    A           B           C
0   0.000000    0.000000    big
1   0.926219    0.363636    small
2   0.935335    0.628645    big
3   1.000000    0.961407    small
4   0.938495    1.000000    small

Como está sendo mencionado no comentário do pir - o .apply(lambda el: scale.fit_transform(el))método produzirá o seguinte aviso:

DeprecationWarning: Passar matrizes 1d, pois os dados foram descontinuados em 0,17 e aumentará o ValueError em 0,19. Remodele seus dados usando X.reshape (-1, 1) se seus dados tiverem um único recurso ou X.reshape (1, -1) se contiver uma única amostra.

A conversão de suas colunas em matrizes numpy deve fazer o trabalho (eu prefiro StandardScaler):

from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

dfTest[['A','B','C']] = scale.fit_transform(dfTest[['A','B','C']].as_matrix())

- Editar novembro de 2018 (testado para pandas 0.23.4 ) -

Como Rob Murray menciona nos comentários, na versão atual (v0.23.4) dos pandas .as_matrix()retorna FutureWarning. Portanto, deve ser substituído por .values:

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()

scaler.fit_transform(dfTest[['A','B']].values)

- Editar maio de 2019 (testado para pandas 0.24.2 ) -

Como joelostblom menciona nos comentários, "Desde então 0.24.0, é recomendável usar em .to_numpy()vez de .values".

Exemplo atualizado:

import pandas as pd
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
dfTest = pd.DataFrame({
               'A':[14.00,90.20,90.95,96.27,91.21],
               'B':[103.02,107.26,110.35,114.23,114.68],
               'C':['big','small','big','small','small']
             })
dfTest[['A', 'B']] = scaler.fit_transform(dfTest[['A','B']].to_numpy())
dfTest
      A         B      C
0 -1.995290 -1.571117    big
1  0.436356 -0.603995  small
2  0.460289  0.100818    big
3  0.630058  0.985826  small
4  0.468586  1.088469  small

df = pd.DataFrame(scale.fit_transform(df.values), columns=df.columns, index=df.index)

Isso deve funcionar sem avisos de depreciação.

Você pode fazer isso usando pandasapenas:

In [235]:
dfTest = pd.DataFrame({'A':[14.00,90.20,90.95,96.27,91.21],'B':[103.02,107.26,110.35,114.23,114.68], 'C':['big','small','big','small','small']})
df = dfTest[['A', 'B']]
df_norm = (df - df.min()) / (df.max() - df.min())
print df_norm
print pd.concat((df_norm, dfTest.C),1)

          A         B
0  0.000000  0.000000
1  0.926219  0.363636
2  0.935335  0.628645
3  1.000000  0.961407
4  0.938495  1.000000
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Eu sei que é um comentário muito antigo, mas ainda assim:

Em vez de usar colchetes simples (dfTest['A']), use colchetes duplos (dfTest[['A']]).

isto é: min_max_scaler.fit_transform(dfTest[['A']]).

Eu acredito que isso dará o resultado desejado.