Regressão polinomial usando o scikit-learn

Estou tentando usar o scikit-learn para regressão polinomial. Pelo que li, a regressão polinomial é um caso especial de regressão linear. Eu esperava que talvez um dos modelos lineares generalizados do scikit possa ser parametrizado para se ajustar a polinômios de ordem superior, mas não vejo opção para isso.

Consegui usar um Regressor de vetores de suporte com um kernel poli. Isso funcionou bem com um subconjunto dos meus dados, mas leva muito tempo para caber em conjuntos de dados maiores, por isso ainda preciso encontrar algo mais rápido (mesmo que esteja negociando alguma precisão).

Estou perdendo algo óbvio aqui?

Dados os dados , um vetor de coluna e y , o vetor de destino, você pode executar a regressão polinomial anexando polinômios de x . Por exemplo, considere se$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Usar apenas esse vetor na regressão linear implica o modelo:

$$y = \alpha_1 x$$

Podemos adicionar colunas que são potências do vetor acima, que representam a adição de polinômios à regressão. Abaixo, mostramos isso para polinômios até a potência 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Esta é a nossa nova matriz de dados que usamos na regressão linear do sklearn e representa o modelo:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Note que eu não adicionei um vetor constante de 's, pois o sklearn o incluirá automaticamente.$1$

Teoria

A regressão polinomial é um caso especial de regressão linear. Com a idéia principal de como você seleciona seus recursos. Observando a regressão multivariada com 2 variáveis: x1e x2. A regressão linear ficará assim:y = a1 * x1 + a2 * x2.

Agora você deseja ter uma regressão polinomial (vamos fazer polinômio de 2 graus). Vamos criar algumas características adicionais: x1*x2, x1^2e x2^2. Portanto, obteremos sua 'regressão linear':

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Isso mostra bem uma importante maldição conceitual da dimensionalidade , porque o número de novos recursos cresce muito mais rápido do que linearmente com o crescimento do grau de polinômio. Você pode dar uma olhada neste conceito aqui .

Pratique com o scikit-learn

Você não precisa fazer tudo isso no scikit. A regressão polinomial já está disponível lá (na versão 0.15 . Veja como atualizá-la aqui ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

Caso você esteja usando uma regressão multivariada e não apenas uma regressão univariada, não esqueça os termos cruzados. Por exemplo, se você tem duas variáveis e x 2 e deseja polinômios com potência 2, você deve usar y = a 1 x 1 + a 2 x 2 + a 3 x 2 1$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) é sobre o que estou falando.