Intervalo de confiança de inicialização de uma previsão de regressão

Para trabalhos de casa, recebi dados para criar / treinar um preditor que usa regressão do laço. Crio o preditor e o treino usando a biblioteca lasso python do scikit learn.

Então agora eu tenho esse preditor que, quando recebida, pode prever a saída.

A segunda pergunta foi "Estenda seu preditor para relatar o intervalo de confiança da previsão usando o método de inicialização".

Eu olhei em volta e encontrei exemplos de pessoas fazendo isso pela má e outras coisas.

Mas estou completamente perdido em como devo fazê-lo para uma previsão. Estou tentando usar a biblioteca scikit-bootstrap .

A equipe do curso está sendo extremamente indiferente, então qualquer ajuda é apreciada. Obrigado.

Bootstrapping refere-se a reamostrar seus dados com substituição. Ou seja, em vez de ajustar seu modelo aos X e y originais, você o adapta às versões reamostradas de X e y várias vezes.

Assim, você obtém n modelos ligeiramente diferentes que podem ser usados ​​para criar um intervalo de confiança. Aqui está um exemplo visual desse intervalo.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

plt.figure(figsize=(12,8))
for i in range(0, 500):
    sample_index = np.random.choice(range(0, len(y)), len(y))

    X_samples = X[sample_index]
    y_samples = y[sample_index]    

    lr = LinearRegression()
    lr.fit(X_samples, y_samples)
    plt.plot(x, lr.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

lr = LinearRegression()
lr.fit(X, y)
plt.plot(x, lr.predict(X), color='red', zorder=5)

Se você deseja usar a API do scikit para a parte do código de inicialização:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import BaggingRegressor

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

n_estimators = 50
model = BaggingRegressor(LinearRegression(), 
                         n_estimators=n_estimators,
                         bootstrap=True)

model.fit(X, y)

plt.figure(figsize=(12,8))

# Accessing each base_estimator (already fitted)
for m in model.estimators_:
    plt.plot(x, m.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

# "Bagging model" prediction
plt.plot(x, model.predict(X), color='red', zorder=5)