Mais alguns passos da decomposição de Polarização - Variância
De fato, a derivação completa raramente é dada em livros didáticos, pois envolve muita álgebra pouco inspiradora. Aqui está uma derivação mais completa usando a notação do livro "Elements of Statistical Learning" na página 223
Se assumirmos que e e , podemos derivar a expressão para o erro de previsão esperado de um ajuste de regressão em uma entrada usando perda de erro ao quadradoY= f( X) + ϵE[ ϵ ] = 0Va r ( ϵ ) = σ2ϵf ( X ) X = x 0f^( X)X= x0 0
Er r ( x0 0) = E[ (Y- f^( x0 0) ))2|X= x0 0]
Para simplicidade de notação deixar , e recordação que ef^( x0 0) = f^f( x0 0) = fE[f] = fE[ Y] = f
E[ (Y- f^)2]=E[ (Y-f+f- f^)2]=E[ ( y- f)2] +E[ (f- f^)2] + 2 E[ ( f- f^) ( y- f) ]= E[ ( f+ ϵ - f)2] + E[ ( f- f^)2]+ 2 E[ fY-f2-f^Y+ f^f]=E[ ϵ2] +E[ (f- f^)2] + 2 ( f2- f2-fE[ f^] + fE[ f^] )= σ2ϵ+E[ (f- f^)2] + 0
Para o termo , podemos usar um truque semelhante ao descrito acima, adicionando e subtraindo para obterE[ (f- f^)2]E[ f^]
E[ (f- f^)2]=E[ (f+E[ f^] - E[ f^] - f^)2]= E[f- E[ f^] ]2+ E[ f^- E[ f^] ]2= [ f- E[ f^] ]2+ E[ f^- E[ f^] ]2= B i a s2[ f^] + Va r [ f^]
Juntar as peças
E[ ( Y- f^)2] = σ2ϵ+ B i a s2[ f^] + Va r [ f^]
Alguns comentários sobre por queE[ f^Y] = fE[ f^]
Retirado de Alecos Papadopoulos aqui
Lembre-se de que é o preditor que construímos com base nos pontos de dados para que possamos escrever para lembrar disso.f^m{ ( x( 1 ), y( 1 )) , . . . , ( x( M ), y( M )) } f = f mf^= f^m
Por outro lado, é a previsão que estamos fazendo em um novo ponto de dados usando o modelo construído nos pontos de dados acima. Portanto, o erro médio quadrático pode ser escrito comoY( x( m + 1 ), y( m + 1 ))m
E[ f^m( x( m + 1 )) - y( m + 1 )]2
Expandindo a equação da seção anterior
E[ f^mY] = E[ f^m( f+ ϵ ) ] = E[ f^mf+ f^mε ] = E[ f^mf] + E[ f^mϵ ]
A última parte da equação pode ser vista como
E[ f^m( x( m + 1 )) ⋅ ϵ( m + 1 )] = 0
Como fazemos as seguintes suposições sobre o ponto :x( m + 1 )
- Foi não utilizado na construçãof^m
- É independente de todas as outras observações{ ( x( 1 ), y( 1 )) , . . . , ( x( M ), y( M )) }
- É independente deϵ( m + 1 )
Outras fontes com derivações completas