Se o erro médio quadrático = variância + desvio ^ 2. Então, como o erro quadrático médio pode ser menor que a variação

7

Eu estava lendo a Introdução à Aprendizagem Estatística. Aqui é mostrado que: -

Em um exemplo posterior, o trem e o teste MSE são plotados. Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que o desvio?

— Debabrot Bhuyan
fonte

11

A linha vermelha está acima da linha tracejada e, presumivelmente, algo semelhante seria verdadeiro em toda a população não testada.

— Henry

1. Use texto de marcação em sua resposta, não links para imagens geradas com marcação. 2. A frase "Eu queria saber se o viés ^ 2 e a variação são quantidades positivas, então como o MSE pode ser menor que a variação". seria mais claro se houvesse dois pontos depois de "saber".

— Acccumulation

Caro @Acccumulation, fique à vontade para editar a postagem de acordo. Seria muito apreciado.

— 29718 Jim

8

Isso é chamado de super adaptação. O MSE aparente nos dados de treinamento é menor que a variação, mas isso só foi alcançado ao tornar um modelo excessivamente complicado, para que ele pudesse seguir flutuações aleatórias nos pontos de dados individuais ("ruído de perseguição"). Depois de tentar prever novos dados, o MSE fica muito pior. Ou seja, o MSE real das previsões do modelo não é menor que a variação.

— Björn
fonte

6

A fórmula reproduzida na pergunta é exata e, portanto, não é compatível com um "MSE menor que a variância". Quando você menciona que se observa um "MSE menor que a variação" no gráfico fornecido (assumindo que o MSE mínimo é a variação do modelo), é porque você considera MSE empírico e variações, em vez das quantidades teóricas , que são expectativas em relação ao modelo distribuição.

— Xi'an
fonte

-1

Você parece pensar que há um caso que mostra que a variação é maior que o MSE, mas está longe de ser claro como você está vendo isso. No aprendizado de máquina, Y é modelado como sendo igual a alguma função de X, mais um termo de erro aleatório. Esse erro é, como neste exemplo, geralmente representado com um épsilon, $\epsilon$ . Nesse modelo, uma função estimadora igual à dependência "real" de Y em X terá um MSE igual à variação de $\epsilon$ . Um estimador que não seja a dependência "real" terá um MSE igual à variação de $\epsilon$ , mais a variação entre a dependência "real" e o estimador usado. Assim, o MSE do estimador será maior ou igual à variância $\underline{\text{of }}\underline{\epsilon}$ . Pode ser, e qualquer estimador decente será, menor que a variação $\underline{\text{of Y}}$ . Se o MSE de um estimador fosse maior que a variação de Y, ignorar X completamente e apenas prever que Y seria igual à média de Y seria um avaliador melhor.

— Acumulação
fonte