O que é encolhimento?

A palavra encolhimento é muito difundida em certos círculos. Mas o que é encolhimento, não parece haver uma definição clara. Se eu tenho uma série temporal (ou qualquer coleção de observações de algum processo), quais são as diferentes maneiras de medir algum tipo de retração empírica na série? Quais são os diferentes tipos de encolhimento teórico sobre os quais posso falar? Como o encolhimento pode ajudar na previsão? As pessoas podem fornecer boas idéias ou referências?

Em 1961, James e Stein publicaram um artigo chamado "Estimativa com perda quadrática" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Embora não cunhe especificamente o termo encolhimento, eles discutem estimadores minimax para estatísticas de alta dimensão (na verdade, mesmo para uma localização de 3 parâmetros) que têm menos risco (perda esperada) do que o MLE usual (cada componente a média da amostra) para dados normais . Bradley Efron chama sua descoberta de "o teorema mais impressionante das estatísticas matemáticas do pós-guerra". Este artigo foi citado 3.310 vezes.

Copas em 1983 escreve o primeiro artigo Regressão, Previsão e Encolhimento para cunhar o termo "encolhimento". É definido implicitamente no resumo:

O ajuste de um preditor de regressão a novos dados é quase sempre pior do que o ajuste aos dados originais. Antecipar esse encolhimento leva a preditores do tipo Stein que, sob certas suposições, fornecem um erro quadrático médio de previsão uniformemente menor do que o mínimo de quadrados.

E em todas as pesquisas sucessivas, parece que o encolhimento se refere às características operacionais (e suas estimativas) para validade fora de amostra de previsão e estimativa no contexto de encontrar estimadores admissíveis e / ou minimax.

Isso é sobre regularização. Suponha que você deseje ajustar uma curva e use uma função de perda quadrada (você pode escolher diferentes). Porfitvocê gostaria de recuperar os parâmetros que governam o processo que gerou essa curva. Agora imagine que você gostaria de ajustar essa curva usando o 100º polinômio (apenas por exemplo). É bem provável que você superajuste ou capture cada torção e ruído da curva. Além disso, seus recursos de previsão fora do intervalo de dados de treinamento fornecidos provavelmente serão muito ruins. Portanto, o termo de regularização é adicionado à função objetivo com algum peso multiplicado pelo fator de regularização - l_1, l_2 ou personalizado. No caso de l_2, que é muito mais fácil de entender, isso terá o efeito de que os grandes valores de parâmetro serão forçados a reduzir o termo encolhimento. Você pode pensar em regularização ou retração como direcionar seu algoritmo para uma solução que pode ser uma solução melhor.