Por isso, fiquei imaginando como alguém, por exemplo, pode otimizar melhor o modelo que está tentando construir quando confrontado com problemas apresentados por alto viés ou alta variação. Agora, é claro, você pode jogar com o parâmetro de regularização para chegar a um final satisfatório, mas eu queria saber se é possível fazer isso sem depender da regularização.
Se b é o estimador de viés de um modelo ev de sua variância, não faria sentido tentar minimizar b * v?
Respostas:
Existem várias maneiras de minimizar o viés e a variação e, apesar do ditado popular, nem sempre é uma troca.
As duas principais razões para o alto viés são a capacidade insuficiente do modelo e a falta de ajuste, porque a fase de treinamento não estava completa. Por exemplo, se você tiver um problema muito complexo para resolver (por exemplo, reconhecimento de imagem) e usar um modelo de baixa capacidade (por exemplo, regressão linear), esse modelo terá um viés alto, pois o modelo não é capaz de entender a complexidade de o problema.
O principal motivo da alta variação é o ajuste excessivo no conjunto de treinamento.
Dito isto, existem maneiras de reduzir o viés e a variação de um modelo de ML. Por exemplo, a maneira mais fácil de conseguir isso é obter mais dados (em alguns casos, até os dados sintéticos ajudam).
O que costumamos fazer na prática é:
Primeiro, aumentamos a capacidade do modelo para reduzir ao máximo a variação no conjunto de treinamento. Em outras palavras, queremos tornar o modelo superajustado (até atingir uma perda de 0 no conjunto de treinamento). Isso é feito porque queremos garantir que o modelo tenha a capacidade de entender os dados suficientemente.
Então tentamos reduzir o viés . Isso é feito através da regularização ( paradas antecipadas , penalidades de normas , abandono etc.)