O viés baixo em uma amostra é sinônimo de alta variação?

O seguinte é verdadeiro?

viés baixo = alta variância
viés baixo = baixa variância

Entendo o viés alto e baixo, mas como a variação é diferente? Ou os sinônimos acima?

— sempre curioso
fonte

A variação realmente não tem nada a ver com preconceitos.

— Michael R. Chernick

Esta é uma pergunta genérica sobre amostragem estatística? Nesse caso, desmarque as redes neurais . Se for especificamente sobre redes neurais, explique o motivo e adicione mais contexto.

— smci

Não. Você pode ter alta ou baixa ao mesmo tempo. Aqui está um exemplo ilustrativo. imagem e fonte do artigo Também recomendo que você leia o artigo de onde essa imagem vem.

A razão pela qual você tem essa impressão é que, na "tenra idade" do aprendizado de máquina, existe um conceito chamado compensação de variação de viés (como o @Kodiologist mencionou, esse conceito ainda é verdadeiro e um conceito fundamental dos modelos de ajuste atualmente).

Ao aumentar a complexidade do modelo, a variação aumenta e o viés é reduzido
quando regulariza o modelo, o viés é aumentado e a variação reduzida.

Na recente palestra Deep Learning Coursera, de Andrew Ng, ele mencionou que, na recente estrutura de aprendizado profundo (com grande quantidade de dados), as pessoas falam menos sobre troca. Em vez disso, existem maneiras de reduzir apenas a variação e não aumentar o viés (por exemplo, aumentar o tamanho dos dados de treinamento), como vice-versa.

— Haitao Du
fonte

Obrigado, você tem o link para o artigo?

— 91818 alwayscurious

As observações de Andrew Ng provavelmente estavam relacionadas ao aprendizado de máquina "big data". Tanto a teoria quanto a prática sugerem que, quando o tamanho dos dados é pequeno, a troca de viés e variância é muito importante.

— Martin L

A troca ainda surge com bastante frequência no presente. Por exemplo, a regressão regularizada obtém sua vantagem preditiva sobre o OLS trocando a variação pelo viés de uma maneira que aumenta a precisão na rede. Além disso, é fácil criar um estimador imparcial que tenha variação demais para ser útil, e um estimador de variância 0 que possui viés demais para ser útil.

— Kodiologist

@ Kodiologist obrigado pelo comentário. Revisei minha resposta, espero que seja melhor.

— Haitao Du

Sim, eu definitivamente gosto mais agora!

— Matthew Drury

A diferença entre viés e variância é a mesma que entre exatidão e precisão :

A precisão de um sistema de medição é a proximidade com o valor real (verdadeiro) de uma quantidade. (≈ viés)

A precisão de um sistema de medição é o grau em que medições repetidas fornecem os mesmos resultados. (≈ variação)

— Eric Duminil
fonte