Overfitting Question

Você consideraria isso um super ajuste?

overfitting

Respostas:

Não, não é um exemplo de sobreajuste! Seria uma adaptação excessiva se a perda válida começasse a aumentar enquanto a perda de treinamento continuasse a diminuir.

Edit: a resposta para a segunda pergunta Vale a pena considerar como auc é calculado. Temos as probabilidades de cada instância pertencer à classe positiva. Depois, classificamos essas probabilidades. Se todas as instâncias positivas aparecerem na primeira parte da lista classificada e todas as negativas estiverem na segunda, auc será 1 (o "desempenho perfeito" de acordo com a observação da auc).

Agora vamos considerar o cálculo da perda. Por exemplo entropia cruzada binária. A fórmula é $loss = -1/N * \sum{y_i * log(p(y_i)) + (1 - y_i)*log(1 - p(y_i))}$ Onde $y_i$ - etiqueta verdadeira, $p(y_i)$ - probabilidade de que $y_i$ pertence à classe positiva. Podemos prever, para cada observação negativa, que a probabilidade é de 0,998, e a perda será enorme. Mas se as probabilidades previstas para observações positivas forem de 0,999 (mais altas que para negativas), então, em termos de AUC, teremos um desempenho perfeito.

É por isso que acho que temos que avaliar as perdas.

— Lana
fonte

Obrigado Lana, apesar de a diferença na perda entre treinamento e validação não estar indicando excesso de adequação?

— Nickolas Papanikolaou

@NickolasPapanikolaou é normal, quando a perda difere no conjunto de treinamento e validação, porque o modelo se torna mais familiarizado com os dados, que ele já viu no conjunto de treinamento (é a razão pela qual a divisão em teste, validação e trem geralmente é executada). No entanto, o desempenho do modelo nos dados de teste mostra que esse modelo continua a extrair algumas informações úteis, portanto o processo de aprendizado está acontecendo, mas é mais lento do que antes.

— Lana

Não, isso não é super adequado.

Antes de tudo, a AUC é exatamente a mesma entre os conjuntos de trem e validação. As perdas podem ter uma lacuna, mas como a perda de validação ainda está caindo (mesmo que lentamente), você está bem.

— Javier
fonte

Que tal este? Nesse caso, a perda de validação está aumentando, mas a AUC não segue o mesmo padrão, em qual acreditar perda ou desempenho?

— Nickolas Papanikolaou
fonte

Esqueceu-se de mencionar a AUC no conjunto de teste holdout é 0,928

— Nickolas Papanikolaou

Que perda você tem? O que é a distribuição de classes nos conjuntos de trem e teste?

— Lana

Eu respondi a esta pergunta, editando minha primeira resposta. Neste caso não é overfitting e desempenho perda deve ser avaliada

— Lana

Portanto, sua nova pergunta e minhas edições são o argumento contra a suposição, feita por Javier: "Primeiro, a AUC é exatamente a mesma entre conjuntos de trem e validação". Não poderia ser a razão principal

— Lana

Todos os três conjuntos (trem, validação, teste) são totalmente balanceados, usei binary_crossentropy. Eu acredito que o problema está relacionado com a AUC, já que se eu usar a precisão das curvas de desviar (sinais de overfitting), muito obrigado por suas respostas

— Nickolas Papanikolaou