Existe uma regra prática sobre como dividir um conjunto de dados em conjuntos de treinamento e validação?

Existe uma regra prática sobre como melhor dividir dados em conjuntos de treinamento e validação? Uma divisão par 50/50 é aconselhável? Ou há vantagens claras de ter mais dados de treinamento em relação aos dados de validação (ou vice-versa)? Ou essa escolha depende praticamente do aplicativo?

Eu tenho usado principalmente 80% / 20% dos dados de treinamento e validação, respectivamente, mas eu escolhi essa divisão sem nenhuma razão de princípio. Alguém mais experiente em aprendizado de máquina pode me aconselhar?

Existem duas preocupações concorrentes: com menos dados de treinamento, suas estimativas de parâmetros têm maior variação. Com menos dados de teste, sua estatística de desempenho terá maior variação. Em termos gerais, você deve se preocupar em dividir os dados de modo que nenhuma variação seja muito alta, o que tem mais a ver com o número absoluto de instâncias em cada categoria do que com a porcentagem.

Se você tiver um total de 100 instâncias, provavelmente está preso à validação cruzada, pois nenhuma divisão única fornecerá uma variação satisfatória em suas estimativas. Se você tiver 100.000 instâncias, não importa realmente se você escolhe uma divisão 80:20 ou uma divisão 90:10 (na verdade, você pode optar por usar menos dados de treinamento se o seu método for particularmente intensivo em computação).

Supondo que você tenha dados suficientes para executar dados de teste retidos adequados (em vez de validação cruzada), a seguir é uma maneira instrutiva de lidar com variações:

1. Divida seus dados em treinamento e teste (80/20 é realmente um bom ponto de partida)
2. Divida os dados do treinamento em treinamento e validação (novamente, 80/20 é uma divisão justa).
3. Subamostra as seleções aleatórias dos seus dados de treinamento, treine o classificador com isso e registre o desempenho no conjunto de validação
4. Tente uma série de execuções com diferentes quantidades de dados de treinamento: colete 20% deles aleatoriamente, digamos, 10 vezes e observe o desempenho nos dados de validação e faça o mesmo com 40%, 60%, 80%. Você verá um desempenho melhor com mais dados, mas também uma variação menor nas diferentes amostras aleatórias
5. Para controlar a variação devido ao tamanho dos dados de teste, execute o mesmo procedimento ao contrário. Treine todos os seus dados de treinamento, faça uma amostragem aleatória de uma porcentagem de seus dados de validação várias vezes e observe o desempenho. Agora você deve achar que o desempenho médio em pequenas amostras de seus dados de validação é aproximadamente o mesmo que o desempenho em todos os dados de validação, mas a variação é muito maior com números menores de amostras de teste

Você ficaria surpreso ao descobrir que 80/20 é uma proporção bastante comum, geralmente chamada de princípio de Pareto . Geralmente é uma aposta segura se você usar essa proporção.

No entanto, dependendo da metodologia de treinamento / validação empregada, a proporção pode mudar. Por exemplo: se você usar a validação cruzada de 10 vezes, acabaria com um conjunto de validação de 10% em cada dobra.

Houve alguma pesquisa sobre qual é a proporção adequada entre o conjunto de treinamento e o conjunto de validação :

A fração de padrões reservados para o conjunto de validação deve ser inversamente proporcional à raiz quadrada do número de parâmetros ajustáveis ​​livres.

Em sua conclusão, eles especificam uma fórmula:

O conjunto de validação (v) para a proporção de tamanho do conjunto de treinamento (t), v / t, escala como ln (N / h-max), em que N é o número de famílias de reconhecedores e h-max é a maior complexidade dessas famílias.

O que eles querem dizer com complexidade é:

Cada família de reconhecedores é caracterizada por sua complexidade, que pode ou não estar relacionada à dimensão VC , ao comprimento da descrição, ao número de parâmetros ajustáveis ​​ou a outras medidas de complexidade.

Utilizando a primeira regra de ouro (o conjunto de validação deve ser inversamente proporcional à raiz quadrada do número de parâmetros ajustáveis ​​livres), você pode concluir que, se tiver 32 parâmetros ajustáveis, a raiz quadrada de 32 é ~ 5,65, a fração deve ser 1 / 5,65 ou 0,177 (v / t). Aproximadamente 17,7% devem ser reservados para validação e 82,3% para treinamento.

No ano passado, participei do curso de aprendizado de máquina on-line do Prof: Andrew Ng. Sua recomendação foi:

Treinamento : 60%

Validação cruzada : 20%

Teste : 20%

Bem, você deve pensar em mais uma coisa.

Se você tem um conjunto de dados realmente grande, como 1.000.000 de exemplos, a divisão 80/10/10 pode ser desnecessária, porque 10% = 100.000 exemplos não são necessários para saber se o modelo funciona bem.

Talvez 99 / 0,5 / 0,5 seja suficiente, porque 5.000 exemplos podem representar a maior parte da variação nos dados e você pode facilmente dizer que o modelo funciona bem com base nesses 5.000 exemplos em teste e desenvolvimento.

Suponha que você tenha menos dados, sugiro tentar 70%, 80% e 90% e testar o que está dando um melhor resultado. No caso de 90%, há chances de que, para 10% do teste, você tenha baixa precisão.

Talvez 63,2% / 36,8% seja uma escolha razoável. O motivo seria que, se você tivesse um tamanho total da amostra n e desejasse amostrar aleatoriamente com casos de substituição (também conhecidos como re-amostragem, como na estatística de inicialização) n fora do n inicial , a probabilidade de um caso individual ser selecionado no a nova amostra seria de aproximadamente 0,632, desde que n não seja muito pequeno, conforme explicado aqui: https://stats.stackexchange.com/a/88993/16263

Para uma amostra de n = 250, a probabilidade de um caso individual ser selecionado para uma nova amostra com 4 dígitos é 0,6329. Para uma amostra de n = 20000, a probabilidade é 0,6321.

Tudo depende dos dados disponíveis. Se você tiver uma quantidade considerável de dados, 80/20 é uma boa escolha, como mencionado acima. Porém, se você não fizer a validação cruzada com uma divisão 50/50, poderá ajudá-lo muito mais e impedir que você crie um modelo que ajuste demais seus dados de treinamento.