Por que usar a validação cruzada estratificada? Por que isso não prejudica o benefício relacionado à variação?

Disseram-me que é benéfico usar a validação cruzada estratificada, especialmente quando as classes de resposta são desequilibradas. Se um objetivo da validação cruzada é ajudar a explicar a aleatoriedade da nossa amostra de dados de treinamento original, certamente fazer com que cada dobra tenha a mesma distribuição de classe funcionaria contra isso, a menos que você tivesse certeza de que seu conjunto de treinamento original tinha uma distribuição representativa de classe.

Minha lógica é falha?

EDIT Estou interessado em saber se esse método danifica o bem do CV. Percebo por que é necessário ter uma amostra pequena / classes muito desequilibradas / ambas para evitar não ter um único representante da classe menor em uma dobra.

O artigo Maçãs a Maçãs em estudos de validação cruzada: armadilhas na medição de desempenho do classificador apresenta bem o caso da estratificação, mas todos os argumentos parecem equivaler a 'A estratificação fornece uma salvaguarda e mais consistência', mas nenhuma salvaguarda seria necessária, dado o suficiente dados.

A resposta é simplesmente "Nós o usamos por necessidade, pois raramente temos dados suficientes". ?

O Bootstrapping procura simular o efeito de extrair uma nova amostra da população e não procura garantir conjuntos de testes distintos (resíduos após a amostragem N de N com substituição).

A validação cruzada de dobras de RxK garante K dobras de teste distintas, mas é repetida vezes R para diferentes particionamentos aleatórios para permitir que suposições de independência sejam válidas para o K-CV, mas isso é perdido com a repetição.

A validação cruzada estratificada viola o princípio de que os rótulos dos testes nunca deveriam ter sido analisados ​​antes do cálculo das estatísticas, mas geralmente isso é considerado inócuo, pois o único efeito é equilibrar as dobras, mas leva à perda de diversidade ( perda de variação indesejada). Ele se afasta ainda mais da idéia do Boostrap de construir uma amostra semelhante à que você tiraria naturalmente de toda a população. Indiscutivelmente, a principal razão pela qual a estratificação é importante é tratar dos defeitos nos algoritmos de classificação, pois eles são facilmente influenciados pela representação excessiva ou subrepresentada das classes. Um algoritmo que utiliza técnicas de balanceamento (por seleção ou ponderação) ou otimiza uma medida com chance de acerto (Kappa ou preferencialmente Informedness) é menos impactado por isso, embora mesmo esses algoritmos possam '

Forçar cada dobra a ter pelo menos m instâncias de cada classe, por alguns m pequenos, é uma alternativa à estratificação que funciona tanto para o Bootstrapping quanto para o CV. Ele tem um viés de suavização, tornando as dobras tendem a ser mais equilibradas do que seria de esperar.

Conjuntos e diversidade: se os classificadores aprendidos nas dobras de treinamento são usados ​​para fusão, não apenas para estimar erros de generalização, a crescente rigidez do CV, Bootstrap estratificado e CV estratificado leva à perda de diversidade e potencial resiliência, em comparação com o Bootstrap, o Bootstrap forçado e CV forçado.

Talvez você possa pensar dessa maneira. Digamos que você tenha um conjunto de dados em que haja 100 amostras, 90 na classe 'A' e 10 na classe 'B'. Nesse projeto muito desequilibrado, se você criar grupos aleatórios normais, poderá criar modelos em muito poucos (ou até NENHUM!) Da classe 'B'. Se você está construindo um modelo que é treinado em dados em que há tão poucos, ou mesmo nenhum, da outra classe, como você espera que ele preveja efetivamente o grupo mais raro? A validação cruzada estratificada permite a randomização, mas também garante que esses conjuntos de dados desequilibrados possuam algumas das duas classes.

Para pacificar as preocupações sobre o uso de CV estratificado com conjuntos de dados mais 'equilibrados', vejamos um exemplo usando o código R.

require(mlbench)
require(caret)
require(cvTools)

# using the Sonar dataset (208 samples)
data(Sonar)

# see the distribution of classes are very well balanced
prop.table(table(Sonar$Class))

> prop.table(table(Sonar$Class))

M         R 
0.5336538 0.4663462 

# stratified
# set seed for consistency
# caret::createFolds does stratified folds by default
set.seed(123)
strat <- createFolds(Sonar$Class, k=10)

# non-stratified using cvTools
set.seed(123)
folds <- cvFolds(nrow(Sonar), K=10, type="random")
df <- data.frame(fold = folds$which, index = folds$subsets)
non_strat <- lapply(split(df, df$fold), FUN=function(x) x$index)

# calculate the average class distribution of the folds
strat_dist <- colMeans(do.call("rbind", lapply(strat, FUN = function(x) prop.table(table(Sonar$Class[x])))))
    non_strat_dist <- colMeans(do.call("rbind", lapply(non_strat, FUN = function(x) prop.table(table(Sonar$Class[x])))))
strat_dist
> strat_dist
M         R 
0.5338312 0.4661688 
non_strat_dist
> non_strat_dist
M         R 
0.5328571 0.4671429 

Como você pode ver, em um conjunto de dados bem equilibrado, as dobras terão uma distribuição semelhante por acaso. Portanto, o CV estratificado é simplesmente uma medida de garantia nessas circunstâncias. No entanto, para lidar com a variação, é necessário examinar as distribuições de cada dobra. Em algumas circunstâncias (mesmo começando de 50 a 50), você pode ter dobras com divisões de 30 a 70 por acaso (você pode executar o código acima e ver isso realmente acontecendo!). Isso pode levar a um modelo com pior desempenho, pois não possui classe suficiente para prever com precisão, aumentando assim a variação geral do CV. Obviamente, isso é mais importante quando você tem amostras "limitadas", nas quais é mais provável que haja diferenças muito extremas na distribuição.

Agora, com conjuntos de dados muito grandes, a estratificação pode não ser necessária porque as dobras serão grandes o suficiente para provavelmente ainda conter pelo menos uma boa proporção da classe 'mais rara'. No entanto, não há realmente perda computacional e nenhuma razão real para renunciar à estratificação se suas amostras estiverem desequilibradas não importa quantos dados você tenha na minha opinião pessoal.