Qual é a causa raiz do problema de desequilíbrio de classe?

Ultimamente, tenho pensado muito sobre o "problema de desequilíbrio de classe" no aprendizado de máquina / estatística, e estou me aprofundando cada vez mais em um sentimento de que simplesmente não entendo o que está acontecendo.

Primeiro, deixe-me definir (ou tentar) definir meus termos:

O problema de desequilíbrio de classe no aprendizado de máquina / estatística é a observação de que alguns algoritmos de classificação binária (*) não apresentam bom desempenho quando a proporção de 0 classe a 1 classe é muito distorcida.

Portanto, no exemplo acima, se houvesse cem classes $0$ para cada classe $1$ , eu diria que o desequilíbrio de classe é de $1$ a $100$ , ou $1\%$ .

A maioria das afirmações do problema que vi não tem o que consideraria uma qualificação suficiente (que modelos enfrentam, quão desequilibrado é um problema), e essa é uma fonte da minha confusão.

Uma pesquisa dos textos padrão no aprendizado de máquina / estatística mostra pouco:

• Os elementos de inclinação estatística e introdução à aprendizagem estatística não contêm "desequilíbrio de classe" no índice.

• O Machine Learning para análise de dados preditiva também não contém "desequilíbrio de classe" no índice.

• Murphy Machine Learning: uma perspectiva probabilística faz conter "desequilíbrio classe * no índice A referência é a uma seção sobre SVM do, onde eu encontrei o seguinte comentário tentadora.:

  Vale lembrar que todas essas dificuldades, e a infinidade de heurísticas que foram propostas para corrigi-las, surgem fundamentalmente porque os SVMs não modelam incerteza usando probabilidades, portanto, suas pontuações de saída não são comparáveis ​​entre as classes.

Esse comentário concorda com a minha intuição e experiência: no meu trabalho anterior, rotineiramente ajustávamos regressões logísticas e modelos de árvores com gradiente (para minimizar a probabilidade binomial de log) a dados desequilibrados (da ordem de $1\%$ desequilíbrio de classe), sem questões óbvias no desempenho.

Eu li (em algum lugar) que os modelos baseados em árvores de classificação (árvores em si e floresta aleatória) também sofrem com o problema de desequilíbrio de classe. Isso atrapalha um pouco as águas, as árvores, em certo sentido, retornam probabilidades: o registro de votação para a classe-alvo em cada nó terminal da árvore.

Então, para finalizar, o que realmente busco é uma compreensão conceitual das forças que levam ao problema de desequilíbrio de classe (se existir).

• É algo que fazemos a nós mesmos com algoritmos mal escolhidos e limites de classificação padrão preguiçosos?
• Desaparece se sempre ajustamos modelos de probabilidade que otimizam os critérios de pontuação adequados? Dito de forma diferente, a causa é simplesmente uma má escolha da função de perda, ou seja, avaliar o poder preditivo de um modelo com base em regras rígidas de classificação e precisão geral?
• Em caso afirmativo, os modelos que não otimizam as regras de pontuação adequadas são inúteis (ou pelo menos menos úteis)?

(*) Por classificação, quero dizer qualquer modelo estatístico adequado aos dados da resposta binária. Estou não assumindo que meu objetivo é uma tarefa difícil de uma classe ou de outra, embora possa ser.

Uma entrada da Encyclopedia of Machine Learning ( https://cling.csd.uwo.ca/papers/cost_sensitive.pdf ) explica de maneira útil que o que é chamado de "o problema de desequilíbrio de classe" é melhor entendido como três problemas separados:

 (1) assuming that an accuracy metric is appropriate when it is not

 (2) assuming that the test distribution matches the training 
     distribution when it does not

 (3) assuming that you have enough minority class data when you do not

Os autores explicam:

Os conjuntos de dados desequilibrados de classe ocorrem em muitos aplicativos do mundo real onde as distribuições de dados de classe são altamente desequilibradas. Novamente, sem perda de generalidade, assumimos que a classe minoritária ou rara é a classe positiva e a classe majoritária é a classe negativa. Geralmente, a classe minoritária é muito pequena, como 1% do conjunto de dados. Se aplicarmos os classificadores mais tradicionais (sem custo) no conjunto de dados, é provável que eles prevejam tudo como negativo (a classe majoritária). Isso costumava ser considerado um problema ao aprender com conjuntos de dados altamente desequilibrados.

No entanto, como apontado por (Provost, 2000), duas premissas fundamentais são frequentemente feitas nos classificadores tradicionais que não apresentam custo. A primeira é que o objetivo dos classificadores é maximizar a precisão (ou minimizar a taxa de erro); a segunda é que a distribuição em classe dos conjuntos de dados de treinamento e teste é a mesma. Sob essas duas suposições, prever tudo como negativo para um conjunto de dados altamente desequilibrado costuma ser a coisa certa a fazer. (Drummond e Holte, 2005) mostram que geralmente é muito difícil superar esse classificador simples nessa situação.

Assim, o problema de classe desequilibrada só se torna significativo se uma ou ambas as suposições acima não forem verdadeiras; isto é, se o custo de diferentes tipos de erro (falso positivo e falso negativo na classificação binária) não for o mesmo ou se a distribuição da classe nos dados de teste for diferente da dos dados de treinamento. O primeiro caso pode ser tratado com eficácia usando métodos em meta-aprendizagem sensível a custos.

No caso em que o custo da classificação incorreta não é igual, geralmente é mais caro classificar incorretamente um exemplo minoritário (positivo) na classe majoritária (negativa) do que um exemplo majoritário na classe minoritária (caso contrário, é mais plausível prever tudo como negativo). Ou seja, FN> FP. Assim, dados os valores de FN e FP, uma variedade de métodos de meta-aprendizagem sensíveis ao custo pode ser e tem sido usada para resolver o problema de desequilíbrio de classe (Ling e Li, 1998; Japkowicz e Stephen, 2002). Se os valores de FN e FP não forem explicitamente desconhecidos, FN e FP podem ser atribuídos para serem proporcionais a p (-): p (+) (Japkowicz e Stephen, 2002).

Caso as distribuições de classe dos conjuntos de dados de treinamento e teste sejam diferentes (por exemplo, se os dados de treinamento estiverem altamente desequilibrados, mas os dados de teste forem mais equilibrados), uma abordagem óbvia é a amostragem dos dados de treinamento, para que sua distribuição de classe seja a mesma que os dados do teste (superamostrando a classe minoritária e / ou subamostrando a classe majoritária) (Provost, 2000).

Observe que, às vezes, o número de exemplos da classe minoritária é muito pequeno para que os classificadores aprendam adequadamente. Esse é o problema dos dados de treinamento insuficientes (pequenos), diferentes dos dos conjuntos de dados desequilibrados.

Portanto, como Murphy implica, não há nada inerentemente problemático no uso de classes desequilibradas, desde que você evite esses três erros. Os modelos que geram probabilidades posteriores facilitam evitar erros (1) do que os modelos discriminantes como o SVM, porque permitem separar a inferência da tomada de decisão. (Veja a seção 1.5.4, Inferência e Decisão do Bispo, para uma discussão mais aprofundada sobre esse último ponto.)

Espero que ajude.

Qualquer coisa que envolva otimização para minimizar uma função de perda, se for suficientemente convexa, fornecerá uma solução que seja um mínimo global dessa função de perda. Digo 'suficientemente convexo', já que as redes profundas não são de todo convexas, mas fornecem mínimos razoáveis ​​na prática, com escolhas cuidadosas da taxa de aprendizado etc.

Portanto, o comportamento de tais modelos é definido pelo que colocarmos na função de perda.

$F$

$F$$G$$b$$F$$F$$b$$G$

$b$$G$

$F$$G$$G^*$

Agora, digamos que temos uma função de perda que é:

$I_c$$1$$c$$0$$y_i$$i$$g(x_i)$$i$

$99*0.9 = 89.1$$99*0.1=9.9$$1 * 0.9=0.9$$1 * 0.1=0.1$

$\mathcal{L} = (9.9 + 0.1)/100 = 0.1$

$G$$1/100$

$\mathcal{L} = 0.01$

Dez vezes menor que a perda ao definir o limite, de modo a atribuir igual recall e precisão a cada classe.

$G$$G^*$

$G^*$

Como alternativa, podemos modificar o conjunto de dados clonando a cada exemplo B 99 vezes, o que também fará com que a função de perda não tenha mais um mínimo em uma posição diferente do nosso limite ideal anterior.

Observe que os classificadores de uma classe não têm um problema de desequilíbrio, pois olham para cada classe independentemente de todas as outras classes e podem lidar com "não-classes" simplesmente não modelando-as. (Eles podem ter um problema com um tamanho de amostra muito pequeno, é claro).

Muitos problemas que seriam modelados de maneira mais apropriada pelos classificadores de uma classe levam a modelos mal definidos quando abordagens discriminatórias são usadas, dos quais "problemas de desequilíbrio de classe" são um sintoma.

Como exemplo, considere algum produto que pode ser bom para ser vendido ou não. Tal situação é geralmente caracterizada por

class         | "good"                        | "not good"
--------------+-------------------------------+------------------------------------------
sample size   | large                         | small
              |                               |
feature space | single, well-delimited region | many possibilities of *something* wrong 
              |                               | (possibly well-defined sub-groups of
              |                               |    particular fault reasons/mechanisms) 
              |                               | => not a well defined region, 
              |                               | spread over large parts of feature space
              |                               |
future cases  | can be expected to end up     | may show up *anywhere* 
              | inside modeled region         | (except in good region)

Assim, a classe "boa" é bem definida, enquanto a classe "não boa" é mal definida. Se essa situação é modelada por um classificador discriminativo, temos um duplo "problema de desequilíbrio": não apenas a classe "não boa" tem um tamanho pequeno de amostra, mas também uma densidade amostral ainda menor (menos amostras espalhadas por um parte maior do espaço do recurso).

Esse tipo de "problema de desequilíbrio de classe" desaparecerá quando a tarefa for modelada como reconhecimento de uma classe da classe "boa" bem definida.