Como resolver o paradoxo de Simpson?

O paradoxo de Simpson é um quebra-cabeça clássico discutido em cursos introdutórios de estatística em todo o mundo. No entanto, meu curso se contentou em simplesmente observar que existia um problema e não fornecia uma solução. Eu gostaria de saber como resolver o paradoxo. Ou seja, quando confrontado com o paradoxo de Simpson, onde duas escolhas diferentes parecem competir por ser a melhor escolha, dependendo de como os dados são particionados, qual opção deve-se escolher?

Para tornar o problema concreto, vamos considerar o primeiro exemplo dado no artigo relevante da Wikipedia . É baseado em um estudo real sobre um tratamento para pedras nos rins.

Suponha que eu seja médico e um teste revele que um paciente tem pedras nos rins. Usando apenas as informações fornecidas na tabela, gostaria de determinar se devo adotar o tratamento A ou o tratamento B. Parece que, se eu souber o tamanho da pedra, devemos preferir o tratamento A. Mas, se não, devemos preferir o tratamento B.

Mas considere outra maneira plausível de chegar a uma resposta. Se a pedra é grande, devemos escolher A, e se for pequena, devemos escolher novamente A. Portanto, mesmo se não soubermos o tamanho da pedra, pelo método dos casos, veremos que devemos preferir A. Isso contradiz o nosso raciocínio anterior.

Então: um paciente entra no meu consultório. Um teste revela que eles têm cálculos renais, mas não me fornece informações sobre seu tamanho. Qual tratamento eu recomendo? Existe alguma resolução aceita para esse problema?

A Wikipedia sugere uma resolução usando "redes bayesianas causais" e um teste de "porta dos fundos", mas não tenho idéia do que sejam.

Na sua pergunta, você afirma que não sabe o que são "redes bayesianas causais" e "testes de porta traseira".

Suponha que você tenha uma rede bayesiana causal. Ou seja, um gráfico acíclico direcionado cujos nós representam proposições e cujas arestas direcionadas representam possíveis relacionamentos causais. Você pode ter muitas redes desse tipo para cada uma de suas hipóteses. Existem três maneiras de argumentar convincentemente sobre a força ou a existência de uma vantagem .$A \stackrel?\rightarrow B$

A maneira mais fácil é uma intervenção. É o que as outras respostas estão sugerindo quando dizem que a "randomização adequada" resolverá o problema. Você forçar aleatoriamente ter valores diferentes e você medir . Se você pode fazer isso, está feito, mas nem sempre pode fazer isso. No seu exemplo, pode ser antiético dar às pessoas tratamentos ineficazes para doenças mortais, ou eles podem ter alguma influência no tratamento, por exemplo, eles podem escolher o menos severo (tratamento B) quando suas pedras nos rins são pequenas e menos dolorosas.$A$$B$

A segunda maneira é o método da porta da frente. Você quer mostrar que age sobre B via C , ou seja, A → C → B . Se você assumir que C é potencialmente causada por A , mas não tem outras causas, e você pode medir isso C está correlacionada com A e B está correlacionada com C , então você pode concluir provas devem ser fluindo via C . O exemplo original: é fumar,é câncer,$A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$é acumulação de alcatrão. O alcatrão só pode vir do tabagismo, e isso se correlaciona com o tabagismo e o câncer. Portanto, fumar causa câncer via alcatrão (embora possa haver outros caminhos causais que atenuam esse efeito).

A terceira maneira é o método da porta dos fundos. Você quer mostrar que e não são correlacionados por causa de uma "porta dos fundos", por exemplo, causa comum, ou seja, . Desde que você tenha assumido um modelo causal, você só precisa bloquear a todos os caminhos (observando-se variáveis e condicionado sobre eles) que a evidência pode fluir a partir e para baixo para . É um pouco complicado bloquear esses caminhos, mas o Pearl fornece um algoritmo claro que permite saber quais variáveis ​​você deve observar para bloquear esses caminhos.$A$$B$$A \leftarrow D \rightarrow B$$A$$B$

É certo que, com boa aleatorização, os fatores de confusão não importam. Como supomos que não é permitida a intervenção na causa hipotética (tratamento), qualquer causa comum entre a causa hipotética (tratamento) e o efeito (sobrevivência), como idade ou tamanho da pedra nos rins, será um fator de confusão. A solução é tomar as medidas corretas para bloquear todas as portas traseiras. Para uma leitura mais detalhada, consulte:

Pearl, Judéia. "Diagramas causais para pesquisa empírica". Biometrika 82,4 (1995): 669-688.

Para aplicar isso ao seu problema, primeiro desenhemos o gráfico causal. (Tratamento-anterior) de tamanho de pedra nos rins e do tipo de tratamento são ambos causas de sucesso . pode ser uma causa de se outros médicos estiverem atribuindo tratamento com base no tamanho da pedra nos rins. É evidente que não há outras relações causais entre , , e . vem depois de portanto não pode ser sua causa. Da mesma forma vem depois de e .$X$$Y$$Z$$X$$Y$$X$$Y$$Z$$Y$$X$$Z$$X$$Y$

Como é uma causa comum, ele deve ser medido. Cabe ao pesquisador determinar o universo de variáveis ​​e possíveis relacionamentos causais . Para cada experimento, o pesquisador mede as "variáveis ​​da porta traseira" necessárias e calcula a distribuição de probabilidade marginal do sucesso do tratamento para cada configuração de variáveis. Para um novo paciente, você mede as variáveis ​​e segue o tratamento indicado pela distribuição marginal. Se você não pode medir tudo ou não possui muitos dados, mas conhece alguma coisa sobre a arquitetura dos relacionamentos, pode fazer a "propagação de crenças" (inferência bayesiana) na rede.$X$

Eu tenho uma resposta prévia que discute o paradoxo de Simpson aqui: paradoxo básico de Simpson . Pode ajudar você a ler isso para entender melhor o fenômeno.

Em suma, o paradoxo de Simpson ocorre por causa de confusão. No seu exemplo, o tratamento é confundido* com o tipo de cálculos renais que cada paciente possuía. Sabemos da tabela completa de resultados apresentados que o tratamento A é sempre melhor. Assim, o médico deve escolher o tratamento A. A única razão pela qual o tratamento B parece melhor no conjunto é que ele foi administrado com mais frequência a pacientes com a condição menos grave, enquanto o tratamento A foi administrado a pacientes com a condição mais grave. No entanto, o tratamento A teve melhor desempenho em ambas as condições. Como médico, você não se importa com o fato de que, no passado, o pior tratamento tenha sido dado aos pacientes com menor condição, você só se preocupa com o paciente antes de você e, se quiser que ele melhore, fornecerá com o melhor tratamento disponível.

* _{Observe que o objetivo de executar experimentos e randomizar tratamentos é criar uma situação na qual os tratamentos não sejam confundidos. Se o estudo em questão fosse um experimento, eu diria que o processo de randomização falhou em criar grupos equitativos, embora possa ter sido um estudo observacional - não sei.}

Este belo artigo de Judea Pearl publicado em 2013 trata exatamente do problema de qual opção escolher quando confrontado com o paradoxo de Simpson:

Entendendo o paradoxo de Simpson (PDF)

Deseja a solução para um exemplo ou para o paradoxo em geral? Não existe nenhum para o último porque o paradoxo pode surgir por mais de um motivo e precisa ser avaliado caso a caso.

O paradoxo é principalmente problemático ao relatar dados resumidos e é fundamental para treinar indivíduos como analisar e relatar dados. Não queremos que os pesquisadores relatem estatísticas resumidas que ocultam ou ofuscam padrões nos dados ou que os analistas de dados falhem em reconhecer qual é o padrão real nos dados. Nenhuma solução foi dada porque não existe uma solução.

Nesse caso em particular, o médico com a tabela sempre escolheria claramente A e ignoraria a linha de resumo. Não faz diferença se eles sabem o tamanho da pedra ou não. Se alguém analisando os dados tivesse relatado apenas as linhas de resumo apresentadas para A e B, haveria um problema porque os dados que o médico recebeu não refletiam a realidade. Nesse caso, eles provavelmente também deveriam ter deixado a última linha fora da tabela, pois ela está correta apenas sob uma interpretação do que a estatística de resumo deve ser (existem duas possíveis). Deixar o leitor interpretar as células individuais geralmente produziria o resultado correto.

(Seus copiosos comentários parecem sugerir que você está mais preocupado com questões desiguais de N e Simpson é mais amplo do que isso, por isso estou relutante em me aprofundar mais na questão desigual de N. Talvez faça uma pergunta mais direcionada. Além disso, você parece pensar que eu estou defendendo uma conclusão de normalização. Não estou. Estou argumentando que você precisa considerar que a estatística sumária é relativamente arbitrariamente selecionada e que a seleção de alguns analistas deu origem ao paradoxo. Estou argumentando ainda mais que você olha para as células que ter.)

Uma importante "retirada" é que, se as atribuições de tratamento são desproporcionais entre subgrupos, é necessário levar em consideração os subgrupos ao analisar os dados.

Uma segunda "retirada" importante é que os estudos observacionais são especialmente propensos a fornecer respostas erradas devido à presença desconhecida do paradoxo de Simpson. Isso ocorre porque não podemos corrigir o fato de que o Tratamento A tendia a ser administrado aos casos mais difíceis, se não sabemos que foi.

Em um estudo randomizado adequadamente, podemos (1) alocar o tratamento aleatoriamente para que seja altamente improvável dar uma "vantagem injusta" a um tratamento e ser tratado automaticamente na análise dos dados ou (2) se houver um motivo importante para fazer isso, aloque os tratamentos aleatoriamente, mas desproporcionalmente, com base em algum problema conhecido e leve esse problema em consideração durante a análise.