Medindo a qualidade do ajuste em um modelo que combina duas distribuições

Eu tenho dados com um pico duplo que estou tentando modelar e há sobreposição suficiente entre os picos que não posso tratá-los independentemente. Um histograma dos dados pode ser algo como isto:

texto alternativo

Eu criei dois modelos para isso: um usa duas distribuições de Poisson e o outro usa duas distribuições binomiais negativas (para explicar a sobredispersão). Qual é a maneira apropriada de saber qual modelo se ajusta aos dados com mais precisão?

Meu pensamento inicial é que eu poderia usar um teste de Kolmogorov-Smirnov para comparar cada modelo com os dados e, em seguida, fazer um teste de razão de verossimilhança para ver se um é um ajuste significativamente melhor. Isso faz sentido? Nesse caso, não sei exatamente como executar o teste da razão de verossimilhança. O qui-quadrado é apropriado e quantos graus de liberdade eu tenho?

Se ajudar, algum código R (muito simplificado) para os modelos pode ser algo como isto:

## inital data points
a <- read.table("data")

#create model data
model.pois = c(rpois(1000000,200),rpois(500000,250))
model.nb = c(rnbinom(1000000,200,0.5),rnbinom(500000,275,0.5)

#Kolmogorov-Smirnov test
#use ks.boot, since it's count data that may contain duplicate values
kpois = ks.boot(model.pois,a)
knb = ks.boot(model.nb,a)

#here's where I'd do some sort of likelihood ratio test
# . . .

Edit: Aqui está uma imagem que pode explicar os dados e as distribuições que estou ajustando melhor. É totalmente claro pela visualização que o segundo modelo (usando a distância binomial negativa para explicar a sobredispersão) é um ajuste melhor. Eu gostaria de mostrar isso quantitativamente. texto alternativo

(vermelho - dados, verde - modelo)

— chrisamiller
fonte

você conhece a distribuição de probabilidade dos valores em cada posição ? O rótulo do eixo y me faz pensar que isso poderia ser Poissoniano ou Multinomial? (assumindo um modelo dá-lhe a média em cada bin)

— Andre Holzner

Os dados são essencialmente extraídos de dois processos de Poisson, mas existem variáveis ocultas que não posso corrigir, levando a uma super-dispersão. Assim, um binômio negativo é definitivamente um modelo melhor. (veja a nova imagem / texto que adicionei acima). Eu preciso mostrar que meu modelo nb se encaixa melhor quantitativamente.

— chrisamiller

Que tal uma métrica como o erro médio quadrático entre os valores reais e os previstos?

hrmm - eu gosto dessa ideia, Srikant. É muito mais simples do que eu estava pensando, mas ainda faz sentido. Coloque uma resposta abaixo para que eu possa creditar e enviar algum representante à sua maneira. Ainda estou interessado em ouvir outros métodos, mas isso pode funcionar por enquanto.

— Chrisamiller 12/09/10

Respostas:

Você pode usar uma métrica, como Erro médio quadrático, entre os valores reais e os previstos, para comparar os dois modelos.

Essa foi a resposta certa para minha situação específica, mesmo que a resposta de Glen_b tenha me ajudado a aprender mais. Portanto, mais votos positivos para ele, resposta aceita para Srikant. Todo mundo ganha - obrigado a todos.

— Chrisamiller

Você não pode compará-los diretamente, pois o binômio negativo possui mais parâmetros. De fato, o Poisson é "aninhado" dentro do Binomial Negativo, no sentido de que é um caso limitante, portanto o NegBin sempre se ajustará melhor que o Poisson. No entanto, isso torna possível considerar algo como um teste de razão de verossimilhança, mas o fato de o Poisson estar no limite do espaço do parâmetro para o binômio negativo pode afetar a distribuição da estatística do teste.

De qualquer forma, mesmo que a diferença no número de parâmetros não tenha sido um problema, você não pode executar testes KS diretamente porque possui parâmetros estimados , e KS é especificamente para o caso em que todos os parâmetros são especificados. Sua ideia de usar o bootstrap lida com esse problema, mas não o primeiro (diferença no número de parâmetros)

Eu também estaria considerando testes suaves de qualidade de ajuste (por exemplo, consulte o livro de Rayner e Best), que, por exemplo, podem levar a uma partição do teste de qualidade de ajuste qui-quadrado em componentes de interesse (medindo desvios do modelo de Poisson neste caso) - retirado para dizer quarta ou sexta ordem, isso deve levar a um teste com boa potência para a alternativa NegBin.

(Edit: Você pode comparar seus ajustes de poisson e negbin através de um teste do qui-quadrado, mas ele terá baixa potência. Particionar o qui-quadrado e olhar apenas para, digamos, os primeiros 4-6 componentes, como é feito com testes suaves, pode ser melhor .)

— Glen_b -Reinstate Monica
fonte

Obrigado. Isso esclarece um monte de coisas e abre uma série de novas perguntas nas quais terei que fazer alguma pesquisa. Acho que minha pergunta principal é: o que você está dizendo significa que algo mais simples, como apenas errar ao quadrado, não é uma maneira válida de abordar esse problema? Devo admitir que provavelmente não é tão robusto e não me dará um valor-p, mas é algo que eu poderia fazer rapidamente enquanto tentava rastrear uma cópia do livro que você mencionou. Qualquer pensamento seria apreciado.

— Chrisamiller #

imagine que você tinha um conjunto de pontos (x, y) e estava pensando se poderia ajustar uma linha reta ou quadrática. Se você comparasse o RMSE, o quadrático sempre venceria a linha reta , porque a linha é quadrática com um parâmetro definido como zero: se a estimativa de mínimos quadrados do parâmetro for exatamente zero (que tem probabilidade zero de resposta contínua), é um empate e, em todos os outros casos, a linha perde. É o mesmo com o Poisson versus o binômio negativo - um Binomial Negativo livre pode sempre caber pelo menos tão bem quanto um Poisson livre.

— Glen_b -Reinstate Monica

Boa explicação - eu entendo o que você está dizendo agora. Eu acho que meu caso é um pouco diferente, porque não estou fazendo regressão para ajustar, mas estou baseando o parâmetro NB extra em informações externas (espero que a relação var / média seja N). Como Poisson é o caso especial em que N = 1, o que realmente estou comparando é a escolha de N. Concordo que, se estivesse fazendo regressão, o RN sempre seria capaz de encontrar um ajuste melhor, porque é menos restrito. No meu caso, onde eu estou escolhendo um valor para N na frente, certamente seria possível escolher algum valor louco de N que piora o ajuste.

— Chrisamiller # 14/10

Certamente vou ler sobre os testes suaves de qualidade de ajuste que você sugeriu. Obrigado pelas respostas informativas.

— Chrisamiller # 14/10

Desculpe por não perceber que os dados não foram escolhidos como parâmetro de superdispersão. Pode haver algum argumento para fazê-lo do seu jeito, mas se a estimativa externa provavelmente refletir o que você realmente observa, o RN ainda poderá ter alguma vantagem dependendo das circunstâncias.

— Glen_b -Reinstala Monica