Teste de hipótese em dados contínuos inflados a zero

Eu gostaria muito de receber seu conselho sobre o seguinte problema:

Eu tenho um grande conjunto de dados contínuo com muitos zeros (~ 95%) e preciso encontrar a melhor maneira de testar se certos subconjuntos são "interessantes", ou seja, não parecem ser extraídos da mesma distribuição que o resto. A inflação zero vem do fato de que cada ponto de dados se baseia em uma medição de contagem com zeros verdadeiros e de amostragem, mas o resultado é contínuo, pois leva em consideração alguns outros parâmetros ponderados pela contagem (e, se a contagem for zero, o resultado também é zero).

Qual seria a melhor maneira de fazer isso? Sinto que Wilcoxon e até testes de permutação de força bruta são inadequados à medida que são distorcidos por esses zeros. O foco em medições diferentes de zero também remove zeros verdadeiros que são extremamente importantes. Modelos inflados a zero para dados de contagem são bem desenvolvidos, mas inadequados para o meu caso.

Eu considerei ajustar uma distribuição Tweedie aos dados e depois ajustar uma glm em response = f (subset_label). Teoricamente, isso parece viável, mas estou me perguntando se (a) isso é um exagero e (b) ainda assumirá implicitamente que todos os zeros são zeros de amostra, ou seja, seriam tendenciosos da mesma maneira (na melhor das hipóteses) como uma permutação?

Intuitivamente, parece ter algum tipo de design hierárquico que combina uma estatística binomial baseada na proporção de zeros e, digamos, uma estatística de Wilcoxon calculada com valores diferentes de zero (ou, melhor ainda, valores diferentes de zero suplementados com uma fração de zeros com base em alguns anteriores). Parece uma rede bayesiana ...

Espero que eu não seja o primeiro a ter esse problema, por isso ficaria muito grato se você pudesse me indicar técnicas existentes adequadas ...

Muito Obrigado!

@ msp, acho que você está procurando um modelo de dois estágios nesse anexo (não tive tempo de lê-lo), mas zero de dados contínuos inflados é o tipo com o qual trabalho muito. Para ajustar um modelo paramétrico a esses dados (para permitir testes de hipóteses), você pode ajustar um estágio de dois, mas então você tem dois modelos (Y é o alvo e X são covariáveis): P (Y = 0 | X) e P (Y | X; Y> 0). Você precisa usar a simulação para "reuni-las". O livro de Gelmans (e o pacote arm em R) mostra esse processo para esse modelo exato (usando regressão logística e regressão linear comum com um link de log).

A outra opção que eu já vi e que gosto mais é ajustar uma regressão gama inflada zero, que é a mesma que acima (mas gama como erro em vez de guassiano) e você pode reuni-las para testes de hipóteses em P (Y | X) . Eu não sei como fazer isso no R, mas você pode no SAS NLMIXED. Veja este post , ele funciona bem.

Uma abordagem semelhante ao artigo de Fletcher é usada em testes de marketing, onde podemos arbitrariamente separar os efeitos de intervenções (como publicidade) em (a) uma mudança no número de compras da marca (ou seja, proporção de zeros) e (b) a mudança na frequência de compra da banda (as vendas, dadas as vendas, ocorrem de todo). Essa é uma abordagem sólida e conceitualmente significativa no contexto de marketing e no contexto ecológico que Fletcher discute. De fato, isso pode ser estendido para (c) uma alteração no tamanho de cada compra.

Você pode tratar o número exato de zeros desconhecido, mas restrito entre 0 e o número observado de zeros. Certamente, isso pode ser tratado usando uma formulação bayesiana do modelo. Talvez um método de imputação múltipla também possa ser ajustado para variar adequadamente os pesos (entre 0 e 1) das zero observações…