Em testes outlier univariados (ou: Dixon Q versus Grubbs)

Na (grande parte) da literatura química analítica, o teste padrão para detectar valores extremos em dados univariados (por exemplo, uma sequência de medições de algum parâmetro) é o teste Q de Dixon. Invariavelmente, todos os procedimentos listados nos livros didáticos calculam uma quantidade dos dados para serem comparados com um valor tabular. À mão, isso não é muito preocupante; no entanto, estou planejando escrever um programa de computador para o Dixon Q, e apenas o cache de valores me parece deselegante. O que me leva à minha primeira pergunta:

1. Como são gerados os valores tabulares do Dixon Q?

Agora, já examinei este artigo , mas sinto que isso é um pouco de trapaça, pois o autor apenas constrói um spline que passa pelos valores tabulares gerados por Dixon. Tenho a sensação de que uma função especial (por exemplo, função de erro ou beta / gama incompleta) será necessária em algum lugar, mas pelo menos eu tenho algoritmos para elas.

Agora, para a minha segunda pergunta: a ISO parece estar recomendando lentamente o teste de Grubbs sobre o Dixon Q hoje em dia, mas, a julgar pelos livros didáticos, ainda não conseguiu entender. Por outro lado, isso foi relativamente fácil de implementar, pois envolve apenas o cálculo do inverso do CDF do Student t. Agora, minha segunda pergunta:

1. Por que eu iria querer usar o Grubbs em vez do Dixon?

Na frente óbvia no meu caso, o algoritmo é "mais puro", mas suspeito que haja razões mais profundas. Alguém pode me esclarecer?

Realmente, essas abordagens não são ativamente desenvolvidas há muito tempo. Para Outliers univariados, o filtro ideal (mais eficaz) é mediano +/-$\delta \times$ MAD, ou melhor ainda (se você tiver acesso ao R) mediana +/-$\delta \times$ Qn (para que você não assuma a distribuição subjacente como simétrica),

O estimador Qn é implementado no pacote robustbase.

Vejo:

Rousseeuw, PJ e Croux, C. (1993) Alternativas ao desvio absoluto médio, Journal of the American Statistical Association * 88 *, 1273-1283.

Resposta ao comentário:

Dois níveis

A) Filosófico.

Os testes Dixon e Grub são capazes de detectar apenas um tipo específico de outlier (isolado, único). Nos últimos 20 a 30 anos, o conceito de outliers envolveu "qualquer observação que se afaste do corpo principal dos dados". Sem mais especificações sobre qual é a partida em particular. Essa abordagem sem caracterização anula a ideia de criar testes para detectar valores discrepantes. A ênfase mudou para o conceito de estimadores (um exemplo clássico de que é a mediana) que mantêm seus valores (isto é, insensíveis), mesmo para uma grande taxa de contaminação por outliers - que estimador é então considerado robusto - e a questão de detectar os valores extremos tornam-se nulos.

B) Fraqueza,

Você pode ver que os testes de Grub e Dixon são desfeitos facilmente: é possível gerar dados contaminados facilmente que passariam em qualquer teste como uma felicidade (ou seja, sem quebrar o nulo). Isso é particularmente óbvio no teste de Grubb, porque os valores discrepantes decompõem a média e o sd usados ​​na construção das estatísticas do teste. É menos óbvio no Dixon, até que se aprenda que as estatísticas de pedidos também não são robustas para valores extremos.

Acho que você encontrará mais explicações sobre esses fatos em artigos orientados para o público não estatístico geral, como o citado acima (também posso pensar no artigo de Fast-Mcd de Rousseeuw). Se você consultar qualquer livro / introdução recente para análises robustas, notará que nem o Grubb nem o Dixon são mencionados.