Como calcular a probabilidade associada a escores Z absurdamente grandes?

Pacotes de software para detecção de motivo de rede podem retornar escores Z enormemente altos (o mais alto que já vi são mais de 600.000, mas escores Z de mais de 100 são bastante comuns). Eu pretendo mostrar que esses Z-scores são falsos.

Escores Z enormes correspondem a probabilidades associadas extremamente baixas. Os valores das probabilidades associadas são dados, por exemplo, na página da Wikipedia de distribuição normal (e provavelmente em todos os livros de estatística) para pontuações Z de até 6. Então ...

Pergunta : Como calcular a função de erro $1-\mathrm{erf}(n/\sqrt{2})$para n até 1.000.000, digamos?

Estou particularmente após um pacote já implementado para isso (se possível). O melhor que encontrei até agora é o WolframAlpha, que consegue calculá-lo para n = 150 ( aqui ).

A questão diz respeito à função de erro complementar

$$\textrm{erfc}(x) = \frac{2}{\sqrt{\pi}}\int_{x}^{\infty}\exp(-t^2) d t$$

para valores "grandes" de ($x$ na pergunta original) - ou seja, entre 100 e 700.000 ou mais. (Na prática, qualquer valor maior que cerca de 6 deve ser considerado "grande", como veremos.) Observe que, como isso será usado para calcular valores de p, há pouco valor na obtenção de mais de três dígitos significativos (decimais) .$=n/\sqrt{2}$

Para começar, considere a aproximação sugerida pelo @Iterator,

$$f(x) = 1 - \sqrt{1 - \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right)},$$

Onde

$$a = \frac{8(\pi-3)}{3(4-\pi)} \approx 0.439862.$$

Embora esta seja uma excelente aproximação à própria função de erro, é uma terrível aproximação à . No entanto, existe uma maneira de corrigir isso sistematicamente.$\textrm{erfc}$

Para os valores p associados a valores tão grandes de , estamos interessados ​​no erro relativo f ( x ) / erfc ( x ) - 1 : esperamos que seu valor absoluto seja menor que 0,001 para três dígitos significativos de precisão. Infelizmente, essa expressão é difícil de estudar para x grande devido a fluxos insuficientes no cálculo de precisão dupla. Aqui está uma tentativa, que plota o erro relativo versus x para 0 ≤ x $x$ $f(x)/\textrm{erfc}(x) - 1$$x$$x$ :$0 \le x \le 5.8$

O cálculo se torna instável quando excede 5,3 ou mais e não pode fornecer um dígito significativo além de 5,8. Isso não é surpresa: exp ( - 5,8 2 ) ≈ 10 - 14,6 está ultrapassando os limites da aritmética de precisão dupla. Como não há evidências de que o erro relativo seja aceitável pequeno para um x maior , precisamos fazer melhor.$x$$\exp(-5.8^2) \approx 10^{-14.6}$$x$

A realização do cálculo em aritmética estendida (com o Mathematica ) melhora nossa imagem do que está acontecendo:

O erro aumenta rapidamente com e não mostra sinais de nivelamento. Passado $x$ , aproximadamente, essa aproximação nem fornece um dígito confiável de informações!$x=10$

No entanto, o enredo está começando a parecer linear. Podemos supor que o erro relativo seja diretamente proporcional a . (Isso faz sentido em bases teóricas: erfc é manifestamente uma função ímpar ef é manifestamente uniforme, portanto a razão deve ser uma função ímpar. Assim, esperaríamos que o erro relativo, se aumentasse, se comportasse como uma potência ímpar de x .) Isso nos leva a estudar o erro relativo dividido por x . Equivalentemente, eu escolho para examinar x ⋅ ERFC ( x ) / f ( , porque a esperança é este deve ter um valor limite constante Aqui é o seu gráfico.:$x$$\textrm{erfc}$$f$$x$ $x$$x \cdot \textrm{erfc}(x)/f(x)$

Nosso palpite parece estar confirmado: essa proporção parece estar se aproximando de um limite em torno de 8 ou mais. Quando solicitado, o Mathematica fornecerá:

a1 = Limit[x (Erfc[x]/f[x]), x -> \[Infinity]]

O valor é . Isso nos permite melhorar a estimativa:tomamos$a_1 = \frac{2 }{\sqrt{\pi }}e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \approx 7.94325$

$$f_1(x) = f(x) \frac{a_1}{x}$$

como o primeiro refinamento da aproximação. Quando é realmente grande - superior a alguns milhares - essa aproximação é ótima. Como ainda não será bom o suficiente para uma gama interessante de argumentos entre 5.3 e 2000 , vamos repetir o procedimento. Desta vez, o erro relativo inverso - especificamente, a expressão 1 - erfc ( x ) / f 1 ( x ) - deve se comportar como 1 / x 2 para x grande (em virtude das considerações de paridade anteriores). Assim, multiplicamos por x $x$$5.3$$2000$$1 - \textrm{erfc}(x)/f_1(x)$$1/x^2$$x$$x^2$ e encontre o próximo limite:

a2 = Limit[x^2 (a1 - x (Erfc[x]/f[x])), x -> \[Infinity]] 

O valor é

$$a_2 = \frac{1}{32 \sqrt{\pi }} e^{\frac{3 (-4+\pi )^2}{8 (-3+\pi )}} \left(32-\frac{9 (-4+\pi )^3 \pi }{(-3+\pi )^2}\right) \approx 114.687.$$

Esse processo pode prosseguir o quanto quisermos. Eu dei mais um passo, encontrando

a3 = Limit[x^2 (a2 - x^2 (a1 - x (Erfc[x]/f[x]))), x -> \[Infinity]] 

com valor aproximadamente 1623,67. (A expressão completa envolve uma função racional de grau oito de e é muito longa para ser útil aqui.)$\pi$

Desenrolar essas operações produz nossa aproximação final

$$f_3(x) = f(x)\left(a_1 - a_2/x^2 + a_3/x^4\right)/x.$$

O erro é proporcional a . De importação é a constante de proporcionalidade, portanto, plotamos x 6 ( 1 - erfc ( x ) / f 3 ( x ) ) :$x^{-6}$$x^6(1 - \textrm{erfc}(x) / f_3(x))$

Ele se aproxima rapidamente de um valor limite em torno de 2660,59. Usando a aproximação , obtemos estimativas de erfc ( x ) cuja precisão relativa é melhor que 2661 / x 6 para todos x > 0 . Uma vez que x é superior a 20 ou assim, nós temos os nossos três dígitos significativos (ou muito mais, como x fica maior). Como verificação, segue uma tabela comparando os valores corretos com a aproximação de x entre 10 e 20 :$f_3$$\textrm{erfc}(x)$$2661/x^6$$x \gt 0$$x$$x$$x$$10$$20$

 x  Erfc    Approximation      
10  2.088*10^-45    2.094*10^-45
11  1.441*10^-54    1.443*10^-54
12  1.356*10^-64    1.357*10^-64
13  1.740*10^-75    1.741*10^-75
14  3.037*10^-87    3.038*10^-87
15  7.213*10^-100   7.215*10^-100
16  2.328*10^-113   2.329*10^-113
17  1.021*10^-127   1.021*10^-127
18  6.082*10^-143   6.083*10^-143
19  4.918*10^-159   4.918*10^-159
20  5.396*10^-176   5.396*10^-176

De fato, essa aproximação fornece pelo menos duas figuras significativas de precisão para $x=8$ , que é exatamente onde os cálculos de pedestres (como a NormSDistfunção do Excel ) desaparecem.

Finalmente, pode-se preocupar com nossa capacidade de calcular a aproximação inicial . No entanto, isso não é difícil: quando x é grande o suficiente para causar subfluxos no exponencial, a raiz quadrada é bem aproximada pela metade do exponencial,$f$$x$

$$f(x) \approx \frac{1}{2} \exp \left(-x^2 \left(\frac{4 + ax^2}{\pi + ax^2}\right)\right).$$

A computação do logaritmo disso (na base 10) é simples e fornece rapidamente o resultado desejado. Por exemplo, deixe . O logaritmo comum dessa aproximação é$x=1000$

$$\log_{10}(f(x)) \approx \left(-1000^2 \left(\frac{4 + a \cdot 1000^2}{\pi + a \cdot 1000^2}\right) - \log(2)\right) / \log(10) \sim -434295.63047.$$

Exponentiating yields

$$f(1000) \approx 2.34169 \cdot 10^{-434296}.$$

Applying the correction (in $f_3$) produces

$$\textrm{erfc}(1000) \approx 1.86003\ 70486\ 32328 \cdot 10^{-434298}.$$

Note that the correction reduces the original approximation by over 99% (and indeed, $a_1/x \approx 1\text{%}$.) (This approximation differs from the correct value only in the last digit. Another well-known approximation, $\exp(-x^2)/(x\sqrt{\pi})$, equals $1.860038 \cdot 10^{-434298}$, erring in the sixth significant digit. I'm sure we could improve that one, too, if we wanted, using the same techniques.)

A simple upper bound

For very large values of the argument in the calculation of upper tail probability of a normal, excellent bounds exist that are probably as good as one will get using any other methods with double-precision floating point. For $z > 0$, let

$$\renewcommand{\Pr}{\mathbb{P}}\newcommand{\rd}{\mathrm{d}} S(z) := \Pr(Z > z) = \int_z^\infty \varphi(z) \rd z \>,$$ where $\varphi(z) = (2\pi)^{-1/2} e^{-z^2/2}$ is the standard normal pdf. I've used the notation $S(z)$ in deference to the standard notation in survival analysis. In engineering contexts, they call this function the $Q$-function and denote it by $Q(z)$.

Then, a very simple, elementary upper bound is

$$\newcommand{\Su}{\hat{S}_u} \newcommand{\Sl}{\hat{S}_\ell} S(z) \leq \frac{\varphi(z)}{z} =: \Su(z) \> ,$$ where the notation on the right-hand side indicates this is an upper-bound estimate. This answer gives a proof of the bound.

There are several nice complementary lower bounds as well. One of the handiest and easiest to derive is the bound

$$S(z) \geq \frac{z}{z^2+1} \varphi(z) =: \Sl(z) \> .$$ There are at least three separate methods for deriving this bound. A rough sketch of one such method can be found in this answer to a related question.

A picture

Below is a plot of the two bounds (in grey) along with the actual function $S(z)$.

How good is it?

From the plot, it seems that the bounds become quite tight even for moderately large $z$. We might ask ourselves how tight they are and what sort of quantitative statement in that regard can be made.

One useful measure of tightness is the absolute relative error

$$\newcommand{\err}{\mathcal{E}} \err(z) = \left|\frac{\Su(z) - S(z)}{S(z)}\right| \>.$$ This gives you the proportional error of the estimate.

Now, note that, since all of the involved functions are nonnegative, by using the bounding properties of $\Su(z)$ and $\Sl(z)$, we get

$$\err(z) = \frac{\Su(z) - S(z)}{S(z)} \leq \frac{\Su(z) - \Sl(z)}{\Sl(z)} = z^{-2} \> ,$$ and so this provides a proof that for $z \geq 10$ the upper-bound is correct to within 1%, for $z \geq 28$ it is correct to within 0.1% and for $z \geq 100$ it is correct to within 0.01%.

In fact, the simple form of the bounds provides a good check on other "approximations". If, in the numerical calculation of more complicated approximations, we get a value outside these bounds, we can simply "correct" it to take the value of, e.g., the upper bound provided here.

There are many refinements of these bounds. The Laplace bounds mentioned here provide a nice sequence of upper and lower bounds on $S(z)$ of the form $R(z) \varphi(z)$ where $R(z)$ is a rational function.

Finally, here is another somewhat-related question and answer.

You can approximate it with much simpler functions - see this Wikipedia section for more information. The basic approximation is that $\textrm{erf}(x) \approx \textrm{sgn}(x)\sqrt{1 - \exp(-x^2 \frac{4/\pi + ax^2}{1+ax^2}})$

The article has an incorrect link for that section. The PDF referenced can be found in Sergei Winitzki's files - or at this link.