Reproduza a figura de “Inferência Estatística da Era do Computador” de Efron e Hastie

A versão resumida da minha pergunta

(26 de dezembro de 2018)

Estou tentando reproduzir a Figura 2.2 da Inferência Estatística da Era do Computador de Efron e Hastie, mas por alguma razão que não sou capaz de entender, os números não são correspondentes aos do livro.

Suponha que estamos tentando decidir entre duas funções possíveis de densidade de probabilidade para os dados observados , uma densidade de hipótese nula e uma densidade alternativa . Uma regra de teste diz qual escolha, ou , faremos tendo observado os dados . Qualquer regra desse tipo tem duas probabilidades de erro frequente associadas: escolher quando na verdade gerou vice-versa, $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ $f_0$ $x$

α = {Pr}_{f_{0 0}} {t (x) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{f_{1}} {t (x) = 0 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Seja a razão de verossimilhança , $L(x)$

eu (x) = \frac{f_{1} (x)}{f_{0 0} (x)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

Portanto, o lema de Neyman – Pearson diz que a regra de teste da forma é o algoritmo ideal de teste de hipótese $t_c(x)$

t_{c} (x) = {\begin{cases} 1 se log eu (x) \geq c \\ 0 0 se log eu (x) < c . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

Para $f_0 \sim \mathcal{N} \left(0,1\right), \enspace f_1 \sim \mathcal{N} \left(0.5,1\right)$ e tamanho da amostra $n=10$ quais seriam os valores para $\alpha$ e $\beta$ para um ponto de corte $c=0.4$ ?

Na Figura 2.2 da Inferência Estatística da Era do Computador por Efron e Hastie, temos:
- $\alpha=0.10$ e para um ponto de corte $\beta=0.38$ $c=0.4$
Encontrei e para um ponto de corte usando duas abordagens diferentes: A) simulação e B) analiticamente . $\alpha=0.15$ $\beta=0.30$ $c=0.4$

Eu apreciaria se alguém pudesse me explicar como obter e para um ponto de corte . Obrigado. $\alpha=0.10$ $\beta=0.38$ $c=0.4$

A versão resumida da minha pergunta termina aqui. A partir de agora você encontrará:

Na seção A), detalhes e código python completo da minha abordagem de simulação .
Na seção B) detalhes e código python completo da abordagem analítica .

A) Minha abordagem de simulação com código python completo e explicações

(20 de dezembro de 2018)

Do livro ...

No mesmo espírito, o lema Neyman – Pearson fornece um algoritmo ideal de teste de hipóteses. Esta é talvez a mais elegante das construções freqüentistas. Em sua formulação mais simples, o lema NP assume que estamos tentando decidir entre duas funções possíveis de densidade de probabilidade para os dados observados , uma densidade de hipótese nula e uma densidade alternativa . Uma regra de teste diz qual escolha, ou , faremos tendo observado os dados . Qualquer regra desse tipo tem duas probabilidades de erro frequente associadas: escolher quando na verdade gerado $x$ $f_0\left(x\right)$ $f_1\left(x\right)$ $t\left(x\right)$ $0$ $1$ $x$ $f_1$ e vice-versa,

$α = {Pr}_{f_{0}} {t (x) = 1},$ $\alpha = \text{Pr}_{f_0} \{t(x)=1\},$ $β = {Pr}_{f_{1}} {t (x) = 0} .$ $\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

Seja a razão de verossimilhança , $L(x)$

$L (x) = \frac{f_{1} (x)}{f_{0} (x)}$ $L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

(Fonte: Efron, B., & Hastie, T. (2016). Inferência estatística da era do computador: algoritmos, evidências e ciência de dados. Cambridge: Cambridge University Press. )

Então, eu implementei o código python abaixo ...

import numpy as np

def likelihood_ratio(x, f1_density, f0_density):
    return np.prod(f1_density.pdf(x)) / np.prod(f0_density.pdf(x))

Mais uma vez, a partir do livro ...

e defina a regra de teste por

$t_{c} (x) = {\begin{cases} 1 if log L (x) \geq c \\ 0 if log L (x) < c . \end{cases}$ $t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

(Fonte: Efron, B., & Hastie, T. (2016). Inferência estatística da era do computador: algoritmos, evidências e ciência de dados. Cambridge: Cambridge University Press. )

Então, eu implementei o código python abaixo ...

def Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density):
    lr = likelihood_ratio(x, f1_density, f0_density)
    llr = np.log(lr)

    if llr >= cutoff:
        return 1
    else:
        return 0

Finalmente, do livro ...

Onde é possível concluir que um ponto de corte $c=0.4$ implicará $\alpha=0.10$ e $\beta=0.38$ .

Então, eu implementei o código python abaixo ...

def alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f0_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return np.sum(NP_test_results) / float(replicates)

def beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates):
    NP_test_results = []

    for _ in range(replicates):
        x = f1_density.rvs(size=sample_size)
        test = Neyman_Pearson_testing_rule(x, cutoff, f0_density, f1_density)
        NP_test_results.append(test)

    return (replicates - np.sum(NP_test_results)) / float(replicates)

e o código ...

from scipy import stats as st

f0_density = st.norm(loc=0, scale=1)
f1_density = st.norm(loc=0.5, scale=1)

sample_size = 10
replicates = 12000

cutoffs = []
alphas_simulated = []
betas_simulated = []
for cutoff in np.arange(3.2, -3.6, -0.4):
    alpha_ = alpha_simulation(cutoff, f0_density, f1_density, sample_size, replicates)
    beta_ = beta_simulation(cutoff, f0_density, f1_density, sample_size, replicates)

    cutoffs.append(cutoff)
    alphas_simulated.append(alpha_)
    betas_simulated.append(beta_)

e o código ...

import matplotlib.pyplot as plt
%matplotlib inline

# Reproducing Figure 2.2 from simulation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_simulated, betas_simulated, 'ro', alphas_simulated, betas_simulated, 'k-')

para obter algo parecido com isto:

que se parece com a figura original do livro, mas as três tuplas $(c,\alpha,\beta)$ da minha simulação têm valores diferentes de $\alpha$ e $\beta$ quando comparadas com as do livro para o mesmo ponto de corte $c$ . Por exemplo:

do livro que temos $(c=0.4, \alpha=0.10, \beta=0.38)$
da minha simulação, temos:
- $(c=0.4, \alpha=0.15, \beta=0.30)$
- $(c=0.8, \alpha=0.10, \beta=0.39)$

Parece que o ponto de corte $c=0.8$ da minha simulação é equivalente ao ponto de corte $c=0.4$ do livro.

Eu apreciaria se alguém pudesse me explicar o que estou fazendo de errado aqui. Obrigado.

B) Minha abordagem de cálculo com código python completo e explicações

(26 de dezembro de 2018)

Ainda tentando entender a diferença entre os resultados da minha simulação ( alpha_simulation(.), beta_simulation(.)) e os apresentados no livro, com a ajuda de uma estatística (Sofia) minha amiga, calculamos $\alpha$ e $\beta$ analiticamente em vez de via simulação, então ...

Uma vez que

f_{0} \sim N (0, 1)

$f_0 \sim \mathcal{N} \left(0,1\right)$

f_{1} \sim N (0.5, 1)

$f_1 \sim \mathcal{N} \left(0.5,1\right)$

então

f (x | μ, σ^{2}) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ)}^{2}}{2 σ^{2}}}

$f\left(x \;\middle\vert\; \mu, \sigma^2 \right) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu\right)^2}{2\sigma^2}}$

Além disso,

L (x) = \frac{f_{1} (x)}{f_{0} (x)}

$L(x) = \frac{f_1\left(x\right)}{f_0\left(x\right)}$

tão,

L (x) = \frac{f_{1} (x | μ_{1}, σ^{2})}{f_{0} (x | μ_{0}, σ^{2})} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ_{1})}^{2}}{2 σ^{2}}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{{(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{f_1\left(x\;\middle\vert\; \mu_1, \sigma^2\right)}{f_0\left(x\;\middle\vert\; \mu_0, \sigma^2\right)} = \frac{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\prod_{i = 1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

Portanto, realizando algumas simplificações algébricas (como abaixo), teremos:

L (x) = \frac{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{i = 1}^{n} {(x_{i} - μ_{1})}^{2}}{2 σ^{2}}}}{{(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e^{- \frac{\sum_{i = 1}^{n} {(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}}

$L(x) = \frac{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2}{2\sigma^2}}}{\left(\frac{1}{\sqrt{2\pi\sigma^2}}\right)^n e^{-\frac{\sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}}$

= e^{\frac{- \sum_{i = 1}^{n} {(x_{i} - μ_{1})}^{2} + \sum_{i = 1}^{n} {(x_{i} - μ_{0})}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i-\mu_1\right)^2 + \sum_{i = 1}^{n} \left(x_i-\mu_0\right)^2}{2\sigma^2}}$

= e^{\frac{- \sum_{Eu = 1}^{n} (x_{Eu}^{2} - 2 x_{Eu} μ_{1} + μ_{1}^{2}) + \sum_{Eu = 1}^{n} (x_{Eu}^{2} - 2 x_{Eu} μ_{0 0} + μ_{0 0}^{2})}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_1 + \mu_1^2\right) + \sum_{i = 1}^{n} \left(x_i^2 -2x_i\mu_0 + \mu_0^2\right)}{2\sigma^2}}$

= e^{\frac{- \sum_{Eu = 1}^{n} x_{Eu}^{2} + 2 μ_{1} \sum_{Eu = 1}^{n} x_{Eu} - \sum_{Eu = 1}^{n} μ_{1}^{2} + \sum_{Eu = 1}^{n} x_{Eu}^{2} - 2 μ_{0 0} \sum_{Eu = 1}^{n} x_{Eu} + \sum_{Eu = 1}^{n} μ_{0 0}^{2}}{2 σ^{2}}}

$= e^{\frac{-\sum_{i = 1}^{n}x_i^2 + 2\mu_1\sum_{i = 1}^{n}x_i - \sum_{i = 1}^{n}\mu_1^2 + \sum_{i = 1}^{n}x_i^2 - 2\mu_0\sum_{i = 1}^{n}x_i + \sum_{i = 1}^{n}\mu_0^2}{2\sigma^2}}$

= e^{\frac{2 (μ_{1} - μ_{0 0}) \sum_{Eu = 1}^{n} x_{Eu} + n (μ_{0 0}^{2} - μ_{1}^{2})}{2 σ^{2}}}

$= e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}}$

Então se

t_{c} (x) = {\begin{cases} 1 se log eu (x) \geq c \\ 0 0 se log eu (x) < c . \end{cases}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if log } L(x) \ge c\\ 0\enspace\text{if log } L(x) \lt c.\end{array} \right.$

$\text{log } L(x) \ge c$

registro (e^{\frac{2 (μ_{1} - μ_{0 0}) \sum_{Eu = 1}^{n} x_{Eu} + n (μ_{0 0}^{2} - μ_{1}^{2})}{2 σ^{2}}}) \geq c

$\text{log } \left( e^{\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2}} \right) \ge c$

\frac{2 (μ_{1} - μ_{0}) \sum_{i = 1}^{n} x_{i} + n (μ_{0}^{2} - μ_{1}^{2})}{2 σ^{2}} \geq c

$\frac{2\left(\mu_1-\mu_0\right)\sum_{i = 1}^{n}x_i + n\left(\mu_0^2-\mu_1^2\right)}{2\sigma^2} \ge c$

\sum_{i = 1}^{n} x_{i} \geq \frac{2 c σ^{2} - n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2 - n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{i = 1}^{n} x_{i} \geq \frac{2 c σ^{2}}{2 (μ_{1} - μ_{0})} - \frac{n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{2c\sigma^2}{2\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{i = 1}^{n} x_{i} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} - \frac{n (μ_{0}^{2} - μ_{1}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} - \frac{n\left(\mu_0^2-\mu_1^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{i = 1}^{n} x_{i} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1}^{2} - μ_{0}^{2})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1^2-\mu_0^2\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{i = 1}^{n} x_{i} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} - μ_{0}) (μ_{1} + μ_{0})}{2 (μ_{1} - μ_{0})}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1-\mu_0\right)\left(\mu_1+\mu_0\right)}{2\left(\mu_1-\mu_0\right)}$

\sum_{i = 1}^{n} x_{i} \geq \frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} + μ_{0})}{2}

$\sum_{i = 1}^{n}x_i \ge \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}$

(\frac{1}{n}) \sum_{i = 1}^{n} x_{i} \geq (\frac{1}{n}) (\frac{c σ^{2}}{(μ_{1} - μ_{0})} + \frac{n (μ_{1} + μ_{0})}{2})

$\left(\frac{1}{n}\right) \sum_{i = 1}^{n}x_i \ge \left(\frac{1}{n}\right) \left( \frac{c\sigma^2}{\left(\mu_1-\mu_0\right)} + \frac{n\left(\mu_1+\mu_0\right)}{2}\right)$

\frac{\sum_{i = 1}^{n} x_{i}}{n} \geq \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\frac{\sum_{i = 1}^{n}x_i}{n} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{x} \geq \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\bar{x} \ge \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

\bar{x} \geq k, where k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

resulting in

t_{c} (x) = {\begin{cases} 1 if \bar{x} \geq k \\ 0 if \bar{x} < k . \end{cases}, where k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$t_c(x) = \left\{ \begin{array}{ll} 1\enspace\text{if } \bar{x} \ge k\\ 0\enspace\text{if } \bar{x} \lt k.\end{array} \right. \enspace \enspace \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

In order to calculate $\alpha$ and $\beta$ , we know that:

α = {Pr}_{f_{0}} {t (x) = 1},

$\alpha = \text{Pr}_{f_0} \{t(x)=1\},$

β = {Pr}_{f_{1}} {t (x) = 0} .

$\beta = \text{Pr}_{f_1} \{t(x)=0\}.$

so,

\begin{array}{ll} α = {Pr}_{f_{0}} {\bar{x} \geq k}, \\ β = {Pr}_{f_{1}} {\bar{x} < k} . \end{array} where k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\begin{array}{ll} \alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\},\\ \beta = \text{Pr}_{f_1} \{\bar{x} \lt k\}.\end{array} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

For $\alpha$ ...

α = {Pr}_{f_{0}} {\bar{x} \geq k} = {Pr}_{f_{0}} {\bar{x} - μ_{0} \geq k - μ_{0}}

$\alpha = \text{Pr}_{f_0} \{\bar{x} \ge k\} = \text{Pr}_{f_0} \{\bar{x} - \mu_0 \ge k - \mu_0\}$

α = {Pr}_{f_{0}} {\frac{\bar{x} - μ_{0}}{\frac{σ}{\sqrt{n}}} \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{n}}}}

$\alpha = \text{Pr}_{f_0} \left\{\frac{\bar{x} - \mu_0}{\frac{\sigma}{\sqrt{n}}} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\}$

α = {Pr}_{f_{0}} {z-score \geq \frac{k - μ_{0}}{\frac{σ}{\sqrt{n}}}} where k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\alpha = \text{Pr}_{f_0} \left\{\text{z-score} \ge \frac{k - \mu_0}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

so, I implemented the python code below:

def alpha_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_alpha = (k-m_0)/(sigma/np.sqrt(n))

    # Pr{z_score >= z_alpha}
    return 1.0 - st.norm(loc=0, scale=1).cdf(z_alpha)

For $\beta$ ...

β = {Pr}_{f_{1}} {\bar{x} < k} = {Pr}_{f_{1}} {\bar{x} - μ_{1} < k - μ_{1}}

$\beta = \text{Pr}_{f_1} \{\bar{x} \lt k\} = \text{Pr}_{f_1} \{\bar{x} - \mu_1 \lt k - \mu_1\}$

β = {Pr}_{f_{1}} {\frac{\bar{x} - μ_{1}}{\frac{σ}{\sqrt{n}}} < \frac{k - μ_{1}}{\frac{σ}{\sqrt{n}}}}

$\beta = \text{Pr}_{f_1} \left\{\frac{\bar{x} - \mu_1}{\frac{\sigma}{\sqrt{n}}} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\}$

β = {Pr}_{f_{1}} {z-score < \frac{k - μ_{1}}{\frac{σ}{\sqrt{n}}}} where k = \frac{c σ^{2}}{n (μ_{1} - μ_{0})} + \frac{(μ_{1} + μ_{0})}{2}

$\beta = \text{Pr}_{f_1} \left\{\text{z-score} \lt \frac{k - \mu_1}{\frac{\sigma}{\sqrt{n}}}\right\} \enspace \enspace \text{ where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

resulting in the python code below:

def beta_calculation(cutoff, m_0, m_1, variance, sample_size):
    c = cutoff
    n = sample_size
    sigma = np.sqrt(variance)

    k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0

    z_beta = (k-m_1)/(sigma/np.sqrt(n))

    # Pr{z_score < z_beta}
    return st.norm(loc=0, scale=1).cdf(z_beta)

and the code ...

alphas_calculated = []
betas_calculated = []
for cutoff in cutoffs:
    alpha_ = alpha_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)
    beta_ = beta_calculation(cutoff, 0.0, 0.5, 1.0, sample_size)

    alphas_calculated.append(alpha_)
    betas_calculated.append(beta_)

and the code ...

# Reproducing Figure 2.2 from calculation results.
plt.xlabel('$\\alpha$')
plt.ylabel('$\\beta$')
plt.xlim(-0.1, 1.05)
plt.ylim(-0.1, 1.05)
plt.axvline(x=0, color='b', linestyle='--')
plt.axvline(x=1, color='b', linestyle='--')
plt.axhline(y=0, color='b', linestyle='--')
plt.axhline(y=1, color='b', linestyle='--')
figure_2_2 = plt.plot(alphas_calculated, betas_calculated, 'ro', alphas_calculated, betas_calculated, 'k-')

to obtain a figure and values for $\alpha$ and $\beta$ very similar to my first simulation

And finally to compare the results between simulation and calculation side by side ...

df = pd.DataFrame({
    'cutoff': np.round(cutoffs, decimals=2), 
    'simulated alpha': np.round(alphas_simulated, decimals=2),
    'simulated beta': np.round(betas_simulated, decimals=2),
    'calculated alpha': np.round(alphas_calculated, decimals=2),
    'calculate beta': np.round(betas_calculated, decimals=2)
})
df

resulting in

This shows that the results of the simulation are very similar (if not the same) to those of the analytical approach.

In short, I still need help figuring out what might be wrong in my calculations. Thanks. :)

— Francisco Fonseca
fonte

It seems to me that any question that requires readers to wade through 11 pages of computer code, statistical output, and algebra is unlikely to be read by anybody, much less answered cogently. If you are interested in pursuing this, as you seem to be from the time and attention you have spent on it, might I suggest that you identify the crux of the matter and see if you can explain it and ask your question within the space of one or at most two pages of material?

— whuber

Hi @whuber, thank you for your suggestion! My intention was to post details (source code and explanations) to allow anyone to reproduce my results, but it seems that this strategy did not work very well as you correctly observed :). Thank you again. Then I edited the question to summarize my doubt at the beginning of the post. I hope this works.

— Francisco Fonseca

In the website of the book Computer Age Statistical Inference, there is a discussion session where Trevor Hastie and Brad Efron often reply to several questions. So, I posted this question there (as below) and received from Trevor Hastie the confirmation that there is an error in the book that will be fixed (in other words, my simulations and calculations - as implemented in Python in this question - are correct).

When Trevor Hastie replied that "In fact c=.75 for that plot" means that at the figure below (original Figure 2.2 from the book) the cutoff $c$ should be $c=0.75$ instead of $c=0.4$ :

Assim, usando minhas funções alpha_simulation(.), beta_simulation(.), alpha_calculation(.)e beta_calculation(.)(cujo o código Python completo está disponível em esta pergunta) Eu tenho $\alpha=0.10$ e $\beta=0.38$ para um ponto de corte $c=0.75$ como confirmação de que meu código está correto.

alpha_simulated_c075 = alpha_simulation(0.75, f0_density, f1_density, sample_size, replicates)
beta_simulated_c075 = beta_simulation(0.75, f0_density, f1_density, sample_size, replicates)

alpha_calculated_c075 = alpha_calculation(0.75, 0.0, 0.5, 1.0, sample_size)
beta_calculated_c075 = beta_calculation(0.75, 0.0, 0.5, 1.0, sample_size)

print("Simulated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_simulated_c075, beta_simulated_c075))
print("Calculated: c=0.75, alpha={0:.2f}, beta={1:.2f}".format(alpha_calculated_c075, beta_calculated_c075))

Finalmente, quando Trevor Hastie respondeu que "... resultando em um limite para x de 0,4" , significa que $k=0.4$ na equação abaixo (consulte a seção B desta pergunta):

\bar{x} \geq k, Onde k = \frac{c σ^{2}}{n (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

$\bar{x} \ge k \text{, where } k = \frac{c\sigma^2}{n\left(\mu_1-\mu_0\right)} + \frac{\left(\mu_1+\mu_0\right)}{2}$

resultando em

t_{c} (x) = {\begin{cases} 1 E se \bar{x} \geq k \\ 0 0 E se \bar{x} < k . \end{cases}, Onde k = \frac{c σ^{2}}{n (μ_{1} - μ_{0 0})} + \frac{(μ_{1} + μ_{0 0})}{2}

Então, em Python podemos obter $k=0.4$ para um ponto de corte $c=0.75$ como abaixo:

n = 10
m_0 = 0.0
m_1 = 0.5
variance = 1.0
c = 0.75

k = (c*variance)/(n*(m_1-m_0)) + (m_1+m_0)/2.0
threshold_for_x = k

print("threshold for x (when cutoff c=0.75) = {0:.1f}".format(threshold_for_x))

— Francisco Fonseca
fonte