Intervalos de confiança para um polinômio

Eu tenho uma variável aleatória que recebe valores nos números inteiros não negativos , chame as probabilidades para cada resultado . Eu posso provar da distribuição de de forma independente e barata; Atualmente, tenho um tamanho de amostra de . Parece que , com decaimento aproximadamente exponencial.$Z$$\{ 0,1,2,\dots \}$$z_k:=P[Z=k]$$Z$$2^{28}$$z_0\approx 0.24, z_1\approx 0.18,\dots$

Eu tenho uma sequência de formas quadráticas com coeficientes positivos:

• $Q_0(z_0) = \frac14 z_0^2$
• $Q_1(z_0,z_1) = \frac 12 {z_0 z_1}$
• ...
• $Q_7(z_0,z_1,\dots,z_7) = \frac{1}{8} \left(2 z_0 z_1+3 z_2 z_1+4 z_4 z_1+4 z_6 z_1+3 z_0 z_3 + \right.$ $\qquad\qquad\qquad\qquad\qquad\qquad \left. +4 z_2 z_3+4 z_3 z_4+4 z_0 z_5+4 z_2 z_5+4 z_0 z_7\right)$
• ...

O que eu gostaria de ter é um intervalo de confiança para os menos de largura, mas aceitarei o que puder.$Q_i$$10^{-4}$

Eu tenho limites rigorosos no , e como os coeficientes dos 's são todos positivos, é fácil transformá-los em limites rigorosos para os 's. Mas não sei como fazer isso corretamente com intervalos de confiança.$z_i$$Q$$Q$

---

Isso é sobre o quê? Encontrei um fenômeno bizarro na teoria dos números e sei como provar que isso realmente acontece, mas, na verdade, isso exigirá algum esforço de programação da minha parte e uma quantidade considerável de tempo em nosso cluster local. Antes de investir esse tempo e entupir nossa máquina, gostaria de ter mais certeza do que sou de que o fenômeno é real.

Quero quantificar a razoabilidade da minha afirmação de que e . Minhas estimativas indicam que é de cerca de , e é por isso que eu queria ICs nessa resolução.$Q_7<Q_6$$Q_7<Q_8$$Q_6-Q_7$$5\cdot 10^{-4}$

Corrija um número inteiro grande e deixe ser um subconjunto uniformemente escolhido de (ou seja, cada subconjunto específico tem probabilidade de ser escolhido). Seja a probabilidade de que exatamente dos números de não possa ser escrito como uma soma de dois elementos de ; deixe . É um pouco complicado de provar, mas esses limites existem e . Agora não é surpresa que seja pequeno e, à medida que aumenta,$n$$A$$\{1,2,\dots,n\}$$2^{-n}$$Q_k(n)$$k$$\{2,3,\dots,2n\}$$A$$Q_k = \lim_n Q_k(n)$$\sum_{k} Q_k =1$$Q_0$$k$$Q_k$aumenta, tem um pico e decai exponencialmente. A parte bizarra é que existe um viés contra 7. Ou seja, experimentalmente e . Ou seja, o que não foi uma surpresa na verdade não é verdade: a distribuição é bimodal.$Q_7< Q_6$$Q_7<Q_8$

Eu posso expressar os 's (usando alguma teoria) como acima, sem o limite em termos dessa outra distribuição, definida pelos ' s. Isso é útil porque tenho uma maneira de vincular rigorosamente os usando, como mencionei acima, alguns cálculos grandes. Além disso, eu tenho um conjunto de dados muito grande para a variável$Q_i$$z_i$$z_i$$Z$

Na minha resposta, forneço muitos links para material de fundo para economizar espaço aqui. Vou escrever minha resposta, usando as informações nos links, conforme indicado.

Eu acho que uma abordagem bayesiana é um ajuste natural para esse problema, especialmente porque você tenta se convencer. É um pouco complicado usar intervalos de confiança para responder à pergunta com a qual você realmente se importa, ou seja, quão plausível é que e deram a amostra da distribuição? A abordagem bayesiana permite que você lide diretamente com essa questão.$Q_{7}<Q_{6}$$Q_{7}<Q_{8}$$z_{i}$

Função de probabilidade

Seja a frequência observada do resultado inteiro na sua amostra e seja o tamanho da amostra. A função de probabilidade é proporcional à distribuição multinomial . Tem a forma$f_k$$k$$N$

$L(z_{0},...z_{8};f_{0},...f_{8})=\prod_{i=0}^{8}{z_{i}}^{Nf_{i}}$ .

Distribuição prévia

A distribuição de Dirichlet é a escolha natural para a distribuição anterior, porque é o conjugado anterior para a probabilidade multinomial. Tem a forma

$p(z_{0},...z_{8};\alpha_{0},...,\alpha_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}-1}$

Essa prévia possui nove hiperparâmetros (os valores ) e é um pouco difícil de lidar. Nesse contexto de "grande amostra", qualquer escolha razoável de valores de hiperparâmetros terá influência desprezível no resultado, mas, ainda assim, acho que vale a pena dedicar um pouco de esforço à seleção de valores sensíveis.$\alpha_i$

Aqui está como eu recomendo definir os hiperparâmetros. Primeiro, observe que nesta distribuição . Em seguida, observe que a distribuição máxima de entropia mais simples sobre os naturais é a distribuição geométrica . Então prepare$\mathrm{E}(z_{i})=\frac{\alpha_{i}}{\sum_{i=0}^{8}\alpha_{i}}$

$\alpha_{i+1}=r\alpha_{i}=r^{i}\alpha_{0},\,0<r<1,$

$\alpha_{0}=A\left(\frac{1-r}{1-r^{9}}\right).$

Então , de modo que a distribuição do valores é centrado em uma distribuição geométrica (truncada). Além disso, , de modo que o valor de controla a dispersão em torno dessa expectativa, mas não afeta a expectativa em si.$\mathrm{E}(z_{i})=r^{i}\left(\frac{1-r}{1-r^{9}}\right)$$z_{i}$$\mathrm{Var}\left(z_{i}\right)\propto\frac{1}{(A+1)}$$A$

Esta especificação reduz o número de hiperparâmetros dos nove valores para apenas e . Vou adiar a discussão de valores específicos de e para agora.$\alpha_{i}$$r$$A$$r$$A$

Probabilidade posterior da proposição de interesse

A distribuição posterior dos valores de é a seguinte distribuição de Dirichlet:$z_{i}$

$p(z_{0},...z_{8}|f_{0},...,f_{8})\propto\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_{i}-1}.$

Deixe . A probabilidade posterior em que você está interessado é$\mathbb{Y}=\left\{ z_{0},...z_{8}|Q_7<Q_6 \text{ and } Q_7<Q_8\right\}$

$\Pr(Q_7<Q_6 \text{ and } Q_7<Q_8|f_0,...,f_8) \propto \int_{\mathbb{Y}}\prod_{i=0}^{8}{z_{i}}^{\alpha_{i}+Nf_i-1}dz_{i}.$

Essa integral é intratável, mas você pode calcular numericamente a probabilidade de interesse usando o seguinte algoritmo de Monte Carlo.

Para de a ,$j$$1$$J$

1. Prove um conjunto de valores de sua distribuição posterior.$z_i$

2. Use os valores amostrados para calcular que é a função do indicador.$y_j=I(Q_{7}<Q_{6})I(Q_{7}<Q_{8})$$I(\cdot)$

Então .$\Pr(Q_7<Q_6 \text{ and }Q_7<Q_8|f_{0},...,f_{8})\approx \frac{\sum_{j=0}^Jy_j}{J}$

A precisão da aproximação de Monte Carlo é a seguinte: : obterá pelo menos duas casas decimais de precisão 19 vezes em 20, obterá pelo menos três casas decimais de precisão 19 vezes em 20, etc.$\sqrt{J}$$J=10^4$$J=10^6$

E se a sua probabilidade de interesse posterior não for próxima de 0 ou 1, basta amostrar mais dados, enxaguar e repetir.

Hiperparâmetros anteriores, parte dois

O expoente de na expressão para a densidade posterior é$z_i$

$\alpha_i + Nf_i - 1 = Ar^{i}\left(\frac{1-r}{1-r^{9}}\right) +Nf_i - 1 = A\mathrm{E}(z_i) +Nf_i - 1$

Pode-se observar que o hiperparâmetro desempenha o mesmo papel na distribuição anterior que na probabilidade - é uma espécie de "tamanho da amostra anterior". Para garantir que o prior tenha uma influência desprezível na conclusão, basta escolher um valor de tal que ; por exemplo, .$A$$N$$A$$A\ll N$$A = 1$

Para definir , observe que você pode calcular a probabilidade anterior da proposição usando o mesmo algoritmo de Monte Carlo descrito acima, mas com a distribuição anterior no lugar da distribuição posterior na etapa 1 do ciclo. Tente encontrar um valor de que dê uma probabilidade anterior de 0,5 (ou menor, se você achar que é mais razoável).$r$$Q_7<Q_6 \text{ and } Q_7<Q_8$$r$

Presumo que o z_k não seja probabilidades, mas frequências de amostra. Isso ocorre porque, caso contrário, Q_i (z_0, ..., z_i) não é uma variável aleatória. Nesse caso, calcular a variação dos Q_i é álgebra direta. Defina, primeiro, os indicadores de eventos Z_i que são 1 se Z == i, 0 caso contrário. É uma variável aleatória de Bernoulli com probabilidade p_i. Você pode calcular o primeiro e o segundo momento de qualquer uma dessas variáveis ​​e elas devem fornecer todos os termos necessários para calcular a variação dos Q_i.

Kevin, por favor, tenha cuidado, pois terei que mudar sua notação um pouco: seus não são meus .$z_i$$z_i$

Penso que vale a pena tentar a seguinte solução bayesiana. Cozinhe um parâmetro aleatório e deixe ser condicionalmente iid, dado , com . Use a notação . Você já tem uma amostra dos 's, com . Defina as variáveis ​​aleatórias Para (se este não está claro, dê uma olhada ). Agora, nesta formulação, suas formas quadráticas$\Lambda>0$$Z_1,\dots,Z_n$$\Lambda=\lambda$$Z_i\mid\Lambda = \lambda \sim \textrm{Poisson}(\lambda)$$Z=(Z_1,\dots,Z_n)$$z=(z_1,\dots,z_n)$$Z_i$$n=2^{28}$

$$\Theta_i = P\{Z_i=k\mid \Lambda\} = \frac{e^{-\Lambda}\Lambda^k }{k!} \, ,$$ $i\geq 0$$Q_i=Q_i(\Theta_0,\dots,\Theta_i) = Q_i(\Lambda)$ são funções de . Portanto, os são aleatórios e você deseja determinar a probabilidade posterior Com um , usando o Teorema de Bayes, temos Você calcula geração de iid da distribuição anterior (use R !) E a computação $\Lambda$$Q_i$ $$P\{Q_7<Q_6 \,\,\,\textrm{and}\,\,\, Q_7<Q_8\mid Z=z\} \, . \qquad (*)$$ $\Lambda\sim\textrm{Gamma}(a,b)$ $$\Lambda\mid Z=z \sim \, \textrm{Gamma}\left( a + \sum_{i=1}^n z_i, b + n\right) \, .$$ $(*)$$\lambda_i$ $$\frac{1}{N} \sum_{i=1}^N I_{(-\infty,Q_6(\lambda_i))\cap(Q_8(\lambda_i),\infty)}(Q_7(\lambda_i)) \, ,$$ que converge, pela forte lei de grandes números, para quase certamente. Para obter um "sim" para sua pergunta original, essa probabilidade posterior deve ser "grande o suficiente". Com uma enorme amostra de tal ( ), eu acho que é possível jogar com os valores de e para fazer sua escolha antes não muito "informativo".$(*)$$n=2^{28}$$a$$b$