Probabilidade de interseção a partir de múltiplas amostragens da mesma população

10

Aqui está um exemplo de caso:

Eu tenho uma população de 10.000 itens. Cada item tem um ID exclusivo.
Escolho aleatoriamente 100 itens e registro os IDs
Coloquei os 100 itens de volta na população
Escolho aleatoriamente 100 itens novamente, registro os IDs e os substituo.
No total, repito essa amostragem aleatória 5 vezes

Qual é a probabilidade de o número de itens aparecer nas 5 amostragens aleatórias? $X$

Eu não sou muito bem versado em estatística. Isso seria correto para ? $X = 10$

Para cada amostragem, o número de combinações possíveis de 100 itens de 10.000 é ${\rm binom}(10000, 100)$
De todas as combinações possíveis de 100 itens, as combinações contêm 10 itens específicos ${\rm binom}(9990, 90) * {\rm binom}(100, 10)$
A probabilidade de ter 10 itens específicos é $({\rm binom}(9990, 90) * {\rm binom}(100, 10)) / {\rm binom}(10000, 100)$
A probabilidade calculada à potência de 5 representaria 5 amostragens independentes.

Então, basicamente, estamos apenas calculando 5 probabilidades hipergeométricas independentes e depois multiplicando-as? Sinto que estou perdendo um passo em algum lugar.

probability hypergeometric

— daemonk
fonte

3

Se você repetir algo uma vez, significa que você faz duas vezes ao todo. Repetir algo 5 vezes significa que você faz 6 vezes?

— Glen_b -Reinstala Monica

3

Calcule as chances recursivamente.

Seja a probabilidade de que exatamente valores , , sejam selecionados em todos os sorteios independentes de itens (sem substituição) de uma população de membros . (Vamos manter e fixados durante a análise, para que eles não precisem ser mencionados explicitamente.) $p_s(x)$ $x$ $0 \le x \le k$ $s\ge 1$ $k$ $n \ge k \gt 0$ $n$ $k$

Seja a probabilidade de que, se exatamente os valores de forem selecionados nos primeiros desenhos , então deles sejam selecionados no último desenho. Como existem subconjuntos de elementos desses elementos , e subconjuntos dos elementos restantes são selecionados separadamente dos outros membros da população, $p_s(x\mid y)$ $y$ $s-1$ $x \le y$ $\binom{y}{x}$ $x$ $y$ $\binom{n-y}{k-x}$ $k-x$ $n-y$

p_{s} (x ∣ y) = \frac{(\binom{y}{x}) (\binom{n - y}{k - x})}{(\binom{n}{k})} .

$p_s(x\mid y) = \frac{\binom{y}{x}\binom{n-y}{k-x}}{ \binom{n}{k}}.$

A lei da probabilidade total afirma

p_{s} (x) = \sum_{y = x}^{k} p_{s} (x ∣ y) p_{s - 1} (y) .

$p_s(x) = \sum_{y=x}^k p_s(x\mid y) p_{s-1}(y).$

Para , é certo que : esta é a distribuição inicial. $s=1$ $x=k$

O cálculo total necessário para obter a distribuição completa até repetições é . Não é apenas razoavelmente rápido, o algoritmo é fácil. Uma armadilha que espera o programador incauto é que essas probabilidades podem se tornar extremamente pequenas e causar cálculos de ponto flutuante insuficiente. A implementação a seguir evita isso calculando os valores de nas colunas de uma matriz. $s$ $O(k^2 s)$ R $\log(p_s(x))$ $1, 2, \ldots, s$

lp <- function(s, n, k) {
  P <- matrix(NA, nrow=k+1, ncol=s, dimnames=list(0:k, 1:s))
  P[, 1] <- c(rep(-Inf, k), 0)
  for (u in 2:s) 
    for (i in 0:k) {
      q <- P[i:k+1, u-1] + lchoose(i:k, i) + lchoose(n-(i:k), k-i) - lchoose(n, k)
      q.0 <- max(q, na.rm=TRUE)
      P[i+1, u] <- q.0 + log(sum(exp(q - q.0)))
    }
  return(P)
}
p <- function(...) zapsmall(exp(lp(...)))

A resposta à questão é obtida por deixar , e . $s=5,$ $n=10000=10^4$ $k=100=10^2$ A saída é uma matriz , mas a maioria dos números é tão pequena que podemos focar em muito pequeno . Aqui estão as quatro primeiras linhas correspondentes a : $101\times 5$ $x$ $x=0,1,2,3$

p(5, 1e4, 1e2)[1:4, ]

A saída é

  1         2         3      4        5
0 0 0.3641945 0.9900484 0.9999 0.999999
1 0 0.3715891 0.0099034 0.0001 0.000001
2 0 0.1857756 0.0000481 0.0000 0.000000
3 0 0.0606681 0.0000002 0.0000 0.000000

Os valores de rotulam as linhas, enquanto os valores de rotulam as colunas. A coluna 5 mostra a chance de um elemento aparecer em todas as cinco amostras ser minúscula (cerca de uma em um milhão) e não há essencialmente nenhuma chance de que dois ou mais elementos apareçam nas cinco amostras. $x$ $s$

Se você gostaria de ver quão pequenas são essas chances, veja os logaritmos deles. A base 10 é conveniente e não precisamos de muitos dígitos:

u <- lp(5, 1e4, 1e2)[, 5]
signif(-u[-1] / log(10), 3)

A saída nos diz quantos zeros existem após o ponto decimal:

    1     2     3     4     5     6     7     8     9    10  ...   97    98    99   100 
  6.0  12.3  18.8  25.5  32.3  39.2  46.2  53.2  60.4  67.6 ... 917.0 933.0 949.0 967.0

Os números na linha superior são valores de . Por exemplo, a chance de exatamente três valores aparecerem nas cinco amostras é encontrada pela computação , fornecendo e, na verdade, isso tem zeros antes do primeiro dígito significativo. Como verificação, o último valor é uma versão arredondada de . (que conta as chances de a primeira amostra reaparecer nas próximas quatro amostras) é igual a $x$ exp(u[4]) $0.000\,000\,000\,000\,000\,000\,1434419\ldots$ $18$ $967.0$ $967.26$ $\binom{10000}{100}^{-4}$ $10^{-967.26}.$

— whuber
fonte

0

Acabei de encontrar um problema semelhante e, apesar de também não saber se esta é a solução correta, a abordei da seguinte maneira:

Você está interessado na ocorrência de itens em 5 amostras e itens de itens no total. Você poderia pensar em uma urna com bolas brancas e bolas pretas. bolas são retiradas e é a probabilidade de você ter todas as bolas brancas em seu conjunto. Se você fizer isso vezes (independentemente), eu o multiplicaria: . $X$ $100$ $10,000$ $X$ $10,000-X$ $100$ $p_h$ $X$ $5$ $p = {p_h}^5$

Eu poderia até pensar em um passo adiante e envolvê-la na distribuição binomial: se você tem uma moeda com probabilidade (a probabilidade de ter todos os itens do seu conjunto) e a joga vezes, qual é a probabilidade de obter cabeças? . $p_h$ $5$ $5$ $p = {5\choose 5}{p_h}^5 (1-{p_h})^{5-5} = {p_h}^5$

— Hans
fonte

0

Qual é a probabilidade de o número de itens aparecer nas 5 amostragens aleatórias? $X$

Com base no que Hans disse, você sempre deseja obter os mesmos ids em cada amostra de 100 e 100- ids dentre os 10000- restantes . A probabilidade de fazer isso para uma determinada amostra é dada pela função hipergeométrica para sucessos em um sorteio de 100 de uma população de 10000 com possíveis estados de sucesso: . Para 5 amostras, você usaria . $X$ $X$ $X$ $X$ $X$ $P = \frac{{X \choose X}{10000-X \choose 100-X}}{10000 \choose 100}$ $P^5$

No entanto, pressupomos conhecer os ids que são compartilhados e existem maneiras de selecionar esses ids. Portanto, sua resposta final seria . $X$ $10000 \choose X$ $X$ ${10000 \choose X} P^5$

— Hao Ye
fonte

O que é " "? É impossível entender esta resposta, muito menos verificá-la, até que você a revele!

x

$x$

— whuber

Não me lembro, como era há 3 anos, mas provavelmente o mesmo X da pergunta?

— Hao Ye

ESTÁ BEM. Mas o que justifica sua fórmula? Verificações simples, como o caso (para o qual sua fórmula nos diz que a probabilidade é , excluindo completamente outras possibilidades!), Indicam que ela está incorreta.

X = 0

$X=0$

1

$1$

— whuber