Como derivar a função de probabilidade para distribuição binomial para estimativa de parâmetros?

De acordo com Probability and Statistics for Engineers, de Miller e Freund, 8ed (pp.217-218), a função de probabilidade a ser maximizada para a distribuição binomial (ensaios de Bernoulli) é dada como

$L(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i}$

Como chegar a esta equação? Parece-me bastante claro em relação às outras distribuições, Poisson e Gaussian;

$L(\theta) = \prod_{i=1}^n \text{PDF or PMF of dist.}$

Mas o binômio é um pouco diferente. Para ser direto, como

$nC_x~p^x(1-p)^{n-x}$

tornar-se

$p^{x_i}(1-p)^{1-x_i}$

na função de probabilidade acima?

Na estimativa de probabilidade máxima, você está tentando maximizar ; no entanto, maximizar isso é equivalente a maximizar para um fixo . p x ( 1 - p ) n - x$nC_x~p^x(1-p)^{n-x}$$p^x(1-p)^{n-x}$$x$

Na verdade, a probabilidade de gauss e poisson também não envolverem suas constantes principais, portanto, este caso é exatamente como aqueles que w

---

Como abordar o comentário dos OPs

Aqui está um pouco mais detalhadamente:

Primeiro, é o número total de sucessos, enquanto x i é uma única tentativa (0 ou 1). Assim sendo:$x$$x_i$

$$\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} = p^{\sum_1^n x_i}(1-p)^{\sum_1^n1-x_i} = p^{x}(1-p)^{n-x}$$

Isso mostra como você obtém os fatores na probabilidade (executando as etapas acima para trás).

Por que a constante desaparece? Informalmente, e o que a maioria das pessoas faz (inclusive eu), basta observar que a constante principal não afeta o valor de que maximiza a probabilidade; portanto, apenas a ignoramos (efetivamente defina como 1).$p$

Podemos derivar isso tomando o log da função de probabilidade e descobrindo onde sua derivada é zero:

$$\ln\left(nC_x~p^x(1-p)^{n-x}\right) = \ln(nC_x)+x\ln(p)+(n-x)\ln(1-p)$$

Tome derivada wrt e defina como :$p$$0$

$$\frac{d}{dp}\ln(nC_x)+x\ln(p)+(n-x)\ln(1-p) = \frac{x}{p}- \frac{n-x}{1-p} = 0$$

$$\implies \frac{n}{x} = \frac{1}{p} \implies p = \frac{x}{n}$$

Observe que a constante inicial saiu do cálculo do MLE.

Mais filosoficamente, uma probabilidade é significativa apenas para inferência até uma constante multiplicadora, de modo que, se tivermos duas funções de probabilidade e , elas serão inferencialmente equivalentes. Isso é chamado de Lei da Probabilidade . Portanto, se estivermos comparando valores diferentes de usando a mesma função de probabilidade, o termo principal se torna irrelevante.L 1 = k L 2$L_1,L_2$$L_1=kL_2$$p$

Em um nível prático, a inferência usando a função de verossimilhança é realmente baseada na razão de verossimilhança, não no valor absoluto da verossimilhança. Isso se deve à teoria assintótica das razões de verossimilhança (que são assintoticamente qui-quadrado - sujeitas a certas condições de regularidade que geralmente são apropriadas). Os testes de razão de verossimilhança são favorecidos devido ao lema de Neyman-Pearson . Portanto, quando tentamos testar duas hipóteses simples, tomaremos a razão e o fator principal comum será cancelado.

NOTA: Isso não acontecerá se você estiver comparando dois modelos diferentes, digamos, um binômio e um poisson. Nesse caso, as constantes são importantes.

Pelas razões acima, a primeira (irrelevância para encontrar o maximizador de L) responde mais diretamente à sua pergunta.

xi no produto refere-se a cada teste individual. Para cada tentativa individual, xi pode ser 0 ou 1 e n é igual a 1 sempre. Portanto, trivialmente, o coeficiente binomial será igual a 1. Portanto, na fórmula do produto para probabilidade, o produto dos coeficientes binomiais será 1 e, portanto, não há nCx na fórmula. Percebi isso enquanto trabalhava passo a passo :) (Desculpe a formatação, não estou acostumado a responder com expressões matemáticas nas respostas ... ainda :))