O que “probabilidade é definida apenas até uma constante multiplicativa de proporcionalidade” significa na prática?

19

Estou lendo um artigo em que os autores estão levando de uma discussão sobre estimativa de probabilidade máxima ao Teorema de Bayes, ostensivamente como uma introdução para iniciantes.

Como exemplo de probabilidade, eles começam com uma distribuição binomial:

p (x | n, θ) = (\binom{n}{x}) θ^{x} (1 - θ)^{n - x}

$p(x|n,\theta) = \binom{n}{x}\theta^x(1-\theta)^{n-x}$

e depois registre os dois lados

ℓ (θ | x, n) = x em (θ) + (n - x) em (1 - θ)

$\ell(\theta|x, n) = x \ln (\theta) + (n-x)\ln (1-\theta)$

com a lógica de que:

"Como a probabilidade é definida apenas até uma constante multiplicativa de proporcionalidade (ou uma constante aditiva para a probabilidade logarítmica), podemos redimensionar ... largando o coeficiente binomial e escrevendo a probabilidade logarítmica no lugar da probabilidade"

A matemática faz sentido, mas não consigo entender o que significa "a probabilidade é definida apenas como uma constante multiplicativa de proporcionalidade" e como isso permite reduzir o coeficiente binomial e passar de $p(x|n,\theta)$ para $\ell(\theta|x,n)$ .

Terminologia semelhante surgiu em outras questões ( aqui e aqui ), mas ainda não está claro o que, praticamente, probabilidade está sendo definida ou trazendo informações até um meio constante multiplicativo. É possível explicar isso em termos leigos?

— kmm
fonte

18

O ponto é que, às vezes, modelos diferentes (para os mesmos dados) podem levar a funções de probabilidade que diferem por uma constante multiplicativa, mas o conteúdo da informação deve ser claramente o mesmo. Um exemplo:

Modelamos experimentos independentes de Bernoulli, levando aos dados , cada um com uma distribuição de Bernoulli com o parâmetro (probabilidade) . Isso leva à função de probabilidade Ou podemos resumir os dados pela variável binomialmente distribuída , que tem uma distribuição binomial, levando à função de probabilidade que, em função do parâmetro desconhecido , é proporcional à antiga função de probabilidade . As duas funções de probabilidade contêm claramente a mesma informação e devem levar às mesmas inferências! $n$ $X_1, \dots, X_n$ $p$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{Eu}}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$

Y = X_{1} + X_{2} + \dots + X_{n}

$Y=X_1+X_2+\dotsm+X_n$

(\binom{n}{y}) p^{y} (1 - p)^{n - y}

$\binom{n}{y} p^y (1-p)^{n-y}$

p

$p$

E, de fato, por definição, eles são considerados a mesma função de probabilidade.

Outro ponto de vista: observe que, quando as funções de probabilidade são usadas no teorema de Bayes, conforme necessário para a análise bayesiana, essas constantes multiplicativas simplesmente se cancelam! então eles são claramente irrelevantes para a inferência bayesiana. Da mesma forma, ele será cancelado ao calcular as razões de verossimilhança, conforme usado nos testes de hipóteses ideais (lema de Neyman-Pearson.) E não terá influência no valor dos estimadores de verossimilhança máxima. Portanto, podemos ver que, em grande parte da inferência freqüentista, ela não pode desempenhar um papel.

Podemos argumentar ainda de outro ponto de vista. A função de probabilidade de Bernoulli (daqui em diante usamos o termo "densidade") acima é realmente uma densidade em relação à medida de contagem, ou seja, a medida nos números inteiros não negativos com massa um para cada número inteiro não negativo. Mas poderíamos ter definido uma densidade em relação a alguma outra medida dominante. Neste exemplo, isso parecerá (e é) artificial, mas em espaços maiores (espaços funcionais) é realmente fundamental! Para fins de ilustração, vamos usar a distribuição geométrica específica, escrita , com , , e em breve. Então a densidade da distribuição de Bernoulli em relação a $\lambda$ $\lambda(0)=1/2$ $\lambda(1)=1/4$ $\lambda(2)=1/8$ $\lambda$ é dado por significando que Com essa nova medida dominante, a função de probabilidade se torna (com notação de cima) observe o fator extra . Portanto, ao alterar a medida dominante usada na definição da função de verossimilhança, surge uma nova constante multiplicativa, que não depende do parâmetro desconhecido

f_{λ} (x) = p^{x} (1 - p)^{1 - x} \cdot 2^{x + 1}

$f_{\lambda}(x) = p^x (1-p)^{1-x}\cdot 2^{x+1}$

P (X = x) = f_{λ} (x) \cdot λ (x)

$P(X=x)= f_\lambda(x) \cdot \lambda(x)$

\prod_{i = 1}^{n} p^{x_{i}} (1 - p)^{1 - x_{i}} 2^{x_{i} + 1} = p^{y} (1 - p)^{n - y} 2^{y + n}

$\prod_{i=1}^n p^{x_i} (1-p)^{1-x_i} 2^{x_i+1} = p^y (1-p)^{n-y} 2^{y+n}$

2^{y + n}

$2^{y+n}$

p

$p$ e é claramente irrelevante. Essa é outra maneira de ver como constantes multiplicativas devem ser irrelevantes. Este argumento pode ser generalizado usando derivados de Radon-Nikodym (como o argumento acima é um exemplo de.)

— kjetil b halvorsen
fonte

"o conteúdo da informação deve ser claramente o mesmo" Isso só é verdade se você acredita no princípio da probabilidade!

— jsk

Sim, talvez, mas mostrei como se segue dos princípios bayesianos.

— Kjetil b halvorsen

@kjetilbhalvorsen Obrigado pela resposta atenciosa! Ainda estou confuso sobre o motivo pelo qual a probabilidade de distribuição de bernoulli não inclui um coeficiente binomial. Sua resposta deixa claro por que isso não importa, mas eu não entendo por que ficou de fora da probabilidade em primeiro lugar.

— precisa saber é o seguinte

@jvans: É porque o coeficiente binomial não dependem do parâmetro desconhecido, por isso não pode influenciar a forma da função de verossimilhança

— b Kjetil Halvorsen

12

Basicamente, significa que apenas o valor relativo do PDF é importante. Por exemplo, o PDF normal (gaussiano) padrão é: , seu livro está dizendo que eles poderiam usar , porque eles não se importam com a escala, ou seja, . $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ $g(x)=e^{-x^2/2}$ $c=\frac{1}{\sqrt{2\pi}}$

Isto acontece porque maximizar a função de probabilidade, e e terá o mesmo máximo. Portanto, o máximo de será o mesmo de . Então, eles não se preocupam com a balança. $c\cdot g(x)$ $g(x)$ $e^{-x^2/2}$ $f(x)$

— Aksakal
fonte

6

Não posso explicar o significado da cotação, mas para a estimativa de probabilidade máxima , não importa se escolhemos encontrar o máximo da função de probabilidade (considerada como uma função de ou the máximo de onde é alguma constante.Isso não significa que não estamos interessados no valor máximo de mas no valor onde esse máximo ocorre, e e atingem seu valor máximo no mesmo $L(\mathbf x; \theta)$ $\theta$ $aL(\mathbf x; \theta)$ $a$ $L(\mathbf x; \theta)$ $\theta_{\text{ML}}$ $L(\mathbf x; \theta)$ $aL(\mathbf x; \theta)$ $\theta_{\text{ML}}$ . Portanto, constantes multiplicativas podem ser ignoradas. Da mesma forma, poderíamos optar por considerar qualquer função monótona (como o logaritmo) da função de probabilidade , determinar o máximo de e deduza o valor de disso. Para o logaritmo, a constante multipliativa se torna a constante aditiva e isso também pode ser ignorado no processo de encontrar a localização do máximo: é maximizado no mesmo ponto que . $g(\cdot)$ $L(\mathbf x; \theta)$ $g(L(\mathbf x;\theta))$ $\theta_{\text{ML}}$ $a$ $\ln(a)$ $\ln(a)+\ln(L(\mathbf x; \theta)$ $\ln(L(\mathbf x; \theta)$

Voltando ao máximo da estimativa da probabilidade a posteriori (MAP), é considerado como a realização de uma variável aleatória com uma função de densidade a priori , os dados são considerados uma realização de uma variável aleatória , e a função de probabilidade é considerada o valor da densidade condicional de condicionada em ; a referida função de densidade condicional sendo avaliada em . o $\theta$ $\Theta$ $f_{\Theta}(\theta)$ $\mathbf x$ $\mathbf X$ $f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$ $\mathbf X$ $\Theta = \theta$ $\mathbf x$ uma densidade posterior de é em que reconhecemos o numerador como a densidade da junta dos dados e do parâmetro sendo estimado. O ponto que atinge seu valor máximo é a estimativa MAP de e, usando os mesmos argumentos que no parágrafo, vemos que podemos ignorar no lado direito de $\Theta$

\begin{matrix} (1) & f_{Θ ∣ X} (θ ∣ x) = \frac{f_{X ∣ Θ} (x ∣ Θ = θ) f_{Θ} (θ)}{f_{X} (x)} \end{matrix}

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x) = \frac{f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)f_\Theta(\theta)}{f_{\mathbf X}(\mathbf x)} \tag{1}$

f_{X, Θ} (x, θ)

$f_{\mathbf X, \Theta}(\mathbf x, \theta)$

θ_{MAP}

$\theta_{\text{MAP}}$

f_{Θ ∣ X} (θ ∣ x)

$f_{\Theta\mid \mathbf X}(\theta \mid \mathbf x)$

θ

$\theta$

[f_{X} (x)]^{- 1}

$[f_{\mathbf X}(\mathbf x)]^{-1}$

(1)

$(1)$ como uma constante multiplicativa, assim como podemos ignorar as constantes multiplicativos em ambos e . Da mesma forma, quando as probabilidades de log estão sendo usadas, podemos ignorar constantes aditivas.

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{\mathbf X\mid \Theta}(\mathbf x\mid \Theta=\theta)$

f_{Θ} (θ)

$f_\Theta(\theta)$

— Dilip Sarwate
fonte

Essa linha de raciocínio também pode ser feita via bayes: se você colocar ou no teorema de Bayes não importa, o será cancelado para que o posterior seja o mesmo.

L

$L$

a L

$aL$

a

$a$

— b Kjetil Halvorsen

5

Nos termos do leigo, você geralmente procurará a máxima probabilidade e compartilham os mesmos pontos críticos. $f(x)$ $kf(x)$

— Sergio
fonte

3

Então faça e , mas eles não seriam funções de verossimilhança equivalentes

f (x)

$f(x)$

f (x) + 2

$f(x)+2$

— Henry

Por favor, como Alecos Papadopoulos escreve em sua resposta, "a probabilidade é primeiro uma função de densidade de probabilidade conjunta". Devido à suposição iid para amostras aleatórias, essa função conjunta é um produto de funções simples de densidade; portanto, fatores multiplicativos surgem, e os aditivos não.

— Sergio

1

A função conjunta é esse produto se e somente se os dados forem independentes. Mas o MLE se estende a variáveis dependentes, portanto o argumento do produto não parece convincente.

— whuber

1

$\text {argmax}$

Pode haver circunstâncias incomuns em que você terá que maximizar a probabilidade sujeita a um teto - e então "lembre-se" de incluir quaisquer constantes no cálculo de seu valor.

Além disso, você pode estar executando testes de seleção de modelos para modelos não aninhados, usando o valor da probabilidade no processo - e como os modelos não são aninhados, as duas probabilidades terão constantes diferentes.

Além disso, a frase

"Como a probabilidade é definida apenas até uma constante multiplicativa de proporcionalidade (ou uma constante aditiva para a probabilidade logarítmica)"

está errado , porque a probabilidade é primeiro uma função de densidade de probabilidade conjunta , não apenas "qualquer" função objetiva a ser maximizada.

— Alecos Papadopoulos
fonte

3

θ

$\theta$

θ

$\theta$

3

L (θ ∣ x) = f (x ∣ θ) .

$L(\boldsymbol \theta \mid \boldsymbol x) = f(\boldsymbol x \mid \boldsymbol \theta).$

1

$1$

1

$1$

1

@heropup Eu já escrevi que ele não necessariamente se integra à unidade no espaço de parâmetros e, portanto, imediatamente, não pode ser considerado como uma "função de densidade" quando é visto como uma "função dos parâmetros".

— Alecos Papadopoulos

1

Sim eu conheço. O que quero dizer é que a frase "A função de verossimilhança é uma função de densidade, vista como uma função dos parâmetros" é confusa. Seria mais preciso dizer algo como: "A função de probabilidade é uma função dos parâmetros para uma amostra fixa e é equivalente (ou proporcional) à densidade da junta no espaço da amostra".

— heropup

1

L (x ∣ θ) f (θ)

$L(x\mid \theta)f(\theta)$

L

$L$

f (θ)

$f(\theta)$

— Dilip Sarwate