A função de pontuação de Fisher tem média zero - o que isso significa?

Estou tentando seguir a revisão de Princeton da teoria da probabilidade . Eles definem Fisher’s score functioncomo a primeira derivada da função log-verossimilhança e dizem que a pontuação é um vetor aleatório. Por exemplo, para a distribuição geométrica:

u (π) = n (\frac{1}{π} - \frac{\bar{y}}{1 - π})

$u(\pi) = n\left(\frac{1}{\pi} - \frac{\bar{y}}{1-\pi} \right)$

E eu posso ver que é realmente uma função (do parâmetro ), e é aleatória, pois envolve . $\pi$ $\bar{y}$

MAS então eles dizem algo que eu não entendo: "a pontuação avaliada no verdadeiro valor do parâmetro tem média zero" e eles a formulam como . O que significa avaliá-lo no "valor verdadeiro do parâmetro" e depois descobrir sua média? E no exemplo geométrico, se eu usar a identidade , não receberei imediatamente esse ? o que o "valor verdadeiro do parâmetro" tem a ver com isso? $\pi$ $E(u(\pi)) = 0$ $E(y) = E(\bar{y}) = \frac{1-\pi}{\pi}$ $E(u(\pi)) = 0$

likelihood geometric-distribution fisher-scoring

— ihadanny
fonte

Alguns cargos relevantes: stats.stackexchange.com/questions/112451/... stats.stackexchange.com/questions/196576/... stats.stackexchange.com/questions/200946/...

— b Kjetil Halvorsen

Respostas:

Como você apontou, a função de pontuação é, sob condições de regularidade adequadas, definidas como "a primeira derivada da função de logaritmo verossimilhança". $u$

Vamos supor que é uma variável aleatória com função de densidade . Geralmente essa densidade muda dependendo de um vetor de parâmetros . Portanto, é conveniente escrever a função de densidade como para explicitar a dependência do parâmetro. Vamos supor que o valor "verdadeiro" de para a variável aleatória seja . (o que eu quero dizer é que ) $X$ $f(x)$ $\pi$ $f(x;\pi)$ $\pi$ $X$ $\pi = \pi_0$ $X \sim f(\;\cdot\;;\pi_0)$

A função de pontuação agora pode ser escrita como: e agora está claro que é uma função de ambos e de . (Na sua pergunta, você tem no lugar de , mas não há diferença, pois a função de probabilidade é apenas a função de densidade.)

u (π; x) = \frac{\partial}{\partial π} \log f (x; π),

$u(\pi;x) = \frac{\partial}{\partial\pi}\log f(x;\pi),$

x

$x$

π

$\pi$

L

$L$

f

$f$

Considere agora a variável aleatória e sua expectativa . Aqui é importante notar que o subscrito existe para indicar o parâmetro (true) na distribuição de e diferenciá-lo do valor com o qual estamos calculando . $u(\pi,X)$ $\xi(\pi) = \mathbb{E_{\pi_0}}(u(\pi,X))$ $\pi_0$ $X$ $\pi$ $u$

Assumindo que $f$ é uma densidade contínua (o caso discreto é semelhante), temos:

ξ (π) = \int_{- \infty}^{+ \infty} (\frac{\partial}{\partial π} \log f (x; π)) f (x; π_{0}) d x = \int_{- \infty}^{+ \infty} \frac{f^{'} (x; π)}{f (x; π)} f (x; π_{0}) d x

$\xi(\pi) = \int_{-\infty}^{+\infty}\left(\frac{\partial}{\partial\pi}\log f(x;\pi)\right)f(x;\pi_0)dx = \int_{-\infty}^{+\infty}\frac{f'(x;\pi)}{f(x;\pi)}f(x;\pi_0)dx$

e quando você avalia $\xi$ no valor verdadeiro do parâmetro $\pi_0$ Nós temos:

ξ (π_{0}) = \int_{- \infty}^{+ \infty} \frac{f^{'} (x; π_{0})}{f (x; π_{0})} f (x; π_{0}) d x = \int_{- \infty}^{+ \infty} f^{'} (x; π_{0}) d x

$\xi(\pi_0) = \int_{-\infty}^{+\infty}\frac{f'(x;\pi_0)}{f(x;\pi_0)}f(x;\pi_0)dx = \int_{-\infty}^{+\infty}f'(x;\pi_0)dx$

= \frac{\partial}{\partial π} \int_{- \infty}^{+ \infty} f (x; π_{0}) d x = 0 0

$=\frac{\partial}{\partial\pi}\int_{-\infty}^{+\infty}f(x;\pi_0)dx = 0$

Esse é o raciocínio por trás da função score, com expectativa zero no parâmetro true.

Você deve dar uma olhada em livros como este (capítulo 3) para entender melhor as condições sob as quais essas derivações (como a troca de derivada e integral) são verdadeiras.

— Mur1lo
fonte

Obrigado! mas ainda não tenho certeza. Entendo por que não será 0 se eu inserir outro valor

π_{1}

$\pi_1$ ? não seremos capazes de usar o mesmo truque de alternar entre o wrt integral

x

$x$ e o derivado wrt

π

$\pi$ ?

— Ihadanny

ξ (π_{1}) = \int \frac{f^{'} (x; π_{1})}{f (x; π_{1})} f (x; π_{0}) d x

$\xi(\pi_1)=\int\frac{f'(x;\pi_1)}{f(x;\pi_1)}f(x;\pi_0)dx$ e agora não podemos cancelar o denominador se

π_{1} \neq π_{0}

$\pi_1\neq\pi_0$ .

— Mur1lo

outra pergunta - em sua resposta, você quis dizer a função de pontuação para uma única observação ou a função de pontuação para toda a amostra de n observações?

— Ihadanny

@ihadanny Não faz diferença, pois você pode ver sua amostra como uma realização única de uma variável aleatória em

R^{n}

$\mathbb{R}^n$ .

— Mur1lo 15/08

Esta é a prova mais clara que eu já vi sobre o assunto. Obrigado! :)

— jjepsuomi 15/01/18

Ok, graças à excelente resposta @ Mur1lo, agora tenho uma melhor compreensão e gostaria de fazer minha própria tentativa de tornar esse conceito abstrato o mais concreto possível.

Suponha que tenhamos uma amostra de 5 resultados de sorteio de moedas. Assumimos que eles são amostrados de uma população com distribuição de Bernoulli com o parâmetro true $\pi_0$ .

Quando olhamos para um sorteio específico com resultado $x_3=1$ , podemos calcular a probabilidade logarítmica deste paciente de uma distribuição de Bernoulli com todos os tipos de valores de parâmetros, por exemplo $\pi = 0.2$ ou $\pi=0.9$ e assim por diante. portanto, a probabilidade logarítmica é uma função que estima a probabilidade de $x_3$ para cada valor possível de $\pi$ .

L L (π | x_{3}) = x_{3} l n (π) + (1 - x_{3}) l n (1 - π)

$LL(\pi|x_3) = x_3ln(\pi) + (1-x_3)ln(1-\pi)$

O que significa simplesmente que se $x_3=1$ a probabilidade disso era $\pi$ e se for 0, a probabilidade disso é $1-\pi$ .

Se assumirmos a independência entre os sorteios das moedas, teremos uma função "média" que representa a probabilidade logarítmica de toda a amostra de n = 5 sorteios de moedas.

L L (π | X) = \sum x_{i} l n (π) + (n - \sum (x_{i})) l n (1 - π)

$LL(\pi|X) = \sum{x_i}ln(\pi) + (n-\sum(x_i))ln(1-\pi)$

Queremos encontrar o máximo de $LL(\pi|X)$ - a mle = $\pi_{mle}$ .

A função de pontuação $u(\pi)$ é um vetor dos derivativos para cada parâmetro da probabilidade logarítmica. Felizmente, no nosso caso, é um escalar simples, pois há apenas um parâmetro. Sob algumas condições, isso nos ajudará a encontrar $\pi_{mle}$ , pois nesse ponto a função de pontuação seria $u(\pi_{mle}) = 0$ . Podemos calcular a função de pontuação de observação para uma única observação (sorteio de moedas):

u (π | x_{3}) = \frac{x_{3}}{π} - \frac{1 - x_{3}}{1 - π}

$u(\pi|x_3) = \frac{x_3}{\pi} - \frac{1-x_3}{1-\pi}$

e a função de pontuação da amostra de n = 5 pacientes:

u (π | X) = \frac{\sum x_{i}}{π} - \frac{n - \sum x_{i}}{1 - π}

$u(\pi|X) = \frac{\sum{x_i}}{\pi} - \frac{n-\sum{x_i}}{1-\pi}$

quando definimos esta função mais recente como 0, obtemos $\pi_{mle}$ .

MAS, a amostra específica de 5 empates não tem nada a ver com a expectativa da função de pontuação! A expectativa é o valor da função de escore de observação para cada valor possível de x, multiplicado pela probabilidade desse valor, que é a função de densidade! No nosso caso, x pode assumir apenas 2 valores: 0 e 1. E a função densidade é como assumimos ser um Bernoulli com parâmetro $\pi_0$ :

E (u (π | x_{i})) = \sum_{x} (\frac{x}{π} - \frac{1 - x}{1 - π}) π_{0}^{x} (1 - π_{0})^{1 - x} = \frac{π_{0}}{π} - \frac{1 - π_{0}}{1 - π}

$E(u(\pi|x_i)) = \sum_x (\frac{x}{\pi} - \frac{1-x}{1-\pi}) \pi_0^x(1-\pi_0)^{1-x} = \frac{\pi_0}{\pi} - \frac{1-\pi_0}{1-\pi}$

e é claro que ele zera quando avaliado no parâmetro true $\pi_0$ . A interpretação intuitiva é: Para cada valor de $\pi$ , qual é a taxa média de mudança na probabilidade?

A matriz de informações é a variação da probabilidade - qual será a sensibilidade da nossa solução para diferentes dados? (veja esta resposta ).

I (π | x_{i}) = v a r (u (π | x_{i})) = v a r (\frac{x_{i}}{π} - \frac{1 - x_{i}}{1 - π}) = v a r (\frac{x_{i} - π}{π (1 - π)}) = \frac{v a r (x_{i})}{π^{2} (1 - π)^{2}} = \frac{π_{0} (1 - π_{0})}{π^{2} (1 - π)^{2}}

$I(\pi|x_i) = var(u(\pi|x_i)) = var(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}) = var(\frac{x_i-\pi}{\pi(1-\pi)}) = \frac{var(x_i)}{\pi^2(1-\pi)^2} = \frac{\pi_0(1-\pi_0)}{\pi^2(1-\pi)^2}$

e quando avaliado no parâmetro true $\pi_0$ simplifica para:

I (π_{0} | x_{i}) = \frac{1}{π_{0} (1 - π_{0})}

$I(\pi_0|x_i) = \frac{1}{\pi_0(1-\pi_0)}$

(consulte as notas do washington edu para obter mais detalhes).

Surpreendentemente, há outra maneira de medir o quão sensível a probabilidade seria em um certo $\pi$ ! essa é a expectativa da curvatura = Hessiana = segunda derivada. Quanto mais inclinada for a nossa probabilidade, mais precisos seremos. Veja detalhes no blog de mark reid

— ihadanny
fonte