Quanto cálculo é necessário para entender a estimativa de máxima verossimilhança?

Estou tentando planejar um plano de estudo para aprender MLE. Para fazer isso, estou tentando descobrir qual é o nível mínimo de cálculo necessário para entender o MLE.

É suficiente entender o básico do cálculo (ou seja, encontrar o mínimo e o máximo de funções) para entender o MLE?

Para expandir o meu comentário - depende. Se você está apenas tentando compreender o básico, ser capaz de encontrar extremos de funções é uma maneira justa (embora em muitos casos práticos do MLE, a probabilidade seja maximizada numericamente, nesse caso você precisa de outras habilidades e também de algumas cálculo básico).

Deixarei de lado os bons casos simples em que você obtém soluções algébricas explícitas. Mesmo assim, o cálculo é frequentemente muito útil.

Assumirei independência por toda parte. Vamos considerar o caso mais simples possível de otimização de 1 parâmetro. Primeiro, veremos um caso em que podemos obter derivadas e separar uma função do parâmetro e uma estatística.

Considere a densidade $\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Então, para uma amostra de tamanho $n$ , a probabilidade é

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

e, portanto, a probabilidade logarítmica é

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ $S_x=\sum_{i=1}^n\ln{x_i}$

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

Isso não tem uma solução em termos de funções elementares, deve ser calculado numericamente; pelo menos conseguimos obter uma função do parâmetro de um lado e uma função dos dados do outro. Existem vários algoritmos de busca zero que podem ser usados ​​se você não tiver uma maneira explícita de resolver a equação (mesmo se você estiver sem derivadas, há uma seção binária, por exemplo).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

Em geral, a probabilidade aqui não tem um máximo local único, mas vários máximos locais. Se você encontrar um máximo local, pode haver outro maior em outro lugar. (Às vezes, as pessoas se concentram em identificar o máximo local mais próximo da mediana, ou algo assim.)

$(0,\theta)$

Em outros casos, o espaço do parâmetro pode ser discreto.

Às vezes, encontrar o máximo pode estar bastante envolvido.

E isso é apenas uma amostra dos problemas com um único parâmetro. Quando você tem vários parâmetros, as coisas se envolvem novamente.

$\mathbb{R}^p \to \mathbb{R}$

Algumas facilidades com logaritmos serão definitivamente úteis, pois maximizar o logaritmo da probabilidade geralmente é muito mais fácil do que maximizar a própria probabilidade.

$\mathbb{R}^p \to \mathbb{R}$