Existe uma abordagem bayesiana para estimativa de densidade

Estou interessado para estimar a densidade de uma variável aleatória contínua . Uma maneira de fazer isso que aprendi é o uso da Estimativa de Densidade do Kernel.$X$

Mas agora estou interessado em uma abordagem bayesiana que se segue nas seguintes linhas. Inicialmente, eu acredito que segue uma distribuição F . Eu tomo n leituras de X . Existe alguma abordagem para atualizar $X$$F$$n$$X$$F$ base nas minhas novas leituras?

Sei que parece que estou me contradizendo: se acredito apenas em como minha distribuição anterior, nenhum dado deve me convencer do contrário. No entanto, suponha que F seja U n i f [ 0 , 1 ] e meus pontos de dados sejam como ( 0,3 ; 0,5 ; 0,9 ; 1,7 ) . Vendo 1.7 , obviamente não posso me ater ao meu anterior, mas como devo atualizá-lo?$F$$F$$Unif[0,1]$$(0.3, 0.5, 0.9, 1.7)$$1.7$

Atualização: Com base nas sugestões dos comentários, comecei a analisar o processo Dirichlet. Deixe-me usar as seguintes notações:

$G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2)$

Depois de enquadrar meu problema original nesse idioma, acho que estou interessado no seguinte: . Como se faz isso?$\theta_{n+1} | x_1,...,x_n$

Em este conjunto de notas (página 2), o autor fez um exemplo de $\theta_{n+1} | \theta_1,...,\theta_n$ (Esquema de Urna Polya). Não tenho certeza se isso é relevante.

Atualização 2: Eu também gostaria de perguntar (depois de ver as notas): como as pessoas escolhem para o PD? Parece uma escolha aleatória. Além disso, como as pessoas escolhem um H anterior para DP? Devo apenas usar um prior para θ como meu prior para H ?$\alpha$$H$$\theta$$H$

Since you want a bayesian approach, you need to assume some prior knowledge about the thing you want to estimate. This will be in the form of a distribution.

Agora, há o problema de que agora é uma distribuição por distribuições. No entanto, isso não é problema se você assumir que as distribuições candidatas vêm de alguma classe parametrizada de distribuições.

Por exemplo, se você quiser assumir que os dados são gaussianos distribuídos com média desconhecida, mas variação conhecida, tudo o que você precisa é de um anterior sobre a média.

Estimativa MAP do parâmetro desconhecido (chame-o $\theta$) could proceed by assuming that all the observations / data points are conditionally independent given the unknown parameter. Then, the MAP estimate is

$\hat{\theta} = \arg \max_\theta ( \text{Pr}[x_1,x_2,...,x_n,\theta] )$,

where

$\text{Pr}[x_1,x_2,...,x_n,\theta] = \text{Pr}[x_1,x_2,...,x_n | \theta] \text{Pr}[\theta] = \text{Pr}[\theta] \prod_{i=1}^n \text{Pr}[x_i | \theta]$.

It should be noted that there are particular combinations of the prior probability $\text{Pr}[\theta]$ and the candidate distributions $\text{Pr}[x | \theta]$ that give rise to easy (closed form) updates as more data points are received.

For density estimation purposes what you need is not

$\theta_{n+1}|x_{1},\ldots,x_{n}$.

The formula in notes $\theta_{n+1}|\theta_{1},\ldots,\theta_{n}$ reffers to the predictive distribution of the Dirichlet process.

For density estimation you actually have to sample from the predictive distribution

Sampling from the above distribution can be done either with conditional methods either with marginal methods. For the conditional methods, take a look at the paper of Stephen Walker [1]. For marginal methods you should check at Radford Neal paper [2].

For the concnetration parameter $\alpha$ Mike West [3] proposes a method for inference in the MCMC procedure including a full conditional distribution for $\alpha$. If you decide not to update the concentration $\alpha$ in the MCMC procedure, you should keep in mind that if you choose a large value for it, then the number of distinct values drawn from the Dirichlet process will be larger than the number of distinct values when a small number for $\alpha$ will be used.

[1] S.G., Walker (2006). Sampling the Dirichlet Mixture model with slices. Communications in Statitics (Simulation and Computation).

[2] R.M., Neal (2000) Markov Chain Monte Carlo methods for Dirichlet Process Mixture models. Journal of Computational and Graphical Statistics. Vol 9, No 2, pp 249-265

[3] M., West (1992). Hyperparameter estimation in Dirichlet process mixture models. Technical report

Is there some approach to update F based on my new readings?

There is something precisely for that. It's pretty much the main idea of Bayesian inference.

$p(\theta | y) \propto p(y|\theta)p(\theta)$

The $p(\theta)$ is your prior, what you call $F$. The $p(y|\theta)$ is what Bayesians call the "likelihood" and it is the probability of observing your data given some value of theta. You just multiply them together and get what's called a "posterior" distribution of $\theta$. This is your "updated F". Check out chapter 1 of any Intro to Bayesian Stats book.

You don't have to get rid of $p(\theta)$ (your prior), you just have to realize that it's not your best guess anymore, now that you have data to refine it.