O que é inferência probabilística?

Estou lendo o livro de reconhecimento de padrões e aprendizado de máquina de Chris Bishop . Encontrei o termo inferência probabilística várias vezes. Eu tenho algumas perguntas.

A inferência probabilística é aplicável apenas em um contexto de modelagem gráfica?
Qual é a distinção entre inferência estatística tradicional (valores de p, intervalos de confiança, fatores de Bayes etc.) e inferência probabilística?
Esse é um termo específico para a comunidade de CS ou também é amplamente usado na comunidade de estatísticas?

— discretetimeisnice
fonte

Na minha opinião, isso é apenas uma denominação extravagante (e um oxímoro) que reproduz o fato de que a estatística é baseada em modelagem probabilística.

— Xi'an

Obrigado @ Xi'an, continuarei a usar a inferência estatística em meu artigo e apresentações.

— Discretetimeisnice

Respostas:

A inferência probabilística usa modelos probabilísticos , isto é, modelos que descrevem os problemas estatísticos em termos de teoria das probabilidades e distribuições de probabilidades. Embora as estatísticas usem a teoria das probabilidades bastante, você não pode dizer que essas duas disciplinas são a mesma coisa (verifique a discussão neste tópico ). Observe que muitos métodos estatísticos e de aprendizado de máquina não usar explicitamente a teoria da probabilidade para definir os problemas, por exemplo, muitos algoritmos de agrupamento, ou métodos de classificação que o trabalho ao minimizar alguma função perda etc. Mas a distinção não é tão simples, tomar como exemplo a computação bayesiana aproximada - teoricamente, baseia-se na inferência bayesiana (probabilística!), mas lida com casos em que não temos função de probabilidade; portanto, em vez disso, usamos uma medida de distância.

— Tim
fonte

(+1): Sinto-me menos confiante com a distinção, pois não classificaria estatísticas fora da modelagem probabilística. Dado que um princípio essencial da estatística é incluir uma avaliação da incerteza e que essa incerteza precisa ser modelada por uma estrutura probabilística, não vejo como as estatísticas escapam a essa estrutura.

— Xi'an

Também me oponho ao link ABC. Embora seja bom ver isso mencionado, o ABC é, ao contrário, uma boa ilustração da modelagem probabilística, pois replica a produção exata de uma amostra aleatória de acordo com um determinado modelo probabilístico! O fato de a função de verossimilhança não poder ser computada numericamente não significa que o modelo de probabilidade não saia, apenas que ele deve ser considerado de outra perspectiva.

— Xi'an

@ Xi'an Eu concordo com seus comentários, mas se alguém quiser fazer tal distinção entre modelos probabilísticos e não probabilísticos, poderá ser definido como acima. No entanto, a distinção é bastante abstrata, ambígua e, em muitos casos, inútil, pelas razões que você deu. Como no ABC, é apenas uma ilustração do caso em que as coisas ficam embaçadas e a distinção se torna ambígua.

— Tim

"métodos de classificação que funcionam minimizando algumas funções de perda", você pode fornecer um exemplo desse método que não pôde ser formulado como um modelo probabilístico?

— Nck 16/01/19

@ nbro eu disse "não use explicitamente ...", não que eles não possam ser formulados assim.

— Tim

Responderei às suas perguntas com base na minha experiência em aprender Modelos Gráficos Probabilísticos (PGM) na universidade e na maneira como meu professor de PGM definiu a inferência probabilística . Sabendo que o material desta classe foi baseado em [1], presumo que você possa encontrar respostas mais precisas neste livro.

Em resposta a 2: Inferência probabilística é um tipo de inferência estatística. De [2] e [3], a inferência estatística faz proposições estatísticas sobre uma população, incluindo estimativa de pontos , estimativa de intervalos , rejeição de hipóteses , agrupamento e classificação . A "inferência probabilística" foi introduzida e aproximadamente definida no contexto do PGM como qualquer tarefa de marginalização de uma função de probabilidade, seja uma computação de probabilidade marginal ou encontrando o resultado mais provável (por exemplo, classificação). Assim, entra na definição de inferência estatística como fazendo uma proposição sobre a distribuição de probabilidade subjacente da população.

Para ilustrar matematicamente algumas tarefas de marginalização no contexto do PGM, seja um conjunto de variáveis aleatórias. Para uma determinada rede bayesiana ou rede markoviana com , as seguintes rotinas são consideradas inferências probabilísticas : $\mathcal{X} = \{X_1, \ldots, X_n\}$ $(\mathscr{G}, \mathbb{P}_{\theta})$ $(\mathscr{H}, \mathbb{P}_{\theta})$ $\mathbb{P}_\theta$

Calculando uma probabilidade marginal ou condicional: para , queremos responder: $\mathbf{E}, \mathbf{X} \subset \mathcal{X}$
$P_{θ} (X = x ∣ E = e) = ? .$ $\mathbb{P}_\theta(\mathbf{X} = \mathbf{x} \mid \mathbf{E} = \mathbf{e}) = ~?.$
Realização mais provável: para , queremos responder: $\mathbf{E}, \mathbf{X} \subset \mathcal{X}$
$a r g min_{x} P_{θ} (X = x ∣ E = e) = ? .$ ${\rm arg}\min_{\!\!\!\!\!\!\!\!\mathbf{x}}\mathbb{P}_\theta(\mathbf{X} = \mathbf{x} \mid \mathbf{E} = \mathbf{e}) = ~?.$

Em resposta a 1 e 3: foi a primeira vez que vi essa terminologia. O termo faz sentido, uma vez que você faz inferência sobre questões diretamente relacionadas às probabilidades. Não sei responder se é usado apenas no CS ou no contexto do PGM.

[1] Koller, Daphne e Nir Friedman. 2009. Modelos Gráficos Probabilísticos: Princípios e Técnicas. MIT Pressione.
[2] https://en.wikipedia.org/wiki/Statistical_inference
[3] https://encyclopediaofmath.org/wiki/Statistical_inference.

— JuRien
fonte