O que significa uma distribuição 'tratável'?

Por exemplo, em redes contraditórias generativas, geralmente ouvimos que a inferência é fácil porque a distribuição condicional de x dada a variável latente z é 'tratável'. Além disso, li em algum lugar que a máquina Boltzmann e o autoencoder variacional são usados ​​onde a distribuição posterior não é tratável, portanto é necessário aplicar algum tipo de aproximação. Alguém poderia me dizer o que significa 'tratável', em uma definição rigorosa? Ou alguém poderia explicar em qualquer um dos exemplos que eu dei acima, o que tratável significa exatamente nesse contexto?

Para minha melhor memória, nunca encontrei uma definição formal para isso em um texto estatístico, mas acho que você pode costurar uma em algumas leituras contextuais. Comece com a análise de dados bayesiana , p. 261:

A computação bayesiana gira em torno de duas etapas: computação da distribuição posterior, , e computação da distribuição preditiva posterior, . Até agora, consideramos exemplos em que estes poderiam ser computados analiticamente de forma fechada [.]$p(\theta|y)$$p(\hat y|y)$

O obstáculo é geralmente a probabilidade marginal, o denominador no lado direito da regra de Bayes, que pode envolver uma integral que não pode ser expressa analiticamente. Para mais, acho que você achará o artigo do wiki sobre expressão de formulário fechado útil para o contexto (ênfase minha):

Em matemática, uma expressão de forma fechada é uma expressão matemática que pode ser avaliada em um número finito de operações. Pode conter constantes, variáveis, certas operações "conhecidas" (por exemplo, + - × ÷) e funções (por exemplo, enésima raiz, expoente, logaritmo, funções trigonométricas e funções hiperbólicas inversas), mas geralmente sem limite. O conjunto de operações e funções admitidas em uma expressão de forma fechada pode variar de acordo com o autor e o contexto .

Diz- se que os problemas são tratáveis ​​se puderem ser resolvidos em termos de uma expressão de forma fechada .

Se você continuar lendo, verá uma tabela de classes de expressões e "Expressões analíticas" inclui várias envolvidas nas constantes de normalização das distribuições exponenciais da família. Por exemplo, a função gama na distribuição gama e a função Bessel no von-Mises Fisher.

Ou seja, estamos dispostos a admitir pelo menos isso em nossa definição de "tratabilidade". (Pode haver outras distribuições que envolvam as classes de operações classificadas como "expressões analíticas"; confesso que não estou familiarizado.)

Além da resposta de Sean Easter, tentarei lançar alguma luz da perspectiva do custo computacional.

Primeiro, vamos definir o que são problemas tratáveis ​​e intratáveis ​​(Referência: http://www.cs.ucc.ie/~dgb/courses/toc/handout29.pdf ).

Problema tratável: um problema solucionável por um algoritmo de tempo polinomial. O limite superior é polinomial.

Problema intratável: um problema que não pode ser resolvido por um algoritmo de tempo polinomial. O limite inferior é exponencial.

Nesta perspectiva, uma definição para distribuição tratável é que leva tempo polinomial para calcular a probabilidade dessa distribuição em qualquer ponto.

Se uma distribuição está em uma expressão de forma fechada, a probabilidade dessa distribuição pode definitivamente ser calculada em tempo polinomial, o que, no mundo da academia, significa que a distribuição é tratável. Distribuições intratáveis ​​levam tempo igual ou superior ao tempo exponencial, o que geralmente significa que, com os recursos computacionais existentes, nunca podemos calcular a probabilidade em um determinado ponto com tempo relativamente "curto" (qualquer tempo maior que o tempo polinomial é longo ... )

Uma distribuição é chamada tratável se qualquer probabilidade marginal induzida por ela puder ser calculada em tempo linear