Probabilidades condicionais como tensores?

É adequado visualizar probabilidades condicionais, como os formulários:

P (a | c)

P (a | c, d)

P (a, b | c, d)

... e assim por diante, como sendo tensores?

Em caso afirmativo, alguém sabe de um texto introdutório decente (tutorial on-line, artigo de oficina, livro, etc.) que desenvolva tensores nesse sentido para cientistas da computação / profissionais de aprendizado de máquina?

Eu encontrei vários artigos, mas os escritos em nível introdutório são escritos para físicos, e os escritos para cientistas da computação são bastante avançados.

machine-learning probability-theory statistics

— Novak
fonte

desculpe, mas o que é tensores?

— Seteropere 17/05

Os tensores são os análogos multidimensionais das matrizes. Matrizes são tensores bidimensionais.

— Yuval Filmus

Eu diria que eles são os análogos multidimensionais dos vetores. Mas, sob essa luz, são objetos geométricos com regras e operadores especiais com os quais não estou profundamente familiarizado. Portanto, a questão é: as probabilidades condicionais podem ser vistas como tensores nesse sentido? Em caso afirmativo, como os operadores típicos são interpretados?

— Novak

Se você visualizar

P (A = a) = \sum_{b} P (A = a | B = b) P (B = b)

$P(A=a) = \sum_b P(A=a|B=b) P(B=b)$ como uma matriz vezes um vetor, você pode encontrar interpretações semelhantes de outras equações semelhantes. É isso que você procura?

— Yuval Filmus

Sim basicamente. Com as inúmeras perguntas a seguir: Essas são as operações adequadas do tensor? Existe uma interpretação intuitiva de covariância e contravariância nessa estrutura? E as operações de contração? Índices aumentados e reduzidos, e o chamado "malabarismo de índice"?

— Novak

Definitivamente, isso é possível, embora o tensor tenha, naturalmente, certas estruturas adicionais (restrições).

Se você considerar o seguinte condicional definido para uma resposta categórica $Y$ em preditores categóricos $X_i$ :

$P(Y|X_1,\ldots,X_n)$

isso corresponde a um tensor de probabilidade condicional de tamanho $d_0 \cdot d_1 \cdot \ldots \cdot d_n$ . Aqui $Y$ (como resposta categórica) leva $d_0$ níveis.

Acima de tudo, os elementos do tensor têm que ser não-negativos.

Você pode encontrar artigos sobre isso, por exemplo, "Fatorações Bayesianas de Tensores Condicionais para Classificação de Alta Dimensão" de Yang e Dunson ( pdf, arxiv ).

Obviamente, se as variáveis aleatórias envolvidas não forem variáveis categóricas, mas variáveis aleatórias contínuas ou obter um número infinito de valores (ou ambos), o mapeamento para tensores finitos não será tão trivial. Você precisará de algo como um tensor infinito (como uma extensão de uma matriz infinita).

— ondervloei
fonte