Perguntas com a marcação «linear-algebra»

Ultimamente, tenho notado que muitas pessoas estão desenvolvendo equivalentes a tensores de vários métodos (fatoração de tensão, núcleos de tensor, tensores para modelagem de tópicos etc.). Estou me perguntando, por que o mundo de repente é fascinado por tensores? Existem trabalhos recentes / resultados padrão que são particularmente surpreendentes, que …

171 machine-learning  references  matrix  linear-algebra  tensor 

Trabalho com R há algum tempo e já me deparei com coisas como decomposições de PCA, SVD, QR e muitos desses resultados de álgebra linear (ao inspecionar estimativas de regressões ponderadas e outras), então eu queria saber se alguém tem uma recomendação sobre um bom livro abrangente de álgebra linear …

54 references  matrix  linear-algebra  weighted-regression 

Eu li muito sobre o PCA, incluindo vários tutoriais e perguntas (como este , este , este e este ). O problema geométrico que o PCA está tentando otimizar é claro para mim: o PCA tenta encontrar o primeiro componente principal minimizando o erro de reconstrução (projeção), que maximiza simultaneamente …

54 pca  optimization  linear-algebra  intuition 

Eu li sobre decomposição de valor singular (SVD). Em quase todos os livros didáticos, é mencionado que ela fatoriza a matriz em três matrizes com determinada especificação. Mas qual é a intuição por trás da divisão da matriz dessa forma? O PCA e outros algoritmos para redução de dimensionalidade são …

50 matrix  linear-algebra  svd  intuition 

Acho que a resposta deve ser sim, mas ainda sinto que algo não está certo. Deve haver alguns resultados gerais na literatura, alguém poderia me ajudar?

48 covariance  matrix  covariance-matrix  linear-algebra 

Ouvi dizer que correlações parciais entre variáveis ​​aleatórias podem ser encontradas invertendo a matriz de covariância e obtendo células apropriadas dessa matriz de precisão resultante (esse fato é mencionado em http://en.wikipedia.org/wiki/Partial_correlation , mas sem uma prova) . Por que esse é o caso?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Digamos que eu tenha uma distribuição Gaussiana multivariada em dimensional. E tomo observações (cada uma delas um vetor ) dessa distribuição e calculo a matriz de covariância da amostra . Neste artigo , os autores afirmam que a matriz de covariância da amostra calculada com é singular.pppnnnpppSSSp>np>np > n Como …

30 covariance-matrix  linear-algebra 

Estou estudando PCA no curso Coursera de Andrew Ng e outros materiais. Na primeira tarefa do curso de PNL de Stanford, cs224n , e no vídeo da aula de Andrew Ng , eles fazem decomposição de valor singular em vez de decomposição de vetor próprio da matriz de covariância, e …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Se e são dois vetores de unidades aleatórias independentes em (distribuídos uniformemente em uma esfera de unidades), qual é a distribuição do produto escalar (produto escalar) ?y R D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Eu acho que conforme cresce a distribuição rapidamente (?) Se torna normal com média …

27 mathematical-statistics  linear-algebra  beta-distribution 

Observo um comportamento muito estranho no resultado SVD de dados aleatórios, que posso reproduzir tanto no Matlab quanto no R. Parece um problema numérico na biblioteca LAPACK; é isso? Eu desenho n=1000n=1000n=1000 amostras do Gaussiano k=2k=2k=2 dimensional com média zero e covariância de identidade: X∼N(0,I)X∼N(0,I)X\sim \mathcal N (0, \mathbf I) …

21 pca  svd  linear-algebra  numerics 

Conheço a definição de matriz simétrica positiva definida (SPD), mas quero entender mais. Por que eles são tão importantes, intuitivamente? Aqui está o que eu sei. O quê mais? Para um dado dado, a matriz de co-variância é SPD. Matriz de co-variância é uma métrica importante; consulte este excelente post …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Estou tentando obter uma compreensão intuitiva de como a análise de componentes principais (PCA) funciona no espaço sujeito (duplo) . Considere o conjunto de dados 2D com duas variáveis, x1x1x_1 e x2x2x_2 , e nnn pontos de dados (a matriz de dados XX\mathbf X é n×2n×2n\times 2 e assume-se centralizada). …

19 pca  linear-algebra  intuition  geometry 

Eu quero transformar meus dados XX\mathbf X modo que as variações sejam uma e as covariâncias sejam zero (ou seja, eu quero branquear os dados). Além disso, os meios devem ser zero. Sei que chegarei lá fazendo a padronização Z e a transformação PCA, mas em que ordem devo fazê-las? …

18 pca  linear-algebra 

Seja θ∈Rnθ∈Rn\theta \in R^{n} . A Matriz de Informações de Fisher é definida como: I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Como posso provar que a Matriz de informações de Fisher é semidefinida positiva?

18 inference  linear-algebra  fisher-information 

Essa é uma pergunta muito simples, mas não consigo encontrar a derivação em nenhum lugar da internet ou de um livro. Gostaria de ver a derivação de como um bayesiano atualiza uma distribuição normal multivariada. Por exemplo: imagine que P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra