Estatísticas e Big Data

Essa é provavelmente uma pergunta boba, mas a teoria da probabilidade é o estudo de funções que se integram / somam a uma? EDITAR. Eu esqueci a não-negatividade. Então, a teoria das probabilidades é o estudo de funções não negativas que se integram / somam a uma?

26 probability  mathematical-statistics  measure-theory 

Sou bastante novo nas estatísticas bayesianas e me deparei com uma medida de correlação corrigida, SparCC , que usa o processo Dirichlet no backend de seu algoritmo. Eu tenho tentado percorrer o algoritmo passo a passo para realmente entender o que está acontecendo, mas não sei exatamente o que o …

26 distributions  bayesian  dirichlet-distribution 

Li em algum lugar que o método Variational Bayes é uma generalização do algoritmo EM. De fato, as partes iterativas dos algoritmos são muito semelhantes. Para testar se o algoritmo EM é uma versão especial do Variational Bayes, tentei o seguinte: YYY são dados, é a coleção de variáveis ​​latentes …

26 bayesian  expectation-maximization  variational-bayes 

Qual é a diferença entre um classificador SVM one-vs-all e one-vs-one? O one-vs-all significa um classificador para classificar todos os tipos / categorias da nova imagem e one-vs-one significa que cada tipo / categoria da nova imagem é classificada com classificador diferente (cada categoria é tratada por um classificador especial)? …

26 machine-learning  classification  svm 

Qual é a diferença intuitiva entre uma variável aleatória convergindo em probabilidade versus uma variável aleatória convergindo em distribuição? Eu li várias definições e equações matemáticas, mas isso realmente não ajuda. (Lembre-se de que sou estudante de graduação em economia). Como uma variável aleatória pode convergir para um único número, …

26 distributions  random-variable  convergence  intuition 

Dado um PCA (ou SVD) aproximação de matriz XXX com uma matriz X , sabemos que X é o melhor baixo-rank aproximação das X .X^X^\hat XX^X^\hat XXXX Isso está de acordo com a norma induzida ∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (ou seja, a maior norma de autovalor) ou de acordo com a …

26 pca  svd  matrix-decomposition 

Alguém pode me dizer a diferença entre os kernels no SVM: Linear Polinomial Gaussiano (RBF) Sigmoid Porque, como sabemos, o kernel é usado para mapear nosso espaço de entrada no espaço de recursos de alta dimensionalidade. E nesse espaço de recursos, encontramos o limite linearmente separável. Quando eles são usados …

26 machine-learning  svm  pattern-recognition  kernel-trick 

Vários testes de hipóteses, como o GOF, Kolmogorov-Smirnov, Anderson-Darling etc., seguem este formato básico:χ2χ2\chi^{2} H0 0H0 0H_0 : Os dados seguem a distribuição fornecida. H1 1H1 1H_1 : Os dados não seguem a distribuição fornecida. Normalmente, avalia-se a afirmação de que alguns dados dados seguem alguma distribuição dada e, se …

26 hypothesis-testing  distributions  goodness-of-fit  ecdf 

Eu tenho lido o artigo de Hoekstra et al., De 2014, sobre "Interpretação robusta dos intervalos de confiança", que baixei do site da Wagenmakers . Na penúltima página, a seguinte imagem aparece. Segundo os autores, False é a resposta correta para todas essas afirmações. Não sei muito bem por que …

26 hypothesis-testing  confidence-interval 

Eu estava usando a Análise Discriminante Linear (LDA) da scikit-learnbiblioteca de aprendizado de máquina (Python) para redução de dimensionalidade e fiquei um pouco curioso sobre os resultados. Gostaria de saber agora o que o LDA scikit-learnestá fazendo para que os resultados pareçam diferentes, por exemplo, de uma abordagem manual ou …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Alguém pode explicar as diferenças e dar exemplos específicos de como usar essas três análises? LDA - Análise Discriminante Linear FDA - Análise Discriminante de Fisher QDA - Análise Quadrática Discriminante Procurei em todos os lugares, mas não consegui encontrar exemplos reais com valores reais para ver como essas análises …

26 classification  discriminant-analysis 

Eu tenho um conjunto de números reais. Preciso estimar o quantil de um novo número. Existe alguma maneira limpa de fazer isso no R? em geral? Espero que isso não seja ultra-trivial ;-) Muito apreciado pela sua resposta. PK

26 r 

Qual é a melhor maneira de calcular a decomposição de valor singular (SVD) de uma matriz positiva muito grande (65M x 3,4M) em que os dados são extremamente escassos? Menos de 0,1% da matriz é diferente de zero. Eu preciso de uma maneira que: caberá na memória (eu sei que …

26 svd  numerics 

Existe uma fórmula de formulário fechado para (ou algum tipo de ligação) no EMD entre e ?x 2 ∼ N ( μ 2 , Σ 2 )x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1)x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2, \Sigma_2)

26 normal-distribution  distance 

Fiz uma regressão em condados dos EUA e estou verificando a colinearidade em minhas variáveis ​​'independentes'. O diagnóstico de regressão de Belsley, Kuh e Welsch sugere analisar as proporções de decomposição do índice de condições e da decomposição de variância: library(perturb) ## colldiag(, scale=TRUE) for model with interaction Condition Index …

26 r  multicollinearity  vif  variance-decomposition