Estatísticas e Big Data

Às vezes, na literatura, esbarro na observação de que a escolha de anteriores que dependem dos dados em si (por exemplo, Zellners g-prior) pode ser criticada do ponto de vista teórico. Onde exatamente está o problema se o prior não for escolhido independentemente dos dados?

18 bayesian  prior  hierarchical-bayesian 

Recentemente, descobri como modelar exposições ao longo do tempo usando o log de (por exemplo) tempo como um deslocamento em uma regressão de Poisson. Entendi que o deslocamento corresponde a ter o tempo como covariável com o coeficiente 1. Eu gostaria de entender melhor a diferença entre usar o tempo …

18 poisson-regression  predictor  offset 

Posso obter ajuda para concluir esta tentativa (em andamento) de tentar me orientar sobre os equivalentes da ANOVA e REGRESSION? Eu tenho tentado conciliar os conceitos, nomenclatura e sintaxe dessas duas metodologias. Há muitos posts sobre este local sobre a sua semelhança, por exemplo, este ou esta , mas ainda …

18 regression  anova  mixed-model 

Suponha que eu faça validação cruzada com dobra K com K = 10 dobras. Haverá uma matriz de confusão para cada dobra. Ao relatar os resultados, devo calcular qual é a matriz de confusão média ou somar as matrizes de confusão?

18 machine-learning  cross-validation  accuracy 

Vi e apreciei a pergunta Compreendendo a análise de componentes principais e agora tenho a mesma pergunta para análise de componentes independentes. Quero dizer, quero fazer uma pergunta abrangente sobre as maneiras intuitivas de entender a ACI? Eu quero entender isso. Eu quero entender o propósito disso. Eu quero ter …

18 intuition  ica 

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca …

18 lasso  ridge-regression  elastic-net 

De Uma Introdução à Aprendizagem Estatística de James et al., A estimativa de validação cruzada de saída única (LOOCV) é definida por que .cv( N )= 1n∑i = 1nMSEEucv(n)=1n∑Eu=1nMSEEu\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEEu= ( yEu- y^Eu)2MSEEu=(yEu-y^Eu)2\text{MSE}_i = (y_i-\hat{y}_i)^2 Sem prova, a equação (5.2) afirma que, para mínimos quadrados ou regressão polinomial (se …

18 regression  self-study  cross-validation  least-squares 

Gostaria de encontrar uma maneira de quantificar a intensidade da bimodalidade de algumas distribuições que recebi empiricamente. Pelo que li, ainda há algum debate sobre a maneira de quantificar a bimodalidade. Eu escolhi usar o teste de imersão de Hartigans, que parece ser o único disponível em R (artigo original: …

18 r  distributions 

Há um post bastante antigo no blog de William Briggs, que analisa as armadilhas de suavizar dados e transportá-los para análise. O argumento principal é: Se, em um momento de insanidade, você suaviza dados de séries temporais e os utiliza como entrada para outras análises, aumenta drasticamente a probabilidade de …

18 time-series  smoothing 

Eu venho da Engenharia Civil, na qual usamos a Extreme Value Theory , como a distribuição GEV para prever o valor de certos eventos, como A maior velocidade do vento , ou seja, o valor em que 98,5% da velocidade do vento seria menor. Minha pergunta é por que usar …

18 quantiles  extreme-value 

Eu estou olhando para implementar um biplot para análise de componentes principais (PCA) em JavaScript. Minha pergunta é: como determinar as coordenadas das setas da saída da decomposição de vetor singular (SVD) da matriz de dados?você, V, DU,V,DU,V,D Aqui está um exemplo de biplot produzido por R: biplot(prcomp(iris[,1:4])) Tentei procurar …

18 pca  svd  biplot 

Qual é um bom livro sobre filosofia bayesiana, contrastando subjetivistas contra objetivistas, explicando a visão da probabilidade como estado do conhecimento nas estatísticas bayesianas, etc.? Talvez o livro de Savage? No começo, pensei que Berger (1986) poderia funcionar, mas não é o que estou procurando. Procurar um livro desse tipo …

18 bayesian  references  philosophical 

Minha situação é a seguinte: desejo, através de um estudo de Monte-Carlo, comparar valores- de dois testes diferentes para obter significância estatística de um parâmetro estimado (nulo é "sem efeito - parâmetro é zero" e a alternativa implícita é " parâmetro não é zero "). O teste A é o …

18 hypothesis-testing  p-value 

Estou usando o K-means para agrupar meus dados e estava procurando uma maneira de sugerir um número de cluster "ideal". As estatísticas de gap parecem ser uma maneira comum de encontrar um bom número de cluster. Por alguma razão, ele retorna 1 como o número ideal do cluster, mas quando …

18 r  machine-learning  clustering  k-means 

Digamos que tenho duas variáveis ​​aleatórias normais padrão e que são conjuntamente normais com o coeficiente de correlação .X 2X1X1X_1X2X2X_2rrr Qual é a função de distribuição de ?max ( X1, X2)max(X1,X2)\max(X_1, X_2)

18 correlation  normal-distribution  extreme-value