Estatísticas e Big Data

Esta pergunta foi migrada do Mathematics Stack Exchange porque pode ser respondida em Validação cruzada. Migrou há 7 anos . Estou aprendendo agora sobre análise de regressão e análise de variância. Na análise de regressão, você tem uma variável fixa e deseja saber como a variável vai com a outra …

21 regression 

Eu tenho várias observações multivariadas e gostaria de avaliar a densidade de probabilidade em todas as variáveis. Supõe-se que os dados sejam normalmente distribuídos. Em números baixos de variáveis, tudo funciona como eu esperaria, mas passar para números maiores resulta na matriz de covariância que se torna definida como não …

21 normal-distribution  multivariate-analysis  covariance 

Recentemente, eu comecei a ajustar modelos mistos de regressão na estrutura bayesiana, usando um algoritmo MCMC (função MCMCglmm em R, na verdade). Acredito ter entendido como diagnosticar a convergência do processo de estimativa (traço, gráfico de geweke, autocorrelação, distribuição posterior ...). Uma das coisas que me impressiona na estrutura bayesiana …

21 r  bayesian  mixed-model  mcmc  residuals 

Estou fazendo alguma pesquisa, mas fiquei paralisado na fase de análise (deveria ter prestado mais atenção às minhas aulas de estatísticas). Eu coletei dois sinais simultâneos: vazão integrada para volume e alteração na expansão torácica. Eu gostaria de comparar os sinais e, finalmente, esperar obter volume do sinal de expansão …

21 r  time-series  signal-processing  measurement 

Costumo me encontrar treinando vários modelos preditivos diferentes usando caretem R. Vou treiná-los todos nas mesmas dobras de validação cruzada, usando caret::: createFoldse depois escolho o melhor modelo com base em erro de validação cruzada. No entanto, a previsão mediana de vários modelos geralmente supera o melhor modelo único em …

21 r  caret  ensemble 

O trecho a seguir é do Hedge Fund Market Wizzards da Schwager (maio de 2012), uma entrevista com o sempre bem-sucedido gerente de fundos de hedge Jaffray Woodriff: Para a pergunta: "Quais são alguns dos piores erros que as pessoas cometem na mineração de dados?": Muitas pessoas pensam que estão …

21 data-mining  curve-fitting  out-of-sample 

\newcommand{\P}{\mathbb{P}} Suponha que tenhamos variáveis ​​aleatórias independentes , , com meios finitos e variâncias , , . Estou procurando limites livres de distribuição com a probabilidade de que qualquer seja maior que todos os outros , .X 1 … X n μ 1 ≤ … ≤ μ N σ 2 …

21 probability  bounds  maximum 

Eu me deparei com um cenário em que tenho 10 sinais / pessoa para 10 pessoas (então 100 amostras) contendo 14000 pontos de dados (dimensões) que preciso passar para um classificador. Gostaria de reduzir a dimensionalidade desses dados e o PCA parece ser o caminho para fazê-lo. No entanto, só …

21 pca  dimensionality-reduction  svd 

Suponha que você esteja analisando um enorme conjunto de dados na ordem de bilhões de observações por dia, em que cada observação possui algumas milhares de variáveis ​​numéricas e categoriais esparsas e possivelmente redundantes. Digamos que exista um problema de regressão, um problema de classificação binária desequilibrada e uma tarefa …

21 r  machine-learning  data-mining  large-data 

Em seu livro, Modelos Gráficos, Famílias Exponenciais e Inferência Variacional , M. Jordan e M. Wainwright discutem a conexão entre famílias Exponenciais e Campos Aleatórios de Markov (modelos gráficos não direcionados). Estou tentando entender melhor o relacionamento entre eles com as seguintes perguntas: Todos os MRFs são membros das famílias …

21 mathematical-statistics  graphical-model 

Estou lendo os slides "Doing Bayesian Data Analysis" de John Kruschke , mas na verdade tenho uma pergunta sobre sua interpretação dos testes t e / ou toda a estrutura de testes de significância de hipóteses nulas. Ele argumenta que os valores de p estão mal definidos porque dependem das …

21 hypothesis-testing 

Eu estou querendo saber qual a relação exata entre parcial R2R2R^2 e coeficientes em um modelo linear é e se eu deveria usar apenas um ou ambos para ilustrar a importância e influência de fatores. Tanto quanto sei, com as summaryestimativas dos coeficientes e com anovaa soma dos quadrados de …

21 r  regression  multiple-regression  regression-coefficients  r-squared 

Fiquei me perguntando se alguém tinha algum insight ou intuição por trás da diferença entre a Variação da Informação e o Índice Rand para comparar agrupamentos. Eu li o artigo " Comparando Clusterings - Uma Distância Baseada em Informações ", de Marina Melia (Journal of Multivariate Analysis, 2007), mas, além …

21 machine-learning  clustering  metric 

É possível que duas variáveis ​​aleatórias tenham a mesma distribuição e, no entanto, sejam quase certamente diferentes?

21 distributions  probability 

O SPSS usa o teste de Levene para avaliar a homogeneidade das variações no procedimento de teste t do grupo independente. Por que o teste de Levene é melhor que uma simples razão F da razão das variâncias dos dois grupos?

21 hypothesis-testing  anova  variance  t-test  heteroscedasticity