Estatísticas e Big Data

Estou comparando a distribuição de tamanho das árvores em seis pares de parcelas em que uma parcela recebeu um tratamento e a outra um controle. Usando um teste de Kolmogorov-Smirnov em cada par de parcelas, acho que varia de 0,0003707 a 0,75 . Existem métodos apropriados para lidar com todas …

12 nonparametric  kolmogorov-smirnov 

Não consegui descobrir como executar a regressão linear em R in para um design de medida repetida. Em uma pergunta anterior (ainda sem resposta), me foi sugerido não usar, lmmas usar modelos mistos. Eu usei lmda seguinte maneira: lm.velocity_vs_Velocity_response <- lm(Velocity_response~Velocity*Subject, data=mydata) (mais detalhes sobre o conjunto de dados podem …

12 r  regression  mixed-model  repeated-measures 

Existe algum truque técnico para determinar o terceiro quartil se ele pertence a um intervalo aberto que contém mais de um quarto da população (então não posso fechar o intervalo e usar a fórmula padrão)? Editar Caso eu entenda mal algo, fornecerei um contexto mais ou menos completo. Eu tenho …

12 distributions  histogram  descriptive-statistics 

Estou tentando detectar valores anômalos em uma série temporal de dados climáticos com algumas observações ausentes. Pesquisando na web, encontrei muitas abordagens disponíveis. Dessas, a decomposição do stl parece atraente, no sentido de remover componentes de tendência e sazonais e estudar o restante. Lendo STL: um procedimento de decomposição de …

12 r  time-series  outliers  missing-data 

Desejo usar o Critério de informações de Akaike (AIC) para escolher o número apropriado de fatores a serem extraídos em um PCA. O único problema é que não tenho certeza de como determinar o número de parâmetros. Considere uma matriz , em que representa o número de variáveis ​​e o …

12 pca  model-selection 

Estou tentando decompor uma matriz de covariância com base em um conjunto de dados esparsos / gappy. Estou percebendo que a soma do lambda (variação explicada), conforme calculada svd, está sendo amplificada com dados cada vez mais escassos. Sem lacunas, svde eigenproduz os mesmos resultados. Isso não parece acontecer com …

12 r  svd  eigenvalues 

Estou usando o pacote randomForest no R e usando os dados da íris, a floresta aleatória gerada é uma classificação, mas quando uso um conjunto de dados com cerca de 700 recursos (os recursos são cada pixel em uma imagem de 28 x 28 pixels) e a coluna do rótulo …

12 r  random-forest 

Você consideraria o HBM vs EB como duas alternativas nas quais os hiperparâmetros estão "no jogo" de serem amostrados / estimados / etc.? Existe claramente uma conexão entre esses dois. Você consideraria a HBM mais "totalmente bayesiana" que a EB? Existe algum lugar onde eu possa ver quais são as …

12 bayesian  empirical-bayes 

Você poderia me dar alguns esclarecimentos sobre mineração de dados e algoritmos de inteligência artificial? Para que base matemática eles usaram? Você poderia me dar um ponto de partida, em matemática, para entender esses tipos de algoritmos?

12 mathematical-statistics  references  data-mining  algorithms  artificial-intelligence 

Executei um SVM em um determinado conjunto de dados e fiz a seguinte observação: Se eu alterar o número de recursos para a construção do classificador, o número de vetores de suporte resultantes também será alterado. Eu gostaria de saber como explicar esse tipo de cenário.

12 machine-learning  classification  svm  kernel-trick 

Provavelmente, essa é uma pergunta muito básica, mas parece que não consigo encontrar uma resposta sólida. Espero que aqui eu possa. Atualmente, estou lendo artigos como preparação para minha tese de mestrado. Atualmente, estou lendo um artigo que pesquisa a relação entre tweets e recursos do mercado de ações. Em …

12 correlation  data-transformation  logarithm 

Suponha que eu tenha uma matriz de recomendação no estilo Netflix e que deseje criar um modelo que preveja possíveis classificações futuras de filmes para um determinado usuário. Usando a abordagem de Simon Funk, usaria-se a descida do gradiente estocástico para minimizar a norma de Frobenius entre a matriz completa …

12 svd  recommender-system 

Os bayesianos alguma vez argumentam que sua abordagem generaliza a abordagem freqüentista, porque é possível usar priores não informativos e, portanto, recuperar uma estrutura de modelo freqüentista típica? Alguém pode me indicar um lugar onde eu possa ler sobre esse argumento, se ele realmente for usado? Edição: Esta pergunta talvez …

12 bayesian  references  frequentist 

É possível obter uma correlação positiva entre um regressor e uma resposta ( +0,43) e, posteriormente, obter um coeficiente negativo no modelo de regressão ajustado para esse regressor? Não estou falando de mudanças no sinal do regressor entre alguns modelos. O sinal do coeficiente sempre permanece. As demais variáveis ​​do …

12 correlation  multiple-regression  regression-coefficients 

Existe um bom relato expositivo publicado, com detalhes matemáticos, das várias abordagens adotadas para o problema de Behrens-Fisher?

12 inference  references