Estatísticas e Big Data

Qual é a diferença entre correlação cruzada e informações mútuas. Que tipo de problemas podem ser resolvidos usando essas medidas e quando é apropriado usar um sobre o outro. Obrigado pelos comentários. Para esclarecer, a pergunta é motivada por um interesse na análise de danos, em vez de na análise …

9 cross-correlation  mutual-information 

Existem algoritmos padrão (em oposição a programas) para fazer regressão linear hierárquica? As pessoas geralmente fazem apenas o MCMC ou existem algoritmos mais especializados, talvez de forma parcialmente fechada?

9 regression  bayesian  multiple-regression  multilevel-analysis  irls 

Digamos que você tenha dados de sobrevivência como este: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Para executar um teste padrão de classificação de log, pode-se usar survdiff(Surv(time, status) ~ group, data = obs, …

9 r  survival  wilcoxon-signed-rank 

Digamos que eu tenha várias linhas para um problema de classificação: X1 1, . . . XN, YX1,...XN,YX_1, ... X_N, Y Onde são os recursos / preditores e é a classe à qual a combinação de recursos da linha pertence.X1 1, . . . , XNX1,...,XNX_1, ..., X_NYYY Muitas combinações …

9 machine-learning  classification  data-mining  logistic  stratification 

Como um passatempo paralelo, tenho explorado séries temporais de previsão (em particular, usando R). Para os meus dados, tenho o número de visitas por dia, para todos os dias, voltando quase quatro anos. Nestes dados, existem alguns padrões distintos: De segunda a sexta tem muitas visitas (a mais alta de …

9 r  time-series  seasonality  forecasting 

Existem métodos para corrigir o viés no modelo de risco proporcional de Cox causado por amostra selecionada não aleatoriamente (algo como a correção de Heckman)? Antecedentes : Digamos que a situação seja a seguinte: - Nos primeiros dois anos, todos os clientes são aceitos. - Após esses dois anos, é …

9 bias  cox-model 

Eu tenho uma série temporal de medidas (alturas, uma série dimensional). No período de observação, o processo de medição foi interrompido por alguns momentos. Portanto, os dados resultantes são um vetor com NaNs onde houve lacunas nos dados. Usando o MATLAB, isso está me causando um problema ao calcular a …

9 time-series  dataset  matlab  autocorrelation  missing-data 

Relacionado a Analisar proporções de variáveis e Como parametrizar a proporção de duas variáveis ​​normalmente distribuídas ou o inverso de uma? . Suponha que eu tenha um número de amostras de quatro distribuições aleatórias contínuas diferentes, todas as quais podemos assumir como aproximadamente normais. No meu caso, eles correspondem a …

9 distributions  hypothesis-testing  statistical-significance 

Existe um princípio geral sobre se alguém deve calcular a correlação de pearson para duas variáveis ​​aleatórias X e Y antes de realizar a transformação logarítmica ou depois? Existe um procedimento para testar o que é mais apropriado? Eles produzem valores semelhantes, mas diferentes, pois a transformação de log é …

9 regression  correlation  logarithm  pearson-r 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 3 anos . Estou muito interessado em aprender a criar relatórios recorrentes a partir do meu código R …

9 r 

Estou procurando conjuntos de dados de pontos de dados bidimensionais (cada ponto de dados é um vetor de dois valores (x, y)) seguindo diferentes distribuições e formulários. O código para gerar esses dados também seria útil. Eu quero usá-los para plotar / visualizar o desempenho de alguns algoritmos de cluster. …

9 distributions  data-visualization  clustering  dataset 

Estou intrigado com o conceito de um modelo de entropia máxima de Markov (MEMM) e estou pensando em usá-lo para um etiquetador de parte do discurso (POS). No momento, estou usando um classificador convencional de máxima entropia (ME) para marcar cada palavra individualmente. Isso usa vários recursos, incluindo as duas …

9 machine-learning  mcmc  maximum-entropy  memm 

Eu tenho um grande conjunto de dados que consiste nos valores de várias centenas de variáveis ​​financeiras que podem ser usadas em uma regressão múltipla para prever o comportamento de um fundo de índice ao longo do tempo. Eu gostaria de reduzir o número de variáveis ​​para dez ou mais, …

9 regression  multivariate-analysis  model-selection  multiple-regression 

Estou procurando um exemplo de código simples de como executar um Filtro de Partículas em R. O pacote pomp parece oferecer suporte ao bit matemático do espaço de estado, mas os exemplos são um pouco complicados de seguir programaticamente para um desenvolvedor OO simples como eu, particularmente como carregar os …

9 r 

Eu tenho vários conjuntos de dados da ordem de milhares de pontos. Os valores em cada conjunto de dados são X, Y, Z, referindo-se a uma coordenada no espaço. O valor Z representa uma diferença na elevação no par de coordenadas (x, y). Normalmente, no meu campo de GIS, o …

9 normal-distribution  large-data