Estatísticas e Big Data

Eu tenho um modelo de regressão parecido com este:Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y = \beta_0+\beta_1X_1 + \beta_2X_2 + \beta_3X_3 +\beta_{12}X_1X_2+\beta_{13}X_1X_3+\beta_{123}X_1X_2X_3 ... ou na notação R: y ~ x1 + x2 + x3 + x1:x2 + x1:x3 + x1:x2:x3 Digamos que e são variáveis ​​categóricas e é numérico. A complicação é que tem três níveis …

9 r  contrasts 

Eu tenho alguns dados que não posso necessariamente assumir que foram extraídos de distribuições normais e gostaria de realizar testes de equivalência entre grupos. Para dados normais, existem técnicas como TOST (dois testes t unilaterais). Existe algo análogo ao TOST para dados não normais?

9 hypothesis-testing  equivalence  tost 

Alguém conhece um bom método para determinar se o agrupamento usando kmeans é apropriado? Ou seja, e se sua amostra for realmente homogênea? Eu sei que algo como um modelo de mistura (via mclust em R) fornecerá estatísticas de ajuste para o caso de cluster 1: k, mas parece que …

9 r  clustering  k-means 

Uma pergunta recente , uma questão relacionada e a fonte citada , recentemente me alertaram que a correção para estimativas amostrais de variação populacional é referida como correção de Bessel . Bessel estava morto em 1846 ( citação na Wikipedia ) e o teste t foi publicado em 1908 ( …

9 distributions  t-test  history 

Alguém pode sugerir como calcular a função geradora de momento do produto interno de dois vetores aleatórios gaussianos, cada um distribuído como , independente um do outro? Existe algum resultado padrão disponível para isso? Qualquer ponteiro é muito apreciado.N(0,σ2)N(0,σ2)\mathcal N(0,\sigma^2)

9 normal-distribution  mathematical-statistics  multivariate-analysis  moments  mgf 

Estou interessado em vincular registros em dois conjuntos de dados por nome, sobrenome e ano de nascimento. Isso pode ser possível com o algoritmo EM? Em caso afirmativo, como? Considere o seguinte registro no 1º como exemplo: Carl McCarthy, 1967. Pesquisarei todos os registros no segundo conjunto de dados e …

9 machine-learning  stata  expectation-maximization  record-linkage  perl 

O que seria um bom livro para estatísticas não paramétricas. Não apenas a introdução, mas o nível avançado. Também estou procurando algo que eu possa usar para aprender e não para referência. Em particular, estou procurando um livro que possa conter conceitos básicos por trás de métodos não paramétricos, inferência …

9 nonparametric  references  kolmogorov-smirnov 

No capítulo "Regressão à média" de "Pensando, rápido e devagar", de Daniel Kahneman, um exemplo é dado e o leitor é solicitado a prever as vendas de lojas individuais, considerando a previsão geral de vendas e os números de vendas do ano anterior . Por exemplo (o exemplo do livro …

9 regression 

Eu estava tentando criar alguns dados de teste para regressão logística e encontrei este post Como simular dados artificiais para regressão logística? É uma boa resposta, mas cria apenas variáveis ​​contínuas. Que tal uma variável categórica x3 com 5 níveis (ABCDE) associada a y para o mesmo exemplo que no …

9 r  logistic  simulation 

Estou construindo uma ferramenta de previsão interativa (em python) como uma ajuda à previsão feita em minha organização. Até a presente data, o processo de previsão foi em grande parte orientado para o ser humano, com os meteorologistas assimilando os dados em suas redes neurais naturais e usando sua intuição …

9 data-visualization  communication 

Quais são alguns dos melhores livros para estudar i) variabilidade de variáveis ​​univariadas e multivariadas (dados reais, contados) em um domínio espacial. ii) amostragem de uma variável univariada ou multivariada com base em sua distribuição entre locais espaciais. (Amostra espacial em resumo)

9 sampling  mathematical-statistics  references  spatial 

Eu tenho uma pergunta sobre a interpretação dos bigodes de um boxplot. Li o seguinte: "Na parte superior e inferior do retângulo, os" bigodes "mostram o intervalo de 1,5 vezes a distância entre os quantis de 0,25 e 0,75", mas não compreendem completamente o que se entende por "distância". . …

9 data-visualization  boxplot 

Na página 232 de "Um companheiro R para regressão aplicada", Fox e Weisberg observam Somente a família gaussiana tem variação constante e, em todos os outros GLMs, a variação condicional de y em depende dexx\bf{x}μ ( x )μ(x)\mu(x) Anteriormente, eles observam que a variação condicional do Poisson é e a …

9 logistic  generalized-linear-model 

Quero saber se existe alguma maneira possível de calcular o coeficiente de Jaccard usando a multiplicação de matrizes. Eu usei esse código jaccard_sim <- function(x) { # initialize similarity matrix m <- matrix(NA, nrow=ncol(x),ncol=ncol(x),dimnames=list(colnames(x),colnames(x))) jaccard <- as.data.frame(m) for(i in 1:ncol(x)) { for(j in i:ncol(x)) { jaccard[i,j]= length(which(x[,i] & x[,j])) / …

9 r  matrix  binary-data  association-measure  similarities 

Sou iniciante no que diz respeito ao suporte a máquinas vetoriais. Existem algumas diretrizes que indicam qual kernel (por exemplo, linear, polinomial) é o mais adequado para um problema específico? No meu caso, tenho que classificar as páginas da Web de acordo com elas conterem alguma informação específica ou não, …

9 classification  svm  model-selection  libsvm  kernel-trick