Estatísticas e Big Data

Sumário breve Por que é mais comum a regressão logística (com odds ratio) ser usada em estudos de coorte com resultados binários, em oposição à regressão de Poisson (com riscos relativos)? fundo Os cursos de estatística e epidemiologia de graduação e pós-graduação, na minha experiência, geralmente ensinam que a regressão …

42 logistic  poisson-distribution  epidemiology  odds-ratio  relative-risk 

Eu tenho uma amostra aleatória de variáveis ​​aleatórias Bernoulli , em que X i são iidrv e P ( X i = 1 ) = p , e p é um parâmetro desconhecido.X1. . . XNX1...XNX_1 ... X_NXEuXiX_iP( XEu= 1 ) = pP(Xi=1)=pP(X_i = 1) = pppp Obviamente, pode-se encontrar …

42 confidence-interval  binomial  bernoulli-distribution 

Minha compreensão da diferença entre aprendizado de máquina / outras técnicas de previsão estatística versus o tipo de estatística que os cientistas sociais (por exemplo, economistas) usam é que os economistas parecem muito interessados ​​em entender o efeito de uma única ou várias variáveis ​​- tanto em termos de magnitude …

42 machine-learning  econometrics 

Atualmente, estou lendo um artigo sobre o local e a preferência de voto nas eleições de 2000 e 2004. Nele, há um gráfico que exibe os coeficientes de regressão logística. De cursos anos atrás e um pouco de leitura, Entendo a regressão logística como uma maneira de descrever a relação …

42 regression  logistic  interpretation 

A análise de componentes principais pode usar a decomposição da matriz, mas isso é apenas uma ferramenta para chegar lá. Como você encontraria os principais componentes sem o uso de álgebra matricial? Qual é a função objetivo (objetivo) e quais são as restrições?

42 pca 

Gostaria de saber se alguém poderia sugerir quais são os bons pontos de partida quando se trata de realizar a detecção / particionamento / agrupamento / agrupamento de gráficos da comunidade em um gráfico que tenha arestas ponderadas e não direcionadas . O gráfico em questão possui aproximadamente 3 milhões …

42 clustering  data-visualization  networks  partitioning  modularity 

Além de tirar diferenças, quais são as outras técnicas para fazer uma série temporal não estacionária, estacionária? Normalmente, refere-se a uma série como " integrada de ordem p " se puder ser estacionária através de um operador de atraso .( 1 - L )PXt(1−L)PXt(1-L)^P X_t

42 time-series  stationarity 

Meu local de trabalho tem funcionários de uma ampla variedade de disciplinas, por isso geramos dados de várias formas diferentes. Consequentemente, cada equipe desenvolveu seu próprio sistema para armazenar dados. Alguns usam bancos de dados Access ou SQL; algumas equipes (para meu horror) dependem quase inteiramente das planilhas do Excel. …

42 dataset  reproducible-research  quality-control 

Como devo obter distribuições anteriores de especialistas ao ajustar um modelo bayesiano?

42 bayesian  prior  elicitation 

Eu costumo ouvir sobre "mínimos quadrados comuns". Esse é o algoritmo mais usado para regressão linear? Existem motivos para usar um diferente?

42 regression  least-squares  algorithms  computational-statistics  numerics 

Suponha que eu queira aprender um classificador que prevê se um email é spam. E suponha que apenas 1% dos e-mails sejam spam. A coisa mais fácil a fazer seria aprender o classificador trivial que diz que nenhum dos emails é spam. Esse classificador nos daria 99% de precisão, mas …

42 machine-learning  classification 

Existem dois vetores booleanos, que contêm apenas 0 e 1. Se eu calcular a correlação de Pearson ou Spearman, elas são significativas ou razoáveis?

42 correlation  binary-data  pearson-r  spearman-rho 

Eu tenho uma pergunta sobre qual é a melhor maneira de especificar uma interação em um modelo de regressão. Considere os seguintes dados: d <- structure(list(r = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c("r1","r2"), …

42 r  regression  interaction 

Gostaria de encontrar a correlação entre uma variável contínua (variável dependente) e uma variável categórica (nominal: sexo, variável independente). Os dados contínuos não são normalmente distribuídos. Antes, eu tinha calculado usando o Spearman . No entanto, me disseram que isso não está certo.ρρ\rho Ao pesquisar na internet, descobri que o …

42 correlation  categorical-data  descriptive-statistics  biostatistics  spearman-rho 

Eu estou tentando interpretar os pesos variáveis ​​dados ajustando um SVM linear. (Estou usando o scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ Não consigo encontrar nada na documentação que indique especificamente como esses pesos são calculados ou interpretados. O sinal do peso tem algo a …

42 svm  feature-selection  python  scikit-learn