Estatísticas e Big Data

Ao construir um biplot para uma análise PCA, você tem pontuações PC1 do componente principal no eixo x e pontuações PC2 no eixo y. Mas quais são os outros dois eixos à direita e na parte superior da tela?

18 r  pca  biplot 

Gostaria de saber como o tratamento de pesos difere entre svyglmeglm Estou usando o twangpacote em R para criar pontuações de propensão que são usadas como pesos, conforme a seguir (este código vem da twangdocumentação): library(twang) library(survey) set.seed(1) data(lalonde) ps.lalonde <- ps(treat ~ age + educ + black + hispan …

18 r  survey 

tl; dr Qual é a maneira recomendada de lidar com discretedados ao realizar a detecção de anomalias? Qual é a maneira recomendada de lidar com categoricaldados ao realizar a detecção de anomalias? Esta resposta sugere o uso de dados discretos para filtrar apenas os resultados. Talvez substitua o valor da …

18 machine-learning  categorical-data  outliers  discrete-data  anomaly-detection 

Alguma idéia de por que não usamos dígitos significativos nas estatísticas? Algo na linha do que estamos usando estimativas para que regras sobre precisão não se apliquem;)?

18 reporting 

Estou tentando realizar uma análise discreta de sobrevivência no tempo usando um modelo de regressão logística, e não tenho certeza se entendi completamente o processo. Eu gostaria muito de receber ajuda com algumas perguntas básicas. Aqui está a configuração: Estou analisando a participação em um grupo dentro de uma janela …

18 survival  discrete-data  hazard  kaplan-meier 

Eles parecem tão parecidos. Eles são a mesma coisa, mas apenas referidos como nomes diferentes?

18 regression  dataset  econometrics 

Preciso classificar os URLs em categorias. Digamos que eu tenho 15 categorias nas quais planejo zerar cada URL. Um classificador de 15 vias é melhor? Onde eu tenho 15 rótulos e gero recursos para cada ponto de dados. Ou construindo 15 classificadores binários, digamos: Filme ou Não Filme, e use …

18 machine-learning  classification  categorical-data  svm  feature-selection 

Se em uma regressão linear eu tenho variável categórica ... como eu sei a significância estatística da variável categórica? Digamos que o fator tenha 10 níveis ... haverá 10 valores t resultantes diferentes, sob a égide de uma variável fator ...X1X1X_1X1X1X_1 Parece-me que a significância estatística é testada para cada …

18 regression  statistical-significance  categorical-data 

Vamos ter um modelo linear, por exemplo, ANOVA simples: # data generation set.seed(1.234) Ng <- c(41, 37, 42) data <- rnorm(sum(Ng), mean = rep(c(-1, 0, 1), Ng), sd = 1) fact <- as.factor(rep(LETTERS[1:3], Ng)) m1 = lm(data ~ 0 + fact) summary(m1) O resultado é o seguinte: Call: lm(formula = …

18 r  regression  confidence-interval 

Essa é uma pergunta muito simples, mas não consigo encontrar a derivação em nenhum lugar da internet ou de um livro. Gostaria de ver a derivação de como um bayesiano atualiza uma distribuição normal multivariada. Por exemplo: imagine que P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra 

A impressão que tive, com base em vários artigos, livros e artigos que li, é que a maneira recomendada de ajustar uma distribuição de probabilidade em um conjunto de dados é usando a estimativa de máxima verossimilhança (MLE). No entanto, como físico, uma maneira mais intuitiva é ajustar apenas o …

18 distributions  maximum-likelihood  least-squares  heteroscedasticity  fitting 

Alguém pode me explicar vantagens e desvantagens da classificação SVM que a distingue de outros classificadores?

18 machine-learning  svm 

Após uma recente votação suspensa, tenho tentado verificar meu entendimento do teste de Pearson Chi Squared. Normalmente, uso a estatística do qui quadrado (ou estatística do qui quadrado reduzido) para ajustar ou verificar o ajuste resultante. Nesse caso, a variação não é geralmente o número esperado de contagens em uma …

18 chi-squared  histogram 

Eu sei que o SVM é um classificador binário. Eu gostaria de estendê-lo ao SVM de várias classes. Qual é a melhor e talvez a maneira mais fácil de realizá-la? código: em MATLAB u=unique(TrainLabel); N=length(u); if(N>2) itr=1; classes=0; while((classes~=1)&&(itr<=length(u))) c1=(TrainLabel==u(itr)); newClass=double(c1); tst = double((TestLabel == itr)); model = svmtrain(newClass, TrainVec, …

18 machine-learning  matlab  svm  multi-class 

Eu estou sofrendo de um apagão. Foi-me apresentada a figura a seguir para mostrar a troca de viés e variância no contexto da regressão linear: Percebo que nenhum dos dois modelos se encaixa bem - o "simples" não está apreciando a complexidade da relação XY e o "complexo" está apenas …

18 regression  variance  bias