Estatísticas e Big Data

Como você interpreta o coeficiente de razão inversa de Mills (lambda) no modelo Heckman de duas etapas ?

10 econometrics  heckman  selection-bias 

"Resíduos estudantis" e "resíduos padronizados" são os mesmos nos modelos de regressão? Eu construí um modelo de regressão linear em R e queria plotar o gráfico de resíduos Studentized v / s valores ajustados, mas não encontrei uma maneira automatizada de fazer isso em R. Suponha que eu tenho um …

10 r  regression  residuals  terminology 

Alguém poderia me explicar em termos simples o que é uma matriz de covariância isotrópica? Não consigo encontrar nada online.

10 terminology  covariance-matrix  definition 

Como executar regressão não negativa da crista? Laço não negativo está disponível em scikit-learn, mas para cume, não posso impor a não-negatividade de betas e, de fato, estou obtendo coeficientes negativos. Alguém sabe por que isso é? Além disso, posso implementar cume em termos de mínimos quadrados regulares? Movi isso …

10 regression  lasso  regularization  ridge-regression 

Situação: Dois pássaros (machos e fêmeas) protegem seus ovos no ninho contra um intruso. Cada ave pode usar ataque ou ameaça para proteção e estar presente ou ausente. Existe um padrão emergente nos dados de que o comportamento pode ser complementar - ataques masculinos enquanto as mulheres usam ameaças e …

10 r  sequence-analysis 

Tudo está no título, faz sentido usar a seleção de recursos antes de usar a floresta aleatória?

10 machine-learning  feature-selection  random-forest 

Entendo que podemos empregar regularização em um problema de regressão de mínimos quadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e que esse problema tem uma solução de formulário fechado como: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vemos que na 2ª equação, a regularização está simplesmente adicionando λλ\lambda à diagonal …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Alguém pode fornecer uma explicação simples (leiga) da relação entre as distribuições de Pareto e o Teorema do Limite Central (por exemplo, aplica-se? Por que / por que não?)? Estou tentando entender a seguinte declaração: "o Teorema do Limite Central não funciona com todas as distribuições. Isso se deve a …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

O algoritmo SVM é bastante antigo - foi desenvolvido nos anos 1960, mas era extremamente popular nos anos 1990 e 2000. É uma parte clássica (e bastante bonita) dos cursos de aprendizado de máquina. Hoje, parece que no processamento de mídia (imagens, som etc.) as redes neurais dominam completamente, enquanto …

10 machine-learning  svm 

Estou estudando análises discriminantes, mas estou tendo dificuldades para conciliar várias explicações diferentes. Acredito que devo estar faltando alguma coisa, porque nunca encontrei esse nível (aparentemente) de discrepância antes. Dito isto, o número de perguntas sobre análise discriminante neste site parece testemunhar sua complexidade. LDA e QDA para várias classes …

10 multivariate-analysis  discriminant-analysis 

Estou fazendo uma análise do Matlab sobre dados de ressonância magnética, onde realizei o PCA em uma matriz de 10304x236, em que 10304 é o número de voxels (pense neles como pixels) e 236 é o número de pontos no tempo. O PCA fornece 236 autovalores e seus coeficientes relacionados. …

10 pca  eigenvalues  neuroimaging 

Carregue o pacote necessário. library(ggplot2) library(MASS) Gere 10.000 números ajustados à distribuição gama. x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] Desenhe a função densidade de probabilidade, supondo que não sabemos em qual distribuição x se encaixa. t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida, então não posso simplesmente …

10 information-theory  mutual-information  binning 

Nas minhas notas de aula, diz: A distribuição t parece normal, embora com caudas um pouco mais pesadas. Entendo por que pareceria normal (por causa do Teorema do Limite Central). Mas estou tendo dificuldade em entender como provar matematicamente que ela possui caudas mais pesadas que a distribuição normal e …

10 normal-distribution  t-distribution  heavy-tailed 

Contexto Estou tentando entender como o coxph (R) aceita e lida com entradas repetidas para assuntos (ou paciente / cliente, se você preferir). Alguns chamam isso de formato longo, outros chamam de 'medidas repetidas'. Veja, por exemplo, o conjunto de dados que inclui a coluna ID na seção Respostas em: …

10 r  repeated-measures  survival  cox-model  frailty