Estatísticas e Big Data

Tenho várias perguntas sobre a penalidade de cordilheira no contexto de mínimos quadrados: βr i dge= ( λ ID+ X′X)- 1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) A expressão sugere que a matriz de covariância de X é reduzida em direção a uma matriz diagonal, o que significa que (assumindo …

25 regression  pca  regularization  ridge-regression 

Em algumas palestras e tutoriais que eu já vi, eles sugerem dividir seus dados em três partes: treinamento, validação e teste. Mas não está claro como o conjunto de dados de teste deve ser usado, nem como essa abordagem é melhor do que a validação cruzada de todo o conjunto …

25 machine-learning  cross-validation  validation 

Suponha que eu tenha um conjunto de dados para uma tarefa de classificação estatística supervisionada, por exemplo, por meio de um classificador Bayes. Este conjunto de dados consiste em 20 recursos e eu quero reduzi-lo a 2 recursos por meio de técnicas de redução de dimensionalidade, como Análise de Componentes …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Em um modelo de regressão simples, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, os estimadores OLS pβ^OLS0β^0OLS\hat{\beta}_0^{OLS} e ββ^OLS1β^1OLS\hat{\beta}_1^{OLS} estão correlacionados. A fórmula para a correlação entre os dois estimadores é (se a derivou corretamente): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Questões: Qual é a explicação intuitiva para …

25 regression  least-squares  estimators 

Eu sou um estudante de mestrado em uma universidade alemã agora escrevendo minha tese. Estarei pronto em dois meses. Tenho que tomar uma decisão muito difícil se continuar com um doutorado ou encontrar um emprego na indústria. Minhas razões para fazer um PhD: Sou uma pessoa muito curiosa e sinto …

25 machine-learning  data-mining  careers 

Eu tenho uma confusão sobre estimadores tendenciosos de máxima verossimilhança (ML). A matemática de todo o conceito é bastante clara para mim, mas não consigo descobrir o raciocínio intuitivo por trás dele. Dado um determinado conjunto de dados que possui amostras de uma distribuição, que é uma função de um …

25 maximum-likelihood  bias 

Atualmente, estou executando alguns modelos lineares de efeito misto. Estou usando o pacote "lme4" em R. Meus modelos assumem a forma: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Antes de executar meus modelos, verifiquei a possibilidade de multicolinearidade entre preditores. Eu fiz isso por: Faça …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Considere o exemplo R abaixo: plot( hclust(dist(USArrests), "ave") ) O que exatamente significa o eixo y "Altura"? Olhando para a Carolina do Norte e Califórnia (um pouco à esquerda). A Califórnia é "mais próxima" da Carolina do Norte do que o Arizona? Posso fazer essa interpretação? O Havaí (à direita) …

25 interpretation  hierarchical-clustering  dendrogram 

Gostaria de gerar uma matriz de correlação aleatório de n x n de tamanho de tal modo que existem algumas correlações moderadamente fortes presente:CC\mathbf Cn×nn×nn \times n matriz quadrada de reais simétrico de tamanho, por exemplo, com n = 100 ;n×nn×nn \times nn=100n=100n=100 positivo-definido, ou seja, com todos os autovalores …

25 random-generation  covariance-matrix  correlation-matrix 

Executei um projeto repetido, no qual testei 30 homens e 30 mulheres em três tarefas diferentes. Quero entender como o comportamento de homens e mulheres é diferente e como isso depende da tarefa. Eu usei o pacote lmer e o lme4 para investigar isso, no entanto, estou tentando verificar suposições …

25 r  mixed-model  assumptions  lme4-nlme 

Estou tentando entender melhor a estimativa da densidade do kernel. Usando a definição da Wikipedia: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fh^( x ) = 1n∑ni = 1Kh( x - xEu)= 1n h∑ni = 1K( x - xEuh)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Vamos considerar como uma função …

25 r  kernel-smoothing  convolution 

Eu tenho um data.frame com 800 obs. de 40 variáveis ​​e gostaria de usar a Análise de componentes principais para melhorar os resultados da minha previsão (que até agora está funcionando melhor com a Support Vector Machine em cerca de 15 variáveis ​​escolhidas a dedo). Entendo que um prcomp pode …

25 r  pca 

Estou investigando várias técnicas usadas no agrupamento de documentos e gostaria de esclarecer algumas dúvidas sobre o PCA (análise de componentes principais) e LSA (análise semântica latente). Primeira coisa - quais são as diferenças entre eles? Eu sei que no PCA, a decomposição de SVD é aplicada à matriz de …

25 clustering  pca  data-mining  svd  lsa 

Eu tenho dois conjuntos de dados, um de um conjunto de observações físicas (temperaturas) e outro de um conjunto de modelos numéricos. Estou fazendo uma análise de modelo perfeito, supondo que o conjunto de modelos represente uma amostra verdadeira e independente e verificando se as observações são extraídas dessa distribuição. …

25 bayesian  goodness-of-fit 

Sou estudante de graduação e tenho um projeto para a minha aula de probabilidade. Basicamente, tenho um conjunto de dados sobre os furacões que afetaram meu país por uma série de anos. No meu Livro de Probabilidades, (Probabilidade e Estatística com R), há um exemplo (não completo) de como verificar …

25 r  self-study  poisson-distribution  poisson-process