Estatísticas e Big Data

Uso a decomposição de Cholesky para simular variáveis ​​aleatórias correlacionadas, dada uma matriz de correlação. A questão é que o resultado nunca reproduz a estrutura de correlação conforme é fornecida. Aqui está um pequeno exemplo em Python para ilustrar a situação. import numpy as np n_obs = 10000 means = …

19 correlation  random-generation  cholesky 

Estou curioso para saber o quão importante é o nó de viés para a eficácia das redes neurais modernas. Eu posso entender facilmente que isso pode ser importante em uma rede superficial com apenas algumas variáveis ​​de entrada. No entanto, as redes neurais modernas, como no aprendizado profundo, geralmente têm …

19 neural-networks  deep-learning  bias-node 

Estou tentando obter uma compreensão intuitiva de como a análise de componentes principais (PCA) funciona no espaço sujeito (duplo) . Considere o conjunto de dados 2D com duas variáveis, x1x1x_1 e x2x2x_2 , e nnn pontos de dados (a matriz de dados XX\mathbf X é n×2n×2n\times 2 e assume-se centralizada). …

19 pca  linear-algebra  intuition  geometry 

O CrossValidated tem várias perguntas sobre quando e como aplicar a correção de viés de evento raro por King e Zeng (2001) . Estou procurando algo diferente: uma demonstração mínima baseada em simulação de que o viés existe. Em particular, o rei e o estado de Zeng "... em dados …

19 r  logistic  simulation  bias  rare-events 

A seguir, é apresentado o gráfico do glmnet com alfa padrão (1, portanto, laço) usando o mtcarsconjunto de dados em R com mpgo DV e outros como variáveis ​​preditoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) O que podemos concluir desse gráfico em relação a diferentes variáveis, especialmente am, cyle wt(linhas vermelhas, pretas e azuis …

19 regression  feature-selection  lasso  glmnet 

Aparentemente, o coeficiente de correlação de Pearson é paramétrico e o rho de Spearman não é paramétrico. Estou tendo problemas para entender isso. Pelo que entendi, Pearson é calculado como e Spearman é calculado da mesma maneira, exceto que substituímos todos os valores por suas fileiras.rxy=cov(X,Y)σxσyrxy=cov(X,Y)σxσy r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} Wikipedia …

19 nonparametric  pearson-r  parametric  spearman-rho 

Se tivermos 2 variáveis ​​aleatórias normais e não correlacionadas , podemos criar 2 variáveis ​​aleatórias correlacionadas com a fórmulaX1,X2X1,X2X_1, X_2 Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 e então terá uma correlação ρ com X 1 .YYYρρ\rhoX1X1X_1 Alguém pode explicar de onde vem essa fórmula?

19 correlation  normal-distribution  covariance 

Eu li este excelente artigo de David Colquhoun: Uma investigação sobre a taxa de falsas descobertas e a má interpretação dos valores-p (2014). Em essência, ele explica por que a taxa de falsas descobertas (FDR) pode chegar a , apesar de controlarmos o erro do tipo I com30 %30%30\% .α …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Nos livros de texto e nas palestras do youtube, aprendi muito sobre modelos iterativos, como impulsionar, mas nunca vi nada sobre derivar um intervalo de previsão. A validação cruzada é usada para o seguinte: Seleção de modelo : experimente diferentes modelos e escolha o que melhor se adapta. No caso …

19 cross-validation  boosting  prediction-interval 

O RNN pode ser usado para previsão ou mapeamento de sequência para sequência. Mas como a RNN pode ser usada para classificação? Quero dizer, damos a uma sequência inteira um rótulo.

19 machine-learning  neural-networks  rnn 

Estou realmente interessado no procedimento de rede elástica para retração / seleção de preditores. Parece muito poderoso. Mas, do ponto de vista científico, não sei bem o que fazer quando obtive os coeficientes. Que pergunta estou respondendo? Essas são as variáveis ​​que mais influenciam esse resultado e esses são os …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Meu entendimento do t-SNE e da aproximação de Barnes-Hut é que todos os pontos de dados são necessários para que todas as interações de força possam ser calculadas ao mesmo tempo e que cada ponto possa ser ajustado no mapa 2d (ou menor dimensão). Existem versões do t-sne que podem …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Considere os seguintes dados de uma maneira bidirecional no design de assuntos: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio 

Quais são alguns teoremas que podem explicar (por exemplo, generativamente) por que se espera que os dados do mundo real sejam normalmente distribuídos? Existem dois que eu conheço: O Teorema do Limite Central (claro), que nos diz que a soma de várias variáveis ​​aleatórias independentes com média e variância (mesmo …

19 normal-distribution  central-limit-theorem 

Exceto pelo fato de que os retornos podem ser negativos, enquanto os preços devem ser positivos, existe alguma outra razão por trás da modelagem dos preços das ações como uma distribuição normal de log, mas da modelagem dos retornos das ações como uma distribuição normal?

19 normal-distribution  lognormal  finance