Estatísticas e Big Data

Minha pergunta é sobre validação cruzada quando há muito mais variáveis ​​que observações. Para fixar idéias, proponho restringir a estrutura de classificação em uma dimensão muito alta (mais recursos do que observação). Problema: Suponha que, para cada variável , você tenha uma medida de importância T [ i ] do …

8 machine-learning  classification  cross-validation 

Percebo que a análise estatística de dados financeiros é um tópico imenso, mas é exatamente por isso que é necessário fazer minha pergunta enquanto tento entrar no mundo da análise financeira. Como neste momento não sei quase nada sobre o assunto, os resultados das minhas pesquisas no Google são impressionantes. …

8 references  finance 

Por que a média do valor mais alto de 100 extrai de uma distribuição normal diferente do percentil 98% da distribuição normal? Parece que, por definição, eles devem ser os mesmos. Mas... Código em R: NSIM <- 10000 x <- rep(NA,NSIM) for (i in 1:NSIM) { x[i] <- max(rnorm(100)) } …

8 r  distributions  maximum 

Quais são as desvantagens do uso de rede elástica em comparação com o laço. Eu sei que a rede elástica é capaz de selecionar grupos de variáveis ​​quando elas são altamente correlacionadas. Não tem o problema de selecionar mais de nnn preditores quando p≫np≫np \gg n. Considerando que o laço …

8 lasso  elastic-net 

Sou desenvolvedor web e estatístico iniciante. Meus dados são mais ou menos assim Subject Week x1 x2 x3 x4 x5 y1 A 1 .5 .6 .7 .8 .7 10 B 1 .3 .6 .2 .1 .3 8 C 1 .3 .1 .2 .3 .2 6 A 2 .1 .9 1.5 …

8 r  regression  time-series  multiple-regression  python 

Eu tenho um conjunto de números que se supõe serem provenientes de uma distribuição de Poisson. O conjunto também possui alguns outliers e, por esse motivo, as estimativas de máxima probabilidade são muito afetadas. Ouvi dizer que procedimentos de estimativa robustos podem ajudar nessa situação. Alguém pode explicar como fazer …

8 r  estimation  poisson-distribution  generalized-linear-model  robust 

Estou tentando escrever meu próprio código Python para calcular estatísticas t e valores-p para um e dois testes t independentes de cauda. Eu posso usar a aproximação normal, mas no momento estou tentando usar apenas a distribuição t. Não consegui corresponder os resultados da biblioteca de estatísticas do SciPy nos …

8 statistical-significance  t-test  python 

Quais métodos existem para medir a força de relacionamentos arbitrários e altamente não lineares entre duas variáveis ​​emparelhadas? Por altamente não linear, quero dizer relacionamentos que não podem ser modelados de forma sensata ou confiável por regressão a um modelo conhecido. Estou particularmente interessado em séries temporais, mas imagino que …

8 time-series  correlation 

Estou usando a regressão de vetores de suporte para modelar alguns dados bastante distorcidos (com alta curtose). Eu tentei modelar os dados diretamente, mas estou recebendo previsões errôneas, principalmente devido à distribuição dos dados, que é distorcida com caudas muito grossas. Tenho certeza de que alguns discrepantes (que são pontos …

8 machine-learning  svm  cross-validation  predictive-models  outliers 

A teoria do escore de propensão (PS) sugere que ele só deve ser usado para o estudo de coorte porque o PS corresponde aos grupos "tratado / exposto" aos grupos "não tratado / não exposto". No entanto, casos e controles são os resultados (não as exposições) em um estudo de …

8 epidemiology  propensity-scores 

Pesquisas recentes tentaram determinar se certas construções psicológicas são latentemente dimensionais ou taxônicas (isto é, incluindo táxons ou classes). Por exemplo, os pesquisadores podem estar interessados ​​em descobrir se existe uma certa "classe" de pessoas com maior probabilidade de desenvolver dor crônica após uma lesão ou se o risco de …

8 clustering  latent-variable  psychology  latent-class  model-based-clustering 

Sou novato em estatística e estou estudando a matemática por trás dos testes divididos (A / B e multivariados). Aprendi como calcular com dados de teste fornecidos e entendo como traduzir isso em uma probabilidade por meio de uma tabela, mas eu gostaria de poder calcular a probabilidade pessoalmente. Eu …

8 chi-squared  p-value 

Meu entendimento da abordagem de bootstrap é baseado na estrutura de Wasserman (quase literalmente): Seja uma estatística ( é a amostra iid retirada da distribuição ). Suponha que queremos estimar - a variação de dada .Tn= g(X1, . . . ,Xn)Tn=g(X1,...,Xn)T_n = g(X_1, ..., X_n)XEuXEuX_iFFFVF(Tn)VF(Tn)V_F(T_n)TnTnT_nFFF A abordagem de autoinicialização segue …

8 bootstrap  computational-statistics 

Sabe-se que o bootstrap pode falhar. Li na Seção 6 de Bickel e Freedman (1981) que o bootstrap falha quando você deseja usá-lo para avaliar o MLE para estimar o parâmetro de uma distribuição uniforme contínua. Eu li a Seção 7.4 do livro de Efron e Tibshirani, mas não consigo …

8 bootstrap  references 

Lembro-me de ver / ler em algum lugar que, para SVMs de várias classes com dados desequilibrados, havia uma maneira de determinar os pesos das classes a partir dos dados de treinamento (em vez da validação X). Alguém sabe qual é o método ou qual é o papel? obrigado

8 machine-learning  svm  unbalanced-classes