Estatísticas e Big Data

Esta é a sequela construtivista desta questão . Se não pudermos ter uma variável aleatória uniforme e discreta tendo como suporte todos os racionais no intervalo [0,1][0,1][0,1] , a próxima melhor coisa é: Construa uma variável aleatória QQQ que possua esse suporte, Q∈Q∩[0,1]Q∈Q∩[0,1]Q\in \mathbb{Q}\cap[0,1] , e que siga alguma distribuição. …

19 distributions  mathematical-statistics 

Sou um epidemiologista tentando entender os GEEs para analisar adequadamente um estudo de coorte (usando a regressão de Poisson com um link de log para estimar o risco relativo). Tenho algumas perguntas sobre a "correlação de trabalho" que gostaria que alguém com mais conhecimento esclarecesse: (1) Se eu repeti medições …

19 gee 

Gostaria de saber se faz algum sentido lógico executar a análise de componentes principais (PCA) e análise fatorial exploratória (EFA) no mesmo conjunto de dados. Ouvi profissionais recomendar expressamente: Entenda qual é o objetivo da análise e escolha PCA ou EFA para a análise dos dados; Depois de fazer uma …

19 pca  factor-analysis 

Esta não é uma pergunta estritamente estatística - eu posso ler todos os livros sobre suposições da ANOVA - estou tentando descobrir como os analistas de trabalho reais lidam com dados que não atendem completamente às suposições. Passei por muitas perguntas neste site em busca de respostas e continuo encontrando …

19 anova  heteroscedasticity  assumptions 

Como decidir a assimetria observando um boxplot construído com esses dados: 340, 300, 520, 340, 320, 290, 260, 330 Um livro diz: "Se o quartil inferior estiver mais distante da mediana do que o quartil superior, a distribuição será distorcida negativamente". Várias outras fontes disseram mais ou menos o mesmo. …

19 outliers  skewness  boxplot 

Realizamos um teste de divisão de um novo recurso do produto e queremos avaliar se o aumento da receita é significativo. Definitivamente, nossas observações não são distribuídas normalmente (a maioria de nossos usuários não gasta e, naquelas que gastam, é fortemente direcionada a muitos pequenos gastadores e alguns grandes). Decidimos …

19 bootstrap  outliers 

Digamos que eu esteja computando alguns parâmetros do modelo, minimizando a soma dos resíduos ao quadrado e assumindo que meus erros são gaussianos. Meu modelo produz derivadas analíticas, portanto, o otimizador não precisa usar diferenças finitas. Quando o ajuste estiver completo, desejo calcular erros padrão dos parâmetros ajustados. Geralmente, nessa …

19 standard-error  fitting 

Estou interessado em utilizar o sinal de intercalação para fazer inferências sobre um conjunto de dados específico. É possível fazer o seguinte: produzir coeficientes de um modelo glmnet que eu treinei em circunflexo. Eu gostaria de usar o glmnet por causa da seleção de recursos inerentes, pois não acredito que …

19 caret  glmnet 

Lembro-me de ter lido em algum lugar na web uma conexão entre regressão de cumeeira (com regularização ) e regressão PCA: enquanto estiver usando regressão regularizada com hiperparâmetro , se , a regressão será equivalente a remover o Variável de PC com o menor valor próprio.ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ → 0λ→0 0\lambda \to …

19 regression  pca  regularization  ridge-regression 

Estou experimentando florestas aleatórias com o scikit-learn e estou obtendo ótimos resultados do meu conjunto de treinamento, mas resultados relativamente ruins no meu conjunto de testes ... Aqui está o problema (inspirado no poker) que estou tentando resolver: Dadas as cartas do jogador A, as cartas do jogador B e …

19 classification  random-forest  scikit-learn 

Qual é a melhor maneira de visualizar graficamente uma função de densidade 3D? Como em gostaria de visualizar ?z= fX, Y( x , y)z=fX,Y(x,y)z=f_{X,Y}(x,y) Não é necessário, mas o Rcódigo para isso seria ótimo.

19 r  data-visualization  methodology 

Como obtenho valores de p usando a multinomfunção nnetpackage R? Eu tenho um conjunto de dados que consiste em "Escores de patologia" (ausente, leve, grave) como variável de resultado e dois efeitos principais: idade (dois fatores: vinte / trinta dias) e grupo de tratamento (quatro fatores: infectados sem ATB; infectados …

19 r  regression  p-value  multinomial 

Ultimamente tenho pesquisado a visão bayesiana das estatísticas clássicas. Depois de ler sobre o fator Bayes, fiquei me perguntando se a análise de potência é uma necessidade nesta visão das estatísticas. Minha principal razão para me perguntar se esse é o fator Bayes realmente parece ser uma razão de probabilidade. …

19 bayesian  power-analysis 

Qual é a melhor maneira de mostrar um relacionamento entre: variável contínua e discreta, duas variáveis ​​discretas? Até agora, usei gráficos de dispersão para examinar a relação entre variáveis ​​contínuas. No entanto, no caso de variáveis ​​discretas, os pontos de dados são acumulados em determinados intervalos. Assim, a linha de …

19 data-visualization  categorical-data  random-variable 

Alguns livros afirmam que um tamanho de amostra de tamanho 30 ou superior é necessário para que o teorema do limite central forneça uma boa aproximação para . X¯X¯\bar{X} Eu sei que isso não é suficiente para todas as distribuições. Desejo ver alguns exemplos de distribuições em que, mesmo com …

19 mean  sample-size  normality-assumption  central-limit-theorem