Estatísticas e Big Data

Percebi que o intervalo de confiança para os valores previstos em uma regressão linear tende a ser estreito em torno da média do preditor e a gordura em torno dos valores mínimo e máximo do preditor. Isso pode ser visto nas parcelas dessas 4 regressões lineares: Inicialmente, pensei que isso …

69 regression  confidence-interval  linear-model  standard-error  prediction-interval 

Eu esperaria que o coeficiente de correlação fosse o mesmo que uma inclinação de regressão (beta), no entanto, tendo acabado de comparar os dois, eles são diferentes. Como eles diferem - que informações diferentes eles fornecem?

69 regression  correlation 

Em quais casos um deve preferir um ao outro? Encontrei alguém que reivindica uma vantagem para Kendall, por razões pedagógicas , existem outras razões?

69 correlation  nonparametric  spearman-rho  kendall-tau 

Quais são alguns projetos valiosos de código aberto da Análise Estatística disponíveis no momento? Edit: como apontado por Sharpie, valioso pode significar ajudar você a fazer as coisas mais rápido ou mais barato.

69 software  open-source 

O que eles querem dizer quando dizem "variável aleatória"?

69 mathematical-statistics  random-variable  intuition  definition 

Eu tenho dados de desequilíbrio de classe e quero ajustar os hiperparâmetros da trança impulsionada usando xgboost. Questões Existe um equivalente de gridsearchcv ou randomsearchcv para xgboost? Caso contrário, qual é a abordagem recomendada para ajustar os parâmetros do xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Acabo de ouvir que é uma boa ideia escolher pesos iniciais de uma rede neural no intervalo , onde é o número de entradas para um dado neurônio. Supõe-se que os conjuntos sejam normalizados - média 0, variação 1 (não sei se isso importa).(−1d√,1d√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})ddd Por que …

68 neural-networks  normalization 

Na verdade, estou revisando um manuscrito em que os autores comparam os modelos de regressão de 5-6 logit com a AIC. No entanto, alguns dos modelos têm termos de interação sem incluir os termos covariáveis ​​individuais. Faz algum sentido fazer isso? Por exemplo (não específico para modelos de logit): M1: …

68 regression  modeling  interaction  aic 

Eu tenho uma média mensal para um valor e um desvio padrão correspondente a essa média. Agora estou computando a média anual como a soma das médias mensais, como posso representar o desvio padrão da média somada? Por exemplo, considerando a produção de um parque eólico: Month MWh StdDev January …

68 standard-deviation  descriptive-statistics 

Lembro-me de participar de cursos de estatística como uma audiência de graduação sobre por que a extrapolação era uma má idéia. Além disso, há uma variedade de fontes online que comentam sobre isso. Há também uma menção a isso aqui . Alguém pode me ajudar a entender por que a …

68 regression  time-series  forecasting 

Eu tenho 2 variáveis ​​dependentes (DVs), cada uma cuja pontuação pode ser influenciada pelo conjunto de 7 variáveis ​​independentes (IVs). Os DVs são contínuos, enquanto o conjunto de IVs consiste em uma mistura de variáveis ​​codificadas contínuas e binárias. (No código abaixo, variáveis ​​contínuas são escritas em letras maiúsculas e …

68 r  multivariate-analysis  manova  multiple-regression  multivariate-regression 

Eu estou querendo saber como gerar pontos uniformemente distribuídos na superfície da esfera da unidade 3-d? Depois de gerar esses pontos, qual é a melhor maneira de visualizar e verificar se eles são realmente uniformes na superfície x2+y2+z2=1x2+y2+z2=1x^2+y^2+z^2=1 ?

68 random-generation 

Edições: adicionei um exemplo simples: inferência da média do . Também esclareci um pouco porque os intervalos credíveis que não correspondem aos intervalos de confiança são ruins.XiXiX_i Eu, um bayesiano bastante devoto, estou no meio de uma espécie de crise de fé. Meu problema é o seguinte. Suponha que eu …

68 bayesian  modeling  philosophical  misspecification 

Eu vi esse artigo no Economist sobre um artigo aparentemente devastador [1] lançando dúvidas sobre "algo como 40.000 estudos publicados [fMRI]". O erro, dizem eles, é por causa de "suposições estatísticas erradas". Li o jornal e vejo que isso é parcialmente um problema com várias correções de comparação, mas não …

67 hypothesis-testing  multiple-comparisons  spatial  neuroimaging  neuroscience 

Em fevereiro de 2016, a American Statistical Association divulgou uma declaração formal sobre significância estatística e valores de p. Nosso tópico sobre o assunto discute esses problemas extensivamente. No entanto, nenhuma autoridade surgiu para oferecer uma alternativa eficaz universalmente reconhecida - até agora. A American Statistical Society (ASS) publicou sua …

67 hypothesis-testing  statistical-significance  p-value