Estatísticas e Big Data

Não sou estatístico, mas meu trabalho de pesquisa envolve estatística (análise de dados, leitura de literatura etc.). Lembrei-me novamente de um comentário em uma das minhas perguntas postadas aqui que existem algumas palavras comuns que têm significados ou conotações particularmente específicos para aqueles que são bem praticados no campo da …

12 terminology 

Eu tenho um conjunto de dados que representa 1000 documentos e todas as palavras que aparecem nele. Portanto, as linhas representam os documentos e as colunas representam as palavras. Assim, por exemplo, o valor na célula (i,j)(i,j)(i,j) representa o horário em que a palavra ocorre no documento . Agora, tenho …

12 r  data-mining  feature-selection 

Estou preocupado com o problema de que eu gostaria de inicializar o valor-p para uma estimativa de partir de dados de multiplicação imputada (MI), mas não está claro para mim como combinar os valores-p entre os conjuntos de MI.θθ\theta Para conjuntos de dados de MI, a abordagem padrão para obter …

12 confidence-interval  variance  p-value  bootstrap  multiple-imputation 

Sou estudante de doutorado em psicologia experimental e tento muito melhorar minhas habilidades e conhecimentos sobre como analisar meus dados. Até o meu quinto ano em psicologia, eu pensava que os modelos semelhantes à regressão (por exemplo, ANOVA) assumem o seguinte: normalidade dos dados homogeneidade de variação para os dados …

12 regression  dataset  residuals  assumptions 

Existe uma diferença explícita entre previsões dentro da amostra e previsões pseudo fora da amostra . Ambos se destinam ao contexto de avaliação e comparação de modelos de previsão.

12 forecasting  model-comparison  out-of-sample  in-sample 

Pelos meus resultados, parece que o GLM Gamma atende à maioria das suposições, mas vale a pena melhorar o LM transformado em log? A maioria das publicações que encontrei trata de Poisson ou GLMs binomiais. Achei o artigo AVALIAÇÃO DE SUPOSIÇÕES GERAIS DE MODELOS LINEARES USANDO A RANDOMIZAÇÃO muito útil, …

12 r  generalized-linear-model  model-selection  gamma-distribution 

Alguém pode sugerir onde obter os resultados dos 10.000 lançamentos de moedas (ou seja, todas as 10.000 caras e coroas) realizados por John Kerrich durante a Segunda Guerra Mundial?

12 probability 

Eu luto para encontrar uma maneira de calcular o valor-p da área sob uma característica de operador de receptor (ROC). Eu tenho uma variável contínua e um resultado de teste de diagnóstico. Quero ver se o AUROC é estatisticamente significativo. Encontrei muitos pacotes que tratam de curvas ROC: pROC, ROCR, …

12 r  p-value  roc 

Coleto amostras muito grandes (> 1.000.000) de dados categóricos todos os dias e desejo que os dados pareçam "significativamente" diferentes entre os dias para detectar erros na coleta de dados. Eu pensei que usar um teste de ajuste adequado (em particular, um teste G) seria um bom ajuste (trocadilhos) para …

12 goodness-of-fit  large-data 

Se tivermos uma série temporal longa e de alta resolução, com muito ruído, geralmente faz sentido agregar os dados em uma resolução mais baixa (digamos, valores diários a mensais) para entender melhor o que está acontecendo, removendo efetivamente alguns dos o barulho. Eu vi pelo menos um papel que, em …

12 time-series  aggregation 

Estou testando os sensores de posição do acelerador (TPS) que minha empresa vende e imprimo o gráfico da resposta de tensão à rotação do eixo do acelerador. Um TPS é um sensor rotacional com 90 ° de alcance e a saída é como um potenciômetro com abertura total de 5V …

12 terminology 

Estou intrigado com a seguinte declaração: "Para aumentar o desvio padrão de um conjunto de números, você deve adicionar um valor que esteja a mais de um desvio padrão da média" Qual a prova disso? É claro que sei como definimos o desvio padrão, mas pareço sentir falta dessa parte. …

12 standard-deviation 

Ao usar splines cúbicos naturais (isto é, restritos), as funções básicas criadas são altamente colineares e, quando usadas em uma regressão, parecem produzir estatísticas VIF (fator de inflação de variação) muito altas, sinalizando multicolinearidade. Quando se está considerando o caso de um modelo para fins de previsão, isso é um …

12 multiple-regression  generalized-linear-model  predictive-models  multicollinearity  splines 

Correlacionei dados e estou usando um modelo de efeitos mistos de regressão logística para estimar o efeito no nível individual (condicional) de um preditor de interesse. Eu sei que, para modelos marginais padrão, a inferência nos parâmetros do modelo usando o teste de Wald é consistente para os testes de …

12 logistic  mixed-model  inference 

Mais especificamente, por que os testes da razão de verossimilhança têm uma distribuição assintoticamente se os modelos estão aninhados, mas esse não é mais o caso dos modelos não aninhados? Entendo que isso se segue do teorema de Wilks, mas, infelizmente, não entendo sua prova .χ2χ2\chi^2

12 likelihood-ratio  nested-models