Estatísticas e Big Data

A palavra encolhimento é muito difundida em certos círculos. Mas o que é encolhimento, não parece haver uma definição clara. Se eu tenho uma série temporal (ou qualquer coleção de observações de algum processo), quais são as diferentes maneiras de medir algum tipo de retração empírica na série? Quais são …

13 estimation  predictive-models  shrinkage 

Suponha que um jogo ofereça um evento que, após a conclusão, dê uma recompensa ou nada. O mecanismo exato para determinar se a recompensa é dada é desconhecido, mas presumo que um gerador de números aleatórios seja usado e, se o resultado for maior que algum valor codificado, você receberá …

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

No aprendizado de máquina, podemos usar a área sob a curva ROC (frequentemente AUC abreviada ou AUROC) para resumir o quão bem um sistema pode discriminar entre duas categorias. Na teoria de detecção de sinal, frequentemente o d′d′d' (índice de sensibilidade) é usado para uma finalidade semelhante. Os dois estão …

13 machine-learning  roc  auc  signal-detection  d-prime 

Esta pergunta pode ser muito básica. Para uma tendência temporal de dados, eu gostaria de descobrir o ponto em que mudanças "abruptas" acontecem. Por exemplo, na primeira figura mostrada abaixo, eu gostaria de descobrir o ponto de mudança usando algum método estatístico. E eu gostaria de aplicar esse método em …

13 time-series  trend  change-point 

Estive analisando alguns dados usando a modelagem linear de efeitos mistos em R. Estou planejando fazer um pôster com os resultados e fiquei imaginando se alguém com modelos de efeitos mistos poderia sugerir quais gráficos usar para ilustrar os resultados do modelo. Eu estava pensando em gráficos residuais, gráficos de …

13 r  data-visualization  mixed-model 

MLE = Estimativa de Máxima Verossimilhança MAP = Máximo a posteriori O MLE é intuitivo / ingênuo, pois começa apenas com a probabilidade de observação dada o parâmetro (ou seja, a função de verossimilhança) e tenta encontrar o parâmetro que melhor se adequa à observação . Mas não leva em …

13 machine-learning  bayesian  estimation  maximum-likelihood  inference 

Se uma variável fator (por exemplo, gênero com níveis M e F) for usada na fórmula glm, as variáveis ​​fictícias serão criadas e poderão ser encontradas no resumo do modelo glm juntamente com seus coeficientes associados (por exemplo, gêneroM) Se, em vez de confiar em R para dividir o fator …

13 r  generalized-linear-model  categorical-data  categorical-encoding 

Como o tamanho relativo do valor de p é alterado em diferentes tamanhos de amostra? Como se você obtivesse p=0.20p=0.20p=0.20 em n=45n=45n=45 para uma correlação e, em n=120n=120n=120 obtivesse o mesmo valor de p de 0,20, qual seria o tamanho relativo do valor de p para o segundo teste, comparado …

13 p-value  sample-size 

Estou tentando escrever minha própria função para análise de componentes principais, o PCA (é claro que já há muito escrito, mas estou interessado apenas em implementar coisas sozinho). O principal problema que encontrei é a etapa de validação cruzada e o cálculo da soma prevista dos quadrados (PRESS). Não importa …

13 pca  cross-validation  matlab 

Sei que essa é provavelmente uma pergunta muito simples, mas depois de pesquisar não consigo encontrar a resposta que estou procurando. Eu tenho um problema em que preciso padronizar as variáveis ​​para executar a (regressão de crista) para calcular as estimativas de crista dos betas. Preciso convertê-las novamente para a …

13 regression  standard-error  standardization  predictor  centering 

Preciso estimar a função de risco de linha de base em um modelo Cox dependente do tempoλ0(t)λ0(t)\lambda_0(t) λ(t)=λ0(t)exp(Z(t)′β)λ(t)=λ0(t)exp⁡(Z(t)′β)\lambda(t) = \lambda_0(t) \exp(Z(t)'\beta) Enquanto eu fazia o curso de Sobrevivência, lembro que a derivada direta da função de risco cumulativo ( ) não seria um bom estimador, porque o estimador Breslow fornece …

13 r  survival  cox-model 

Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente o tamanho do minibatch à medida …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Existe uma maneira de executar a regressão gaussiana de processo na saída multidimensional (possivelmente correlacionada) usando GPML ? No script de demonstração, só consegui encontrar um exemplo 1D. Uma pergunta semelhante no CV que trata de casos de entrada multidimensional. Examinei o livro deles para ver se encontrava alguma coisa. …

13 regression  machine-learning  matlab  gaussian-process  nonparametric-bayes 

Estou estudando aprendizado de máquina e, em todos os livros que abro, esbarro na distribuição qui-quadrado, função gama, distribuição t, gaussiana etc. Todo livro que eu abri até agora apenas define quais são as distribuições: elas não explicam ou dão a intuição de onde vêm as fórmulas específicas para as …

13 probability  distributions  mathematical-statistics  references 

Minha pergunta tem a ver com a relação entre alfa e beta e suas definições nas estatísticas. alfa = taxa de erro tipo I = nível de significância considerando que a hipótese NULL está correta Beta = taxa de erro do tipo II Se alfa for reduzido (a especificidade aumenta …

13 statistical-significance  mathematical-statistics