Estatísticas e Big Data

Suponha que eu tenho 20 ratos. Eu emparelhei os ratos de alguma maneira, para obter 10 pares. Para os fins desta pergunta, pode ser um emparelhamento aleatório, OU pode ser um emparelhamento sensato, como tentar emparelhar ratos da mesma ninhada, do mesmo sexo, com peso semelhante, OU pode ser um …

20 t-test  paired-data 

Fui convocado para o júri. Estou consciente da relevância das estatísticas para alguns julgamentos do júri. Por exemplo, o conceito de "taxa base" e sua aplicação aos cálculos de probabilidade são algumas vezes - talvez sempre - relevantes. Quais tópicos estatísticos uma pessoa em minha situação pode estudar com utilidade …

20 probability  bayesian  references 

Tenho algumas perguntas rápidas sobre o PCA: O PCA assume que o conjunto de dados é gaussiano? O que acontece quando aplico um PCA a dados inerentemente não lineares? Dado um conjunto de dados, o processo deve primeiro normalizar a média, definir a variação para 1, obter um SVD, reduzir …

20 pca  svd 

Estou tendo problemas para gerar um conjunto de séries temporais coloridas estacionárias, dada sua matriz de covariância (suas densidades espectrais de potência (PSDs) e densidades espectrais de potência cruzada (CSDs)). Eu sei que, dadas duas séries temporais yEu( T )yEu(t)y_{I}(t) e yJ( T )yJ(t)y_{J}(t) , posso estimar suas densidades espectrais …

20 time-series  sampling  algorithms  simulation  covariance 

Eu tenho aprendido sobre estatística bayesiana e frequentemente leio artigos "adotamos uma abordagem bayesiana" ou algo semelhante. Também notei, com menos frequência: "adotamos uma abordagem totalmente bayesiana" (minha ênfase). Existe alguma diferença entre essas abordagens em algum sentido prático ou teórico? FWIW, estou usando o pacote MCMCglmmem R, caso isso …

20 bayesian 

Eu tenho 10 anos de dados de retornos diários para 28 moedas diferentes. Desejo extrair o primeiro componente principal, mas, em vez de operar o PCA nos 10 anos completos, quero aplicar uma janela de 2 anos, porque os comportamentos das moedas evoluem e, portanto, desejo refletir isso. No entanto, …

20 r  pca 

Eu tenho alguns dados em [0,1] que gostaria de analisar com uma regressão beta. Obviamente, algo precisa ser feito para acomodar os valores 0,1. Não gosto de modificar dados para ajustar-se a um modelo. Também não acredito que a inflação zero e 1 seja uma boa ideia, porque acredito que, …

20 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

Gostaria de entender como gerar intervalos de previsão para estimativas de regressão logística. Fui aconselhado a seguir os procedimentos em Modeling Binary Data de Collett , 2ª Ed p.98-99. Após implementar esse procedimento e compará-lo com os R predict.glm, acho que este livro mostra o procedimento para calcular intervalos de …

20 r  regression  confidence-interval  logistic  prediction-interval 

Um método ingênuo para aproximar uma distribuição normal é adicionar talvez variáveis ​​aleatórias de IID uniformemente distribuídas em , depois mais recentes e redimensionar, contando com o Teorema do Limite Central. ( Observação : existem métodos mais precisos, como a transformação Box-Muller .) A soma das variáveis ​​aleatórias IID é …

20 normal-distribution  central-limit-theorem  moments  approximation 

Tenho duas proporções (por exemplo, taxa de cliques (CTR) em um link em um layout de controle e CTR em um link em um layout experimental) e quero calcular um intervalo de confiança de 95% em torno da proporção dessas proporções. Como eu faço isso? Eu sei que posso usar …

20 confidence-interval 

Eu construí um índice de capital social usando a técnica PCA. Este índice compreende valores positivos e negativos. Desejo transformar / converter esse índice em uma escala de 0 a 100 para facilitar a interpretação. Sugira-me uma maneira mais fácil de fazer isso.

20 data-transformation  scales 

Eu tenho duas populações (homens e mulheres), cada uma contendo amostras. Para cada amostra, tenho duas propriedades A e B (média de notas no primeiro ano e pontuação no SAT). Eu usei um teste t separadamente para A e B: ambos encontraram diferenças significativas entre os dois grupos; A com …

20 statistical-significance  t-test  p-value  effect-size 

Dado um modelo hierárquico , quero um processo de dois estágios para se ajustar ao modelo. Primeiro, corrija um punhado de hiperparâmetros e, em seguida, faça inferência bayesiana no restante dos parâmetros . Para fixar os hiperparâmetros, estou considerando duas opções.p(x|ϕ,θ)p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi Use Bayes empírico (EB) e maximize a probabilidade marginal …

20 cross-validation  references  empirical-bayes 

(Para saber por que escrevi isso, verifique os comentários abaixo da minha resposta a esta pergunta .) Erros do tipo III e teoria da decisão estatística Às vezes, dar a resposta certa à pergunta errada é chamado de erro Tipo III. A teoria da decisão estatística é uma formalização da …

20 bayesian  credible-interval  decision-theory 

Tenho duas perguntas sobre a noção de bloco no desenho experimental: (1) Qual é a diferença entre um bloco e um fator? (2) Tentei ler alguns livros, mas algo não está claro: parece que os autores sempre assumem que não há interação entre o "fator de bloqueio" e outros fatores. …

20 experiment-design  interaction  interpretation