Estatísticas e Big Data

De acordo com o teorema de Rao-Blackwell , se a estatística é suficiente e completa para e , então é um estimador imparcial de variância mínima uniforme (UMVUE).TTTθθ\thetaE(T)=θE(T)=θE(T)=\thetaTTT Eu estou querendo saber como justificar que um estimador imparcial é um UMVUE: se não for suficiente, pode ser um UMVUE?TTT se …

8 mathematical-statistics  umvue  rao-blackwell 

Ao fazer uma análise fatorial (por fatoração do eixo principal, por exemplo) ou uma análise de componentes principais como análise fatorial, e depois de executar uma rotação oblíqua das cargas, - qual matriz você usa para entender quais itens carregam em quais fatores e interpretar os fatores - matriz padrão …

8 pca  interpretation  factor-analysis  rotation 

Minha pergunta lida com árvores de classificação . Considere o seguinte exemplo do conjunto de dados Iris: Desejo selecionar manualmente o melhor preditor para a primeira divisão. De acordo com o algoritmo CART, o melhor recurso para fazer uma divisão é aquele que maximiza a diminuição da impureza da partição, …

8 r  machine-learning  classification  data-mining  cart 

Estou tentando entender o Alpha de Cronbach intuitivamente. Qual é a ideia geral por trás dessa construção? Quais propriedades eles estavam tentando garantir?

8 reliability  measurement-error  psychometrics  intuition  cronbachs-alpha 

Antecedentes: eu gostaria de realizar uma meta-regressão usando estudos que tenham (1) vários resultados / construções (= multivariados) e (2) tamanhos de efeitos múltiplos para cada um desses resultados devido a diferentes medidas. Aqui está um esquema que, com sorte, explica melhor: Estudo 1, Resultado A, Tamanho do Efeito 1 …

8 multivariate-analysis  multilevel-analysis  meta-analysis  meta-regression 

Estou tentando determinar qual alfa usar na minha glmnetfunção, mas o arquivo de ajuda diz-me: Observe que o cv.glmnet NÃO procura valores para alfa. Um valor específico deve ser fornecido, caso contrário, alfa = 1 é assumido por padrão. Se os usuários também desejam validar cruzadamente o alfa, eles devem …

8 r  lasso  ridge-regression  glmnet 

Parece uma pergunta bastante direta, mas quando realmente penso nisso, o método de Stouffer não faz sentido para mim. Isso é por que: Suponha uma hipótese bicaudal. Primeiro você calcula partir de - . Então, vamos dar um exemplo bastante simples. Vamos pegar dois valores de de . Isso significa …

8 p-value  meta-analysis  combining-p-values  z-statistic 

Eu sou novo no aprendizado profundo, portanto essa pode ser uma pergunta trivial. Mas estou me perguntando por que o aprendizado profundo (ou rede neural) não funciona muito bem em pequenos dados rotulados. Quaisquer que sejam os trabalhos de pesquisa que eu tenha lido, seus conjuntos de dados são enormes. …

8 neural-networks  deep-learning 

Exercício: Há um dado de 6 lados justo e uma moeda tendenciosa que tem probabilidade p> 0 de subir cabeças em cada lançamento. O dado é rolado infinitamente com frequência, e sempre que você rola um 6, você joga a moeda. Prove que, com a probabilidade 1, você joga "cabeças" …

8 probability  self-study  proof  theory 

Passei o dia aprendendo sobre o pacote bnlearn no R apenas para descobrir que os modelos bayesianos não funcionam com gráficos não direcionados. Estou tentando aprender sobre a rede de campo aleatório de Markov, e até agora tudo o que consegui fazer é criar a estrutura gráfica usando um LASSO …

8 machine-learning  graphical-model  parameterization  bayesian-network 

Suponha que eu tenha um conjunto de dados no qual a incerteza nas medições (provenientes da propagação de erros sistemáticos do aparato de medição) seja diferente para cada ponto. Se eu fizer uma regressão linear no conjunto de dados, como calculo a incerteza na inclinação? Eu gostaria de um procedimento …

8 linear-model  measurement-error  errors-in-variables 

Andrew Gelman, em uma publicação recente em seu blog, sugere o uso de uma classificação, transformando a classificação em um z-score e, em seguida, usando ferramentas e testes paramétricos em vez de executar testes não paramétricos. Eu nunca ouvi isso antes. Uma pesquisa no Google me indicou essa função R …

8 nonparametric  wilcoxon-mann-whitney  wilcoxon-signed-rank  ranks  nonparametric-regression 

Espero reunir os resultados de um conjunto bastante básico de análises realizadas em dados multiplicados por imputação (por exemplo, regressão múltipla, ANOVA). A imputação múltipla e as análises foram concluídas no SPSS, mas o SPSS não fornece resultados agrupados para algumas estatísticas, incluindo o valor F, matriz de covariância, R-quadrado …

8 spss  missing-data  multiple-imputation  pooling 

Em Introdução à aprendizagem estatística (James et al.), Na seção 3.7, exercício 5, afirma que a fórmula para assumindo regressão linear sem interceptação é que e são as estimativas usuais no OLS para regressão linear simples ( ). β 1= n Σ i = 1 x i y iβ^1β^1\hat{\beta}_1p0=ˉy-β1ˉxβ1=Sxyβ^1=∑i=1nxiyi∑i=1nx2i,β^1=∑i=1nxiyi∑i=1nxi2,\hat{\beta}_1 = …

8 self-study  least-squares 

Eu tenho duas séries temporais (parâmetros de um modelo para homens e mulheres) e pretendo identificar um modelo ARIMA apropriado para fazer previsões. Minha série cronológica se parece com: A plotagem e o ACF mostram não estacionário (os picos do ACF cortam muito lentamente). Assim, uso diferenciação e obtenho: Esse …

8 r  time-series  modeling  arima  autocorrelation