Estatísticas e Big Data

Contexto. Gostaria de ajustar uma linha de regressão para estudar a relação entre alguma variável de resposta e alguma covariável contínua . Devido à presença de pontos de alavancagem ruins, optei por um estimador de MM em vez do estimador de LS usual.yyyxxx Metodologia. Basicamente, a estimativa MM é uma …

8 r  robust 

Recentemente, comecei a ler Gelman e Hill, "Análise de dados usando regressão e modelos hierárquicos / multiníveis", e a pergunta se baseia nisso: A amostra contém 6 observações em proporções:p1,p2,…,p6p1,p2,…,p6p_{1}, p_{2}, \dots, p_{6} Cada tem média e variância , em que é o número de observações usadas para calcular a …

8 distributions  binomial  standard-deviation 

Digamos que você tenha uma grande amostra aleatória de jogadores de futebol na Europa, mas você só está interessado no que acontece na Espanha. Você poderia reduzir sua amostra para jogadores da Espanha e ainda chamá-la de amostra aleatória (mas de uma população diferente)? Caso contrário, como você chamaria essa …

8 sampling  sample  resampling 

Na ESL , Seção 9.7, há um parágrafo declarando que o tempo de computação de uma divisão no crescimento de uma árvore de classificação (ou regressão) geralmente escala como que é o número de preditores e é o número de amostras.pNlogNpNlog⁡Np N \log NpppNNN Uma abordagem ingênua resulta em uma …

8 algorithms  cart 

Preciso explicar o conceito de modelos mistos lineares em um artigo direcionado a um público comum. Existe uma maneira de comunicar a essência do conceito em uma ou duas frases?

8 regression  mixed-model  linear-model 

O teste z para comparar duas proporções é z=p^1−p^2Var(p^1−p^2)√z=p^1−p^2Var(p^1−p^2)\newcommand{\p}{\hat{p}}\newcommand{\v}{\mathrm{Var}} z=\frac{\p_1-\p_2}{\sqrt{\v(\p_1-\p_2)}} . Geralmente é definido que Var(p^1−p^2)=p^(1−p^)(1/n1+1/n2),Var(p^1−p^2)=p^(1−p^)(1/n1+1/n2),\v(\p_1-\p_2)=\p(1-\hat{p})(1/n_1+1/n_2), Onde p^=n1p^1+n2p^2n1+n2.p^=n1p^1+n2p^2n1+n2.\p=\frac{n_1 \p_1+n_2 \p_2}{n_1+n_2}. Existe alguma referência escrita que me legitima a usar a variação não agrupada, ou seja, Var(p^1−p^2)=p^1(1−p^1)n1+p^2(1−p^2)n2?Var(p^1−p^2)=p^1(1−p^1)n1+p^2(1−p^2)n2?\v(\p_1-\p_2)=\frac{\p_1(1-\p_1)}{n_1}+\frac{\p_2(1-\p_2)}{n_2}?

8 variance  proportion  hypothesis-testing 

Eu tenho a saída de precisão do classificador em porcentagem e o número de amostras de entrada. Existe algum teste que possa dizer quão estatisticamente significativo é o resultado com base nessas informações. obrigado

8 statistical-significance  classification 

Estou construindo um modelo no qual várias de minhas covariáveis ​​vivem em um "círculo", no sentido em que assumem valores no intervalo [0,1) e 0 = 1. Estou pensando em técnicas para lidar com essa situação. Uma idéia é representar uma variável circular teta como um par de variáveis ​​(sin …

8 data-transformation  seasonality  mgcv  circular-statistics 

Estou tentando entender como as pessoas usam os pacotes R e queria saber se existem casos documentados em que os pacotes R produziram respostas diferentes. Esclarecimento: A motivação por trás dessa pergunta vem de um esforço em que estou envolvido, onde o objetivo de entender a importância da proveniência nos …

8 r 

Postei isso no início da semana e retirei a pergunta quando encontrei uma boa fonte, não querendo perder tempo das pessoas. Não tenho feito muito progresso, temo. Ao tentar ser um bom cidadão aqui, tornarei o problema o mais claro possível. Eu suspeito que haverá poucos compradores. Eu tenho um …

8 regression  bayesian  repeated-measures  multilevel-analysis  logistic 

Atualmente, estou usando uma amostragem Latin Hypercube (LHS) para gerar números aleatórios uniformes bem espaçados para procedimentos de Monte Carlo. Embora a redução de variância que eu obtenho do LHS seja excelente para 1 dimensão, ela não parece ser eficaz em 2 ou mais dimensões. Vendo como o LHS é …

8 sampling  monte-carlo  latin-square  latin-hypercube 

Estou fazendo uma metanálise de alguns estudos que relatam resultados de várias maneiras como taxas de chances, taxas de riscos ou taxas de taxa (todos com intervalos de confiança). Existe alguma maneira de combiná-los / converter entre eles para que eu possa fazer uma meta-análise de todos os estudos?

8 meta-analysis  odds-ratio 

Costumo executar regressões a partir de um conjunto de dados baixo-n (~ 100 observações). Frequentemente, os resultados são significativos apenas com a inclusão de variáveis ​​de controle. No entanto, muitas vezes vejo artigos de periódicos em que as pessoas (sempre com um grande número de observações) afirmam ter executado sua …

8 least-squares 

Contexto: Eu tenho um estudo em que seis variáveis ​​numéricas são medidas em cada uma das duas condições experimentais de medidas repetidas (n = 200). Vamos chamar as condições e e as variáveis e . Teoricamente, espero que, na condição mais variações nas variáveis ​​sejam explicadas pelo primeiro fator de …

8 r  correlation  statistical-significance  pca 

Então, digamos que eu tenha vários pontos de dados em R ^ n, onde n é bem grande (tipo 50). Sei que esses dados se enquadram em 3 clusters e sei em qual cluster cada ponto de dados faz parte. Tudo o que eu quero fazer é visualizar esses clusters …

8 clustering  pca  dimensionality-reduction  data-visualization