Estatísticas e Big Data

Um instrumento usado para medir os níveis de glicose no sangue de uma pessoa é monitorado em uma amostra aleatória de 10 pessoas. Os níveis também são medidos usando um procedimento laboratorial muito preciso. A medida do instrumento é denotada por x. A medida do procedimento de laboratório é denotada …

10 regression  self-study  measurement 

Eu já vi algumas conversas de não estatísticos em que eles parecem reinventar medidas de correlação usando informações mútuas em vez de regressão (ou testes estatísticos equivalentes / intimamente relacionados). Entendo que há uma boa razão pela qual os estatísticos não adotam essa abordagem. Meu entendimento do leigo é que …

10 correlation  mutual-information 

Eu estava lendo este artigo relacionado à rede elástica. Eles dizem que usam rede elástica porque, se usarmos o Lasso, tende a selecionar apenas um preditor entre os preditores altamente correlacionados. Mas não é isso que queremos. Quero dizer, isso nos salva dos problemas da multicolinearidade, não é? Alguma sugestão …

10 regression  lasso  elastic-net 

No Rque pudermos "peso antes" uma glmregressão via pesos parâmetro. Por exemplo: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) Como isso pode ser feito em um JAGSou BUGSmodelo? Encontrei algum artigo discutindo isso, mas nenhum deles fornece um exemplo. Estou interessado principalmente em exemplos de Poisson …

10 bayesian  generalized-linear-model  jags  bugs  weighted-regression 

Como o título diz, a redução de dimensão sempre perde alguma informação? Considere, por exemplo, PCA. Se os dados que eu tenho são muito escassos, eu suponho que uma "melhor codificação" possa ser encontrada (isso está de alguma forma relacionado à classificação dos dados?), E nada seria perdido.

10 pca  information-theory  information 

Sempre fui ensinado que efeitos aleatórios influenciam apenas a variação (erro) e que efeitos fixos influenciam apenas a média. Mas encontrei um exemplo em que efeitos aleatórios também influenciam a média - a estimativa do coeficiente: require(nlme) set.seed(128) n <- 100 k <- 5 cat <- as.factor(rep(1:k, each = n)) …

10 r  mixed-model  random-effects-model 

Cheguei a uma situação em que os pesos da minha rede neural não estão convergindo, mesmo após 500 iterações. Minha rede neural contém 1 camada de entrada, 1 camada oculta e 1 camada de saída. São cerca de 230 nós na camada de entrada, 9 nós na camada oculta e …

10 machine-learning  neural-networks 

A seleção de recursos deve ser realizada apenas nos dados de treinamento (ou todos os dados)? Passei por algumas discussões e artigos como Guyon (2003) e Singhi e Liu (2006) , mas ainda não tenho certeza sobre a resposta certa. Minha configuração da experiência é a seguinte: Conjunto de dados: …

10 dataset  cross-validation  experiment-design  feature-selection 

Há vários tópicos no R-sig-ME sobre a obtenção de intervalos de confiança para previsões usando lme4e nlmeem R. Por exemplo, aqui e aqui em 2010, incluindo alguns comentários de Dougals Bates, um dos autores de ambos os pacotes. Hesito em citá-lo literalmente, por medo de serem retirados do contexto, mas …

10 mixed-model 

Estou analisando um conjunto de dados com muitos parâmetros (por exemplo, 50-200) e estou interessado em examinar as relações entre variáveis ​​(por exemplo, em termos de gráficos de dispersão de 2 variáveis ​​ou histogramas 2D). No entanto, para esse número de parâmetros, parece inviável desenhar uma matriz de plotagens de …

10 correlation  data-visualization  multivariate-analysis  scatterplot 

Digamos que eu tenha dois métodos de aprendizado para um problema de classificação , e , e que estimo o desempenho da generalização com algo como validação cruzada repetida ou inicialização. A partir deste processo, recebo uma distribuição das pontuações P_A e P_B para cada método nessas repetições (por exemplo, …

10 cross-validation  model-selection 

Estou trabalhando com algumas análises espaciais exploratórias em R usando o pacote spdep. Encontrei uma opção para ajustar os valores- p dos indicadores locais de associação espacial (LISA) calculados usando a localmoranfunção. De acordo com os documentos, ele visa: ... ajuste do valor de probabilidade para vários testes. Além disso, …

10 r  multiple-comparisons  bonferroni 

Em seu blog, Larry Wasserman tem um post sobre o que ele planejava cobrir em seu curso no outono passado. Ele observa que estava abandonando alguns tópicos clássicos em favor de questões mais modernas. Um tópico que ele menciona é a desigualdade de Hoeffding. O que torna esse resultado especialmente …

10 probability-inequalities 

Talvez essa pergunta tenha resposta na medicina, mas existem razões estatísticas para o cálculo do índice de IMC como ? Por que não, por exemplo, apenas peso / altura ? Minha primeira idéia é que isso tem algo a ver com regressão quadrática.peso / altura2weight/height2\text{weight}/\text{height}^2peso / alturaweight/height\text{weight}/\text{height} Amostra de dados …

10 biostatistics 

Quais são as vantagens e desvantagens de executar modelos separados versus modelagem multinível? Mais particularmente, suponha que um estudo examinasse pacientes aninhados nas práticas médicas aninhadas nos países. Quais são as vantagens / desvantagens de executar modelos separados para cada país versus um modelo aninhado de três níveis?

10 multilevel-analysis  stratification