Estatísticas e Big Data

Estou tendo problemas para interpretar os valores z para variáveis ​​categóricas na regressão logística. No exemplo abaixo, tenho uma variável categórica com 3 classes e, de acordo com o valor z, CLASS2 pode ser relevante enquanto as outras não. Mas agora o que isso significa? Que eu poderia mesclar as …

19 r  logistic  categorical-data  feature-selection  categorical-encoding 

Frequentemente, as pessoas usam programas para obter valores-p, mas às vezes - por qualquer motivo - pode ser necessário obter um valor crítico a partir de um conjunto de tabelas. Dada uma tabela estatística com um número limitado de níveis de significância e um número limitado de graus de liberdade, …

19 hypothesis-testing  statistical-significance  chi-squared  interpolation  tables 

Eu tenho um problema com a prova de E(Y|X)∈argming(X)E[(Y−g(X))2]E(Y|X)∈arg⁡ming(X)E[(Y−g(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] que muito provavelmente revelam um mal-entendido mais profundo de expectativas e expectativas condicionais. A prova que eu conheço é a seguinte (outra versão dessa prova pode ser encontrada aqui ) ===argming( X)E[ ( Y- g( …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation 

O cenário a seguir se tornou o FAQ mais freqüente do trio de investigador (I), revisor / editor (R, não relacionado ao CRAN) e eu (M) como criador de plotagem. Podemos supor que (R) é o típico revisor médico do chefão, que sabe apenas que cada parcela deve ter uma …

19 data-visualization  standard-error  paired-comparisons  paired-data  crossover-study 

Eu tenho uma tabela de dados T1, que contém quase mil variáveis ​​(V1) e cerca de 200 milhões de pontos de dados. Os dados são escassos e a maioria das entradas é NA. Cada ponto de dados possui um par único de identificação e data para distinguir um do outro. …

19 r  generalized-linear-model  missing-data 

Para um projeto de ecologia, meu grupo de laboratório adicionou vinagre a 4 tanques contendo volumes iguais de água da lagoa, 1 controle sem elodea (uma planta aquática) e 3 tratamentos com a mesma quantidade de elodea em cada um. O objetivo de adicionar o vinagre era reduzir o pH. …

19 hypothesis-testing  t-test  sample-size 

Existe uma descrição realmente simples das diferenças práticas entre essas duas técnicas? Ambos parecem ser usados ​​para aprendizado supervisionado (embora as regras de associação também possam lidar com supervisão). Ambos podem ser usados ​​para previsão O mais próximo que encontrei de uma descrição 'boa' é do livro de texto Statsoft …

19 data-mining  association-rules 

Isso parece tão elementar, mas eu sempre fico preso neste momento ... A maioria dos dados com os quais eu lido não é normal e a maioria das análises é baseada em uma estrutura GLM. Para minha análise atual, tenho uma variável de resposta que é "velocidade de caminhada" (metros …

19 generalized-linear-model  stata  gamma-distribution 

É bastante comum usar mapas de calor / contorno ao apresentar achados de EEG com frequência de tempo. O esquema de cores frequentemente escolhido (e um que eu gosto e uso) é o esquema de cores "jet" (consulte, por exemplo, EEG de frequência de pesquisa de imagens do Google ). …

19 data-visualization 

Digamos que estamos trabalhando em um modelo de efeitos aleatórios de alguns dados de contagem ao longo do tempo e queremos controlar algumas tendências. Normalmente, você faria algo como: lmer(counts ~ dependent_variable + (1+t+I(t^2)|ID), family="poisson") para incluir uma forma quadrática para t. É possível usar algumas técnicas de suavização mais …

19 mixed-model  lme4-nlme  splines 

Oi, o mesmo pode ser mostrado para obter o parâmetro de forma e escala para o método de máxima verossimilhança modificado

19 r  maximum-likelihood  weibull 

Em um comentário recentemente publicado aqui, um comentarista apontou para um blog de Larry Wasserman, que aponta (sem nenhuma fonte) que a inferência freqüentista colide com o princípio da probabilidade. O princípio da verossimilhança simplesmente diz que experimentos que produzem funções semelhantes de verossimilhança devem produzir inferência semelhante. Duas partes …

19 inference  likelihood  frequentist  likelihood-principle 

Estou trabalhando em uma simulação física 2D e coletando dados no tempo em vários pontos. Esses pontos discretos são ao longo de linhas verticais, com várias linhas na direção axial. Isso torna o conjunto de dados efetivamente 4D. Por exemplo, suponha que eu tenha pontos de coleta nas coordenadas (X, …

19 time-series  data-visualization  spatio-temporal 

Há uma distinção que está me atrapalhando com modelos mistos, e eu estou me perguntando se eu poderia ter alguma clareza sobre isso. Vamos supor que você tenha um modelo misto de dados de contagem. Há uma variável que você sabe que deseja como efeito fixo (A) e outra variável …

19 r  mixed-model  lme4-nlme 

Eu sou interessante em aprender sobre como classificar e classificar indivíduos em um grupo que apenas interagem / competem de maneira pareada (ou seja, sistemas como o sistema de classificação ELO para xadrez). Existem métodos de acesso ou métodos mais precisos e avançados por aí? Existem pacotes R que facilitam …

19 ranking  rating  bradley-terry-model  elo