Estatísticas e Big Data

Eu tenho um conjunto de dados com cerca de 2.000 variáveis ​​binárias / 200.000 linhas e estou tentando prever uma única variável dependente binária. Meu principal objetivo, neste estágio, não é obter precisão de previsão, mas identificar quais dessas variáveis ​​são preditores importantes. Gostaria de reduzir o número de variáveis …

9 machine-learning  data-mining  large-data 

Para alguma variável Y, que é dividida em 3 grupos (X), desejo comparar os grupos e para a hipótese de que o quantil de 90% é o mesmo entre os três grupos. Que testes posso usar? Uma opção em que posso pensar é usar a regressão quantílica. Existem outras alternativas …

9 hypothesis-testing  anova  median  quantiles  kruskal-wallis 

Entendo que não devemos permitir que o mesmo conjunto de dados que estamos analisando direcione / defina como são as distribuições anteriores em uma análise bayesiana. Especificamente, não é apropriado definir distribuições anteriores para uma análise bayesiana com base em estatísticas resumidas do mesmo conjunto de dados que você utilizará …

9 bayesian  prior 

Desejo simular a partir de uma densidade normal (digamos, média = 1, dp = 1), mas quero apenas valores positivos. Uma maneira é simular a partir do normal e pegar o valor absoluto. Penso nisso como um normal dobrado. Vejo em R que existem funções para geração de variáveis ​​aleatórias …

9 normal-distribution  simulation  truncation 

Estou trabalhando em um projeto de controle de máquina. Podemos medir a corrente do motor durante a operação. Os dados de amostra de dois motores que executam uma operação com sucesso estão abaixo. O traço vermelho mostra a corrente de um motor, o azul traça a corrente de outro. Eu …

9 time-series 

Basicamente, o objetivo dos métodos de agrupamento de gráficos e detecção de comunidade é calcular clusters. Existe alguma diferença entre eles?

9 clustering 

Estou pesquisando conjuntos de dados existentes que podemos usar para testar várias técnicas de datavis que estamos pesquisando. Conheço vários recursos como os incluídos no R (tente plot(Orange)ou veja aqui ). Mas eu gostaria de dar um passo adiante: Quais são os melhores conjuntos de dados do mundo real para …

9 data-visualization  dataset  teaching 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. As funções que eu estou familiarizado incluem a escala da base R, a nova escala do ARM. Talvez a melhor …

9 r  standardization  centering 

Fiz uma ANOVA descobrindo, por exemplo, uma interação entre gênero e série do que gostaria de saber em que séries meninos e meninas diferem, mas em muitos casos encontro valores-p (ajustados) de 0 e 1. Como / por que isso é possível? Não parece certo ... as.factor(gender) 1 16 16.2 …

9 r 

Estou investigando se diferentes condições de recompensa podem afetar o desempenho da tarefa. Eu tenho dados de um pequeno estudo com dois grupos, cada um com n = 20. Eu coletei dados em uma tarefa que envolvia desempenho em três condições diferentes de "recompensa". A tarefa envolveu o desempenho em …

9 anova  spss  repeated-measures  assumptions 

Essas perguntas podem parecer estúpidas, mas ... é correto que efeitos aleatórios possam ser aplicados apenas a variáveis ​​categóricas (como identificação individual, identificação de população, ...), por exemplo, digamos que é uma variável categórica:xixix_i ~ β x iyiyiy_iβxiβxi\beta_{x_i} ~ N o r m ( μ , ô 2 )βxiβxi\beta_{x_i}Norm(μ,δ2)Norm(μ,δ2)Norm(\mu, \delta^2) …

9 mixed-model  categorical-data  continuous-data  random-effects-model 

Eu gostaria de realizar uma análise multivariada em nível individual em pequenos níveis de agregação geográfica (distritos de coleta de censo da Austrália). Claramente, o censo não está disponível nesses pequenos níveis de agregação por razões de privacidade, por isso estou investigando outras alternativas. Quase todas as variáveis ​​de interesse …

9 distributions  sampling  simulation  spatial  census 

Dada a seguinte configuração experimental: Várias amostras são coletadas de um sujeito e cada amostra é tratada de várias maneiras (incluindo um tratamento de controle). O que é principalmente interessante é a diferença entre o controle e cada tratamento. Eu posso pensar em dois modelos simples para esses dados. Com …

9 regression  anova  linear-model  ancova 

Sou iniciante em estatística e tenho alguma confusão sobre a suposição de independência para testes estatísticos. Pesquisei na Internet e algumas informações dizem que, para o teste t, as observações nos dois grupos devem ser independentes (ou seja, as medidas na amostra 1 e as medidas na amostra 2 devem …

9 independence  assumptions 

Seguindo meus posts anteriores, até onde posso entender, se eu tiver três coeficientes de correlação, terei que testá-los em pares para ver se há uma diferença significativa entre eles. Isso significa que eu precisaria usar a transformação Fishers para calcular a pontuação z de re, em seguida, o valor de …

9 correlation