Estatísticas e Big Data

Um grupo de pessoas responde a uma pergunta. A resposta pode ser "sim" ou "não". O pesquisador deseja saber se a idade está associada ao tipo de resposta. A associação foi avaliada através de uma regressão logística em que a idade é a variável explicativa e o tipo de resposta …

17 regression  logistic  t-test 

Os gráficos acíclicos direcionados (DAGs; por exemplo, Groenlândia, et al., 1999) fazem parte de um formalismo de inferência causal a partir da interpretação contrafactual do campo de causalidade. Nesses gráficos, a presença de uma seta da variável AAA para a variável BBB afirma que a variável AAA causa diretamente (alguma …

17 interaction  causality  dag 

Alguns dias atrás, um psicólogo-pesquisador meu me contou sobre seu método para selecionar variáveis ​​para o modelo de regressão linear. Acho que não é bom, mas preciso pedir a alguém para ter certeza. O método é: Observe a matriz de correlação entre todas as variáveis ​​(incluindo a variável dependente Y) …

17 regression  correlation  model-selection 

Estou fazendo estudos de associação do GWAS SNP sobre doenças usando um software chamado plink ( http://pngu.mgh.harvard.edu/~purcell/plink/download.shtml ). Com os resultados da associação, obtenho valores de p para todos os SNPs analisados. Agora, eu uso um gráfico QQ desses valores p para mostrar se um valor p muito baixo difere …

17 qq-plot 

A seguir, são semelhantes, mas diferentes dos posts anteriores, aqui e aqui Dadas duas distribuições que admitem momentos de todas as ordens, se todos os momentos de duas distribuições são iguais, então são distribuições idênticas ae? Dadas duas distribuições que admitem funções geradoras de momentos, se elas tiverem os mesmos …

17 distributions  lognormal  moments  mgf 

Estou tentando obter intuição para cada uma das principais funções da ciência atuarial (especificamente para o Modelo de Riscos Proporcionais de Cox). Aqui está o que eu tenho até agora: f(x)f(x)f(x) : começando no horário de início, a distribuição de probabilidade de quando você morrerá. F(x)F(x)F(x) : apenas a distribuição …

17 probability  survival  hazard 

Espero que você possa me dar algumas sugestões. Estou ensinando em uma faculdade muito diversa (formada por grupos minoritários) e os alunos são majoritariamente graduados em psicologia. A maioria dos alunos é recém-formada no ensino médio, mas alguns deles são alunos mais velhos, com retorno acima de 40 anos. A …

17 references  teaching 

Eu tenho um quadro de dados que contém duas séries temporais: as datas e os números de versão dos lançamentos do Emacs e Firefox. Usando um comando ggplot2, é fácil criar um gráfico que use loess (de uma maneira que pareça um pouco divertida, o que não me importo) para …

17 prediction  ggplot2 

Atualmente, estou no processo de fazer uma apresentação em pôster e gostaria de alguns conselhos (ou referência a conselhos) sobre alguns dos aspectos do gráfico. Para exemplos de pôsteres de que estou falando, consulte o material suplementar para os artigos da ASA Data Expo no Volume 20 Edição 2 do …

17 data-visualization  presentation 

Eu usei o LDA em um corpus de documentos e encontrei alguns tópicos. A saída do meu código é duas matrizes que contêm probabilidades; uma probabilidade de tópico de documento e a outra probabilidade de tópico de palavra. Mas, na verdade, não sei como usar esses resultados para prever o …

17 text-mining  topic-models 

Existem muitas postagens de blog, vídeos do YouTube etc. sobre as idéias de empacotar ou aumentar árvores. Meu entendimento geral é que o pseudo-código para cada um é: Ensacamento: Coletar N amostras aleatórias de x% das amostras e% de recursos Ajuste seu modelo (por exemplo, árvore de decisão) em cada …

17 cart  boosting  xgboost  bagging 

Estou tentando entender como posso obter a importância do recurso de uma variável categórica que foi dividida em variáveis ​​dummy. Estou usando o scikit-learn, que não lida com variáveis ​​categóricas para você, como R ou H2O. Se eu dividir uma variável categórica em variáveis ​​dummy, obtenho importâncias de recurso separadas …

17 categorical-data  random-forest  interpretation  importance 

Estou tentando entender a saída da função de teste Kolmogorov-Smirnov (duas amostras, duas faces). Aqui está um teste simples. x <- c(1,2,2,3,3,3,3,4,5,6) y <- c(2,3,4,5,5,6,6,6,6,7) z <- c(12,13,14,15,15,16,16,16,16,17) ks.test(x,y) # Two-sample Kolmogorov-Smirnov test # #data: x and y #D = 0.5, p-value = 0.1641 #alternative hypothesis: two-sided # #Warning message: …

17 r  kolmogorov-smirnov  ties 

A questão Estou lutando para entender como a previsão é mantida dentro do intervalo ao fazer a classificação binária com o Gradient Boosting.[0,1][0,1][0,1] Assumir que estamos a trabalhar sobre um problema de classificação binária, e a função objectiva é a perda de registo, , onde y é a variável de …

17 logistic  classification  boosting 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Até o momento, removi variáveis ​​colineares como parte do processo de preparação de dados, observando …

17 python  multicollinearity  scikit-learn