Estatísticas e Big Data

Olá, queria saber se existem bons livros sobre mineração e classificação de texto com alguns estudos de caso ?. Se não, alguns trabalhos / revistas acessíveis ao público serviriam. Se eles ilustram seus exemplos com R ainda melhor. Não estou procurando manual passo a passo, mas algo que ilustra os …

11 references  text-mining 

Eu quero fazer uma regressão logística ordinal em R sem a suposição de probabilidades de proporcionalidade. Eu sei que isso pode ser feito diretamente usando a vglm()função R, definindo parallel=FALSE. Mas meu problema é como corrigir um conjunto específico de coeficientes nessa configuração de regressão? Por exemplo, digamos que a …

11 r  regression  logistic 

Aqui está um gráfico de QQ para minha amostra (observe o eixo Y logarítmico); :n = 1000n=1000n = 1000 Conforme apontado pelo whuber, isso indica que a distribuição subjacente é inclinada para a esquerda (a cauda direita é mais curta). Usando shapiro.test(nos dados transformados em log) em R, recebo uma …

11 interpretation  lognormal  qq-plot 

Gostaria de gerar dados com o "Modelo 1" e ajustá-los com o "Modelo 2". A idéia subjacente é investigar as propriedades de robustez do "Modelo 2". Estou particularmente interessado na taxa de cobertura do intervalo de confiança de 95% (com base na aproximação normal). Como defino o número de execuções …

11 simulation  monte-carlo 

Estou tentando calcular o índice Gini na distribuição de reputação do SO usando o SO Data Explorer. A equação que estou tentando implementar é a seguinte: Onde: = número de usuários no site; = ID de série do usuário (1 - 1.225.000); = reputação do usuário .niyiiG ( S) = …

11 gini 

Em um modelo de riscos proporcionais de Cox com muitas variáveis, se os resíduos de Schoenfeld não são baixos para uma das variáveis, isso invalida o modelo inteiro ou pode apenas a variável com baixo desempenho ser ignorada? Ou seja, interprete os coeficientes para as outras variáveis, mas não interprete …

11 residuals  cox-model  schoenfeld-residuals 

Corri um glm em R, e perto da parte inferior da summary()saída, afirma (Dispersion parameter for gaussian family taken to be 28.35031) Fiz algumas pesquisas no Google e aprendi que o parâmetro de dispersão é usado para ajustar os erros padrão. Espero que alguém possa fornecer mais detalhes sobre qual …

11 r  generalized-linear-model 

Tenho formação em matemática pura (Teoria da Medida, Análise Funcional, Álgebra do Operador, etc.). Também tenho um trabalho que exige algum conhecimento da teoria das probabilidades (dos princípios básicos às técnicas de aprendizado de máquina). Minha pergunta: alguém pode fornecer alguns materiais de leitura e referência canônicos que: Introdução independente …

11 probability  references 

Depois de ler o capítulo 3 nos Elementos de aprendizagem estatística (Hastie, Tibshrani & Friedman), perguntei-me se seria possível implementar os famosos métodos de encolhimento citados no título dessa pergunta, dada uma estrutura de covariância, ou seja, minimizar a (talvez mais geral ) quantidade ( y⃗ - Xβ⃗ )TV- 1( …

11 lasso  ridge-regression 

Quando eu determino meu lambda através da validação cruzada, todos os coeficientes se tornam zero. Mas tenho algumas dicas da literatura de que alguns dos preditores devem definitivamente afetar o resultado. É besteira escolher arbitrariamente lambda para que haja a escassez que se deseja? Quero selecionar os 10 principais preditores …

11 lasso 

Existe alguma interpretação Bayesiana, ML ou MDL de validação cruzada? Posso interpretar a validação cruzada como executando a atualização correta em um anterior especificamente criado?

11 bayesian  cross-validation  maximum-likelihood 

Meu objetivo é usar os coeficientes derivados de pesquisas anteriores sobre o assunto para prever resultados reais, considerando um conjunto de variáveis ​​independentes. No entanto, o trabalho de pesquisa lista apenas os coeficientes Beta e o valor t. Eu gostaria de saber se é possível converter os coeficientes padronizados em …

11 regression-coefficients 

Se alguém fizer uma declaração como abaixo: "No geral, os não fumantes expostos à fumaça ambiental tiveram um risco relativo de doença cardíaca coronária de 1,25 (intervalo de confiança de 95%, 1,17 a 1,32) em comparação com os não fumantes não expostos à fumaça". Qual é o risco relativo para …

11 probability  statistical-significance  confidence-interval  conditional-probability  philosophical 

Estou ciente do teste de Ramsey Reset, que pode detectar dependências não lineares. No entanto, se você apenas jogar fora um dos coeficientes de regressão (dependências meramente lineares), poderá obter um viés, dependendo das correlações. Obviamente, isso não é detectado pelo teste de redefinição. Não encontrei um teste para este …

11 regression  multiple-regression  bias  causality  diagnostic 

Sou cientista da computação trabalhando em mineração de dados. Não é nenhum segredo dizer que os cientistas da computação são bastante pobres em fazer um projeto e avaliação experimental sistemática - o uso de valores-p e estimativas de confiança é considerado avançado :). O que eu gostaria de saber se …

11 references  experiment-design