Estatísticas e Big Data

Eu apliquei regressão logística aos meus dados no SAS e aqui estão a curva ROC e a tabela de classificação. Estou confortável com as figuras da tabela de classificação, mas não sei exatamente o que a curva roc e a área abaixo dela mostram. Qualquer explicação seria muito apreciada.

13 regression  logistic  classification  roc 

Estou reproduzindo do zero os resultados na Seção 4.2.1 de Probabilidade marginal da produção de Gibbs Siddhartha Chib Jornal da Associação Estatística Americana, vol. 90, No. 432. (Dec., 1995), pp. 1313-1321. É uma mistura de modelos normais com o número conhecido de componentes. k ≥ 1k≥1k\geq 1f( x ∣ w …

13 bayesian  mixture  gibbs 

Eu tenho lido sobre o cálculo de valores de R2R2R^2 em modelos mistos e depois de ler as perguntas frequentes do R-sig, outras postagens neste fórum (eu vincularia algumas, mas não tenho reputação suficiente) e várias outras referências que eu entendo que usando valores no contexto de modelos mistos é …

13 r  mixed-model  r-squared  lme4-nlme 

Tenho dados de vendas diárias de um produto altamente sazonal. Eu quero capturar a sazonalidade no modelo de regressão. Eu li que, se você tiver dados trimestrais ou mensais, nesse caso, poderá criar 3 e 11 variáveis ​​fictícias, respectivamente - mas posso lidar com dados diários? Eu tenho três anos …

13 regression  time-series  multiple-regression  categorical-data 

Ao modelar séries temporais, é possível (1) modelar a estrutura correlacional dos termos de erro como, por exemplo, um processo AR (1) (2) incluir a variável dependente atrasada como uma variável explicativa (no lado direito) Entendo que, às vezes, existem razões substanciais a seguir (2). No entanto, quais são as …

13 time-series  autocorrelation  residuals  lags 

Estou aprendendo sobre regressão de cordilheira e sei que a regressão de cordilheira tende a funcionar melhor na presença de multicolinearidade. Eu estou querendo saber por que isso é verdade? Uma resposta intuitiva ou matemática seria satisfatória (ambos os tipos de respostas seriam ainda mais satisfatórios). Além disso, eu sei …

13 multicollinearity  ridge-regression 

Normalmente, não podemos desenhar uma curva ROC para classificadores discretos, como árvores de decisão. Estou certo? Existe alguma maneira de desenhar uma curva ROC para Dtrees?

13 roc  cart 

Eu tenho uma distribuição empírica . Eu calculo da seguinte formaG(x)G(x)G(x) x <- seq(0, 1000, 0.1) g <- ecdf(var1) G <- g(x) Denomino , ou seja, h é o pdf enquanto G é o cdf.h(x)=dG/dxh(x)=dG/dxh(x) = dG/dxhhhGGG Agora, quero resolver uma equação para o limite superior de integração (digamos ), …

13 r  integral  ecdf 

Estou tentando entender a lógica por trás do teste do qui-quadrado. O teste do qui-quadrado é . χ2é então comparado a uma distribuição qui-quadrado para descobrir um valor p.a fim de rejeitar ou não a hipótese nula. H0: as observações vêm da distribuição que usamos para criar nossos valores esperados. …

13 probability  distributions  normal-distribution  mathematical-statistics  chi-squared 

Preciso calcular quartis (Q1, mediana e Q3) em tempo real em um grande conjunto de dados sem armazenar as observações. Tentei pela primeira vez o algoritmo do quadrado P (Jain / Chlamtac), mas não estava satisfeito com ele (um pouco de uso da CPU e não estava convencido pela precisão, …

13 quantiles  median  online 

Eu calculei a autocorrelação em dados de séries temporais sobre os padrões de movimento de um peixe com base em suas posições: X ( x.ts) e Y ( y.ts). Usando R, executei as seguintes funções e produzi os seguintes gráficos: acf(x.ts,100) acf(y.ts,100) Minha pergunta é: como interpreto esses gráficos? Quais …

13 r  time-series  autocorrelation 

Neste caso em particular, estou me referindo ao dia em que um lago congela. Essa data de início ocorre apenas uma vez por ano, mas às vezes não ocorre (se o inverno é quente). Assim, em um ano, o lago pode congelar no dia 20 (20 de janeiro) e em …

13 regression  time-series  survival  data-transformation  recurrent-events 

Fiz essa pergunta com (n,k)=(400,220)(n,k)=(400,220)(n, k) = (400, 220) em uma entrevista. Existe uma resposta "correta"? Suponha que os lançamentos sejam iid e a probabilidade de cabeças é p=0.5p=0.5p=0.5 . A distribuição do número de cabeças em 400 lançamentos deve ser próxima de Normal (200, 10 ^ 2), de modo …

13 probability  hypothesis-testing  self-study  prior 

Suponha que tenhamos o seguinte modelo de regressão logística: logit(p)=β0+β1x1+β2x2logit(p)=β0+β1x1+β2x2\text{logit}(p) = \beta_0+\beta_{1}x_{1} + \beta_{2}x_{2} É β0β0\beta_0 a probabilidade do evento quando x1=0x1=0x_1 = 0 e ? Em outras palavras, são as chances do evento quando e estão nos níveis mais baixos (mesmo que este não seja 0)? Por exemplo, se …

13 logistic  interpretation  intercept 

No momento, estou tentando calcular o BIC para o meu conjunto de dados de brinquedos (ofc iris (:). Quero reproduzir os resultados conforme mostrado aqui (Fig. 5). Esse documento também é minha fonte para as fórmulas do BIC. Eu tenho 2 problemas com isso: Notação: ninin_i = número de elementos …

13 python  k-means  scikit-learn  bic