Estatísticas e Big Data

Como tenho um conjunto de dados muito desequilibrado (resultados positivos de 9%), decidi que uma curva de precisão e recordação era mais apropriada do que uma curva ROC. Obtive a medida sumária análoga da área sob a curva PR (0,49, se você estiver interessado), mas não tenho certeza de como …

11 classification  precision-recall  auc 

Um processo é estritamente estacionário se a distribuição conjunta de X t 1 , X t 2 , . . . , X t m é a mesma que a distribuição conjunta de X t 1 + k , X t 2 + K , . . . , X …

11 time-series  autocorrelation  stochastic-processes  stationarity 

Estou executando a regressão linear múltipla abaixo em R para prever retornos sobre o fundo gerenciado. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Aqui, apenas GRI e MBA são preditores binários / dicotômicos; os preditores restantes são contínuos. Estou usando esse código para gerar gráficos residuais para as variáveis ​​binárias. plot(rawdata$GRI, reg$residuals) abline(lm(reg$residuals~rawdata$GRI, …

11 r  multiple-regression  categorical-data  heteroscedasticity  residuals 

Eu continuo lendo sobre a necessidade de verificar a autocorrelação no MCMC. Por que é importante que a autocorrelação seja baixa? O que ele mede no contexto do MCMC?

11 sampling  autocorrelation  mcmc 

Estou ciente de várias perguntas relacionadas aqui (por exemplo, terminologia de teste de hipótese em torno de nulo , é possível provar uma hipótese nula? ), Mas não sei a resposta definitiva para minha pergunta abaixo. Suponha um teste de hipótese em que queremos testar se uma moeda é justa …

11 hypothesis-testing 

Supervisionei o problema de aprendizagem em que os alvos são ângulos. Se eu fizesse uma regressão simples, os números 360 e 1 estariam muito distantes para o meu modelo, mas na verdade eles estão próximos e prever que as coordenadas xey não parece certo, pois estou tentando prever apenas um …

11 regression  circular-statistics 

Suponha que eu esteja considerando várias variáveis ​​independentes para possível inclusão em um modelo ARIMAX que estou desenvolvendo. Antes de ajustar variáveis ​​diferentes, eu gostaria de filtrar variáveis ​​que exibem causalidade reversa usando um teste de Granger (estou usando a granger.testfunção do MSBVARpacote em R, embora eu acredite que outras …

11 lags  granger-causality 

A regressão pode ser usada para detecção externa. Entendo que existem maneiras de melhorar um modelo de regressão removendo os valores discrepantes. Mas o objetivo principal aqui não é ajustar um modelo de regressão, mas descobrir níveis usando regressão

11 regression  outliers 

A solução para o problema: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] é conhecido por ser a mediana de XXX , mas como é a função de perda para outros percentis? Ex: o 25º percentil de X é a solução para: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] O que é LLL neste caso?

11 expected-value  loss-functions 

De acordo com algum artigo que estou lendo, a distância de Jeffries e Matusita é comumente usada. Mas não consegui encontrar muita informação, exceto a fórmula abaixo JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} É semelhante à distância euclidiana, exceto pela raiz quadrada E (x, y) =∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} A distância JM é reivindicada como …

11 classification  k-nearest-neighbour  euclidean 

Eu preciso estudar os métodos Monte Carlo da Cadeia de Markov, para ser mais específico, eu preciso estudar o algoritmo Metropolis Hastings e tudo sobre ele como critérios de convergência. Quem pode me prescrever um livro, um artigo ou um site que explique esse argumento usando termos simples, mas sem …

11 references  mcmc 

Eu posso treinar uma regressão logística Rusando glm(y ~ x, family=binomial(logit))) mas, IIUC, isso otimiza a probabilidade do log. Existe uma maneira de treinar o modelo usando a função de perda linear ( ) (que neste caso é igual à distância total da variação )?eu1 1L1L_1 Ou seja, dado um …

11 logistic 

Eu estava tentando entender melhor a covariância de duas variáveis ​​aleatórias e entender como a primeira pessoa que pensou nisso chegou à definição que é rotineiramente usada em estatística. Eu fui à wikipedia para entender melhor. Pelo artigo, parece que uma boa medida ou quantidade de candidato para deve ter …

11 correlation  covariance 

Eu tinha algumas perguntas sobre a interpretação de odds ratio para variáveis ​​contínuas na regressão logística. Sinto que essas são perguntas básicas sobre regressão logística (e provavelmente sobre regressão em geral) e, embora tenha um pouco de vergonha de não saber as respostas, vou engolir meu orgulho e perguntar a …

11 regression  logistic 

Estou trabalhando no desenvolvimento de um modelo preditivo de risco de seguro. Esses modelos são de "eventos raros", como previsão de não comparência de companhias aéreas, detecção de falhas de hardware etc. Ao preparar meu conjunto de dados, tentei aplicar a classificação, mas não consegui obter classificadores úteis devido à …

11 classification  predictive-models  scikit-learn  poisson-process