Estatísticas e Big Data

Ao executar a regressão de crista, como você interpreta os coeficientes que acabam maiores que seus correspondentes em menores quadrados (para certos valores de )? A regressão de crista não deve reduzir monotonicamente os coeficientes?λλ\lambda Em uma nota relacionada, como interpretar um coeficiente cujo sinal muda durante a regressão da …

14 interpretation  regression-coefficients  ridge-regression 

Estou usando regressão quantílica (por exemplo, via gbmou quantregem R) - não focando na mediana, mas em um quantil superior (por exemplo, 75º). Vindo de um histórico de modelagem preditiva, quero medir o quão bem o modelo se encaixa em um conjunto de testes e poder descrevê-lo para um usuário …

14 regression  data-mining  predictive-models  quantile-regression 

Atualmente, estou trabalhando em um modelo de regressão em que tenho apenas variáveis ​​categóricas / fatoriais como variáveis ​​independentes. Minha variável dependente é uma proporção transformada em logit. É bastante fácil apenas executar uma regressão normal em R, pois R sabe automaticamente como codificar manequins assim que eles são do …

14 r  regression  categorical-data  categorical-encoding 

Eu queria saber se alguém poderia explicar a diferença entre precisão equilibrada, que é b_acc = (sensitivity + specificity)/2 e pontuação f1 que é: f1 = 2*precision*recall/(precision + recall)

14 unbalanced-classes 

Eu tenho um conjunto de dados como +--------+------+-------------------+ | income | year | use | +--------+------+-------------------+ | 46328 | 1989 | COMMERCIAL EXEMPT | | 75469 | 1998 | CONDOMINIUM | | 49250 | 1950 | SINGLE FAMILY | | 82354 | 2001 | SINGLE FAMILY | | 88281 | …

14 categorical-data  svm  mixed-type-data 

Eu me deparei com um boato de que algum estudo mostrou que o desempenho de modelos preditivos depende mais da experiência do analista de dados com o método escolhido do que da escolha do método. Em outras palavras, a alegação é que é mais importante que o analista de dados …

14 predictive-models  method-comparison 

Eu tenho tentado resolver este problema por mais de um ano sem muito progresso. É parte de um projeto de pesquisa que estou realizando, mas ilustrarei com um exemplo de história que criei, porque o domínio real do problema é um pouco confuso (rastreamento ocular). Você é um avião que …

14 time-series  machine-learning  prediction 

Eu pensei que poderia brincar com alguma seleção de variáveis ​​bayesianas, seguindo um bom post no blog e os trabalhos relacionados. Escrevi um programa em rjags (onde sou um novato) e busquei dados de preços para a Exxon Mobil, além de algumas coisas que dificilmente explicam seus retornos (por exemplo, …

14 regression  bayesian  multiple-regression  feature-selection  jags 

Na pesquisa em econometria financeira, é muito comum investigar relações entre séries temporais financeiras que assumem a forma de dados diários . A variável será feita com a diferença do log, por exemplo; .Eu( 0 )Eu(0 0)I(0)em( Pt) - ln( Pt - 1)em⁡(Pt)-em⁡(Pt-1)\ln(P_t)-\ln(P_{t-1}) No entanto, dados diários significam que há …

14 time-series  econometrics  finance  macroeconomics  unevenly-spaced-time-series 

Vamos supor que temos pontos no espaço bidimensional e desejamos medir os efeitos dos atributos no atributo y . O modelo de regressão linear típico é obviamente y = X β + ϵXXXyyyy= Xβ+ ϵy=Xβ+ϵy= X\beta + \epsilon Há dois problemas aqui: o primeiro é que os termos podem ser …

14 econometrics  spatial 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 2 anos . Eu tenho um conjunto de dados bastante simples que consiste em uma variável independente, uma …

14 r  regression  bayesian  anova  inference 

Estou fazendo uma validação cruzada usando o método deixar de fora. Eu tenho uma resposta binária e estou usando o pacote de inicialização para R e a função cv.glm . Meu problema é que não entendo completamente a parte "custo" dessa função. Pelo que entendi, é a função que decide …

14 r  cross-validation 

Estou lendo o capítulo sobre Estatísticas Frequentes do livro " Aprendizado de Máquina - Uma Perspectiva Probabilística " de Kevin Murphy . A seção no bootstrap diz: O bootstrap é uma técnica simples de Monte Carlo para aproximar a distribuição da amostra. Isso é particularmente útil nos casos em que …

14 bootstrap  frequentist 

Suponha que eu tenha um vetor ordenado em que o primeiro elemento seja o número de visitas a um site em um determinado período de tempo pelo IP exclusivo com o maior número de visitas, o segundo elemento seja o número de visitas pelo IP exclusivo com o segundo maior …

14 web  power-law 

Eu li que o teste de Kolmogorov-Smirnov não deve ser usado para testar a qualidade do ajuste de uma distribuição cujos parâmetros foram estimados a partir da amostra. Faz sentido dividir minha amostra em duas e usar a primeira metade para estimativa de parâmetros e a segunda para o teste …

14 estimation  fitting  kolmogorov-smirnov