Estatísticas e Big Data

Então, estou brincando com a idéia de escrever um algoritmo que cresce e remove uma árvore de regressão dos dados e, em seguida, nos nós terminais da árvore, cabe um GLM. Eu tenho tentado ler sobre a idéia, mas não consigo encontrar um nome consistente para a técnica. Eu o …

8 regression  generalized-linear-model  cart 

Atualmente, estou usando a parada antecipada no meu trabalho para evitar o excesso de ajuste. Especificamente, aqueles tomados em forma de parada antecipada, mas quando? . Agora estou querendo comparar com outros algoritmos de classificação, onde parece que a validação cruzada de 10 vezes é amplamente usada. No entanto, estou …

8 cross-validation  overfitting 

Estou tendo um grande problema com um problema conceitual que eu criei. Digamos que uma empresa tenha uma distribuição altamente distorcida. Algo semelhante a um exponencial ou lognormal apenas mais extremo. Agora, finja que a distribuição está tão distorcida que a média da distribuição é superior ao percentil 99% da …

8 mean  prediction-interval 

Estou tentando replicar o que a função dfbetas()faz R . dfbeta() não é um problema ... Aqui está um conjunto de vetores: x <- c(0.512, 0.166, -0.142, -0.614, 12.72) y <- c(0.545, -0.02, -0.137, -0.751, 1.344) Se eu encaixar dois modelos de regressão da seguinte maneira: fit1 <- lm(y ~ …

8 r  regression  regression-coefficients  diagnostic 

Estou escrevendo um programa para avaliar imóveis e realmente não entendo as diferenças entre alguns modelos de regressão robustos, é por isso que não sei qual escolher. Eu tentei lmrob, ltsRege rlm. para o mesmo conjunto de dados, todos os três métodos forneceram valores diferentes para os coeficientes. Eu pensei …

8 r  regression  p-value  r-squared 

Uma suposição para a análise de regressão é que e não estão entrelaçados. No entanto, quando penso nisso, parece-me que faz sentido.YXXXYYY Aqui está um exemplo. Se tivermos um teste com 3 seções (AB e C). A pontuação geral do teste é igual à soma das pontuações individuais para as …

8 regression  correlation  r-squared 

Eu tenho uma amostra de uma distribuição discreta, como tal: Type: 0 1 2 3 4 5 Occurrences: 88 12 52 43 21 5 Minha tarefa é testar se uma Distribuição Binomial (n = 5, p) se encaixa nesses dados. Entendo que devo usar o teste de hipóteses e que …

8 hypothesis-testing  distributions  chi-squared  binomial 

Eu quero ajustar um modelo linear por R com family=binomial(link="identity"), no entanto, a família binomial não tem vínculo de identidade. O que devo fazer?

8 r  generalized-linear-model  binomial  link-function 

XXX é uma variável aleatória discreta que pode assumir valores de (0,1)(0,1)(0,1) . Como φ(x)=1/xφ(x)=1/x\varphi(x)=1/x é uma função convexa, podemos usar a desigualdade de Jensen para derivar um limite inferior : E[11−X]≥11−E[X]=11−aE[11−X]≥11−E[X]=11−a E\left[\frac{1}{1-X}\right]\ge \frac{1}{1-E[X]}=\frac{1}{1-a} É possível derivar um limite superior ?

8 probability  expected-value  bounds 

Eu li as respostas existentes no CrossValidated (além de outros locais on-line) e não consigo encontrar o que estou procurando, mas, por favor, aponte-me para as fontes existentes, caso as tenha perdido. Digamos que eu tenho um conjunto de dados de N = 1000 registros, cada um dos quais pode …

8 bayesian  sampling  sample-size  hypergeometric 

Estou curioso para saber como o pacote lmerTest em R, especificamente a função "rand", lida com testes de efeitos aleatórios. Considere o exemplo do pdf lmerTest no CRAN que usa o conjunto de dados incorporado "cenouras": #import lme4 package and lmerTest package library(lmerTest) #lmer model with correlation between intercept and …

8 lme4-nlme  mixed-model  likelihood-ratio 

Sou muito novo para RBMs, tentando escrever um programa RBM agora. Desculpe se esta é uma pergunta boba e / ou já foi respondida aqui. Li alguns artigos on-line e perguntas aqui, mas não consigo encontrar nada sobre como atualizar os preconceitos (ou pesos de preconceito). Li sobre como defini-los …

8 deep-learning  rbm  deep-belief-networks 

Eu entendo onde a etapa E acontece no algoritmo (conforme explicado na seção de matemática abaixo). Na minha opinião, a principal engenhosidade do algoritmo é o uso da desigualdade de Jensen para criar um limite inferior à probabilidade do log. Nesse sentido, aceitar isso Expectationé simplesmente feito para reformular a …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler 

Digamos que eu tenha uma série de tempo, G t , e uma co-variável B t . Quero encontrar o relacionamento entre eles pelo modelo ARMA: G t = Z t + β 0 + β 1 B t em que o residual Z t segue algum processo ARMA. O …

8 time-series  correlation  econometrics  arima  time-varying-covariate 

Fundo: Meu software solicita aos usuários doações opcionais de qualquer valor. Divido as solicitações de doação de teste entre os usuários para encontrar a melhor maneira de perguntar: 50% obtêm a versão 1 da solicitação, 50% obtêm a versão 2 da solicitação e vemos qual deles se sai melhor. Quase …

8 r  p-value  wilcoxon-mann-whitney  permutation-test  ab-test