Estatísticas e Big Data

Gostaria de saber qual é a expressão de desvio na regressão de Poisson usando a xgboostferramenta (aumento extremo do gradiente). De acordo com o código fonte, a função de avaliação é: struct EvalPoissonNegLogLik : public EvalEWiseBase { const char *Name() const override { return "poisson-nloglik"; } inline bst_float EvalRow(bst_float y, …

7 regression  poisson-distribution  gbm  xgboost 

Eu estava lendo este livro sobre aprendizado profundo de Ian e Aron. Na descrição do DBN, eles dizem que o DBN caiu em desuso e raramente é usado. Redes de crenças profundas demonstraram que arquiteturas profundas podem ser bem-sucedidas, superando as máquinas de vetores de suporte kernelizadas no conjunto de …

7 machine-learning  deep-learning  deep-belief-networks 

Eu tenho um modelo de regressão logística binária derivada passo a passo. Eu usei a calibrate(, bw=200, bw=TRUE)função no rmspacote em R para estimar sua calibração futura. A saída é fornecida abaixo e mostra a estimativa da curva de calibração corrigida por overfitting de autoinicialização para o modelo de logística …

7 r  logistic  multiple-regression  regression-strategies  calibration 

Situação Estou trabalhando em um problema em que estou usando os dados do sensor para prever a falha da máquina antes que ela ocorra e preciso de alguns conselhos sobre quais métodos explorar. Especificamente, quero identificar indicações de falhas iminentes antes que elas realmente ocorram. Idealmente, isso seria com prazo …

7 machine-learning  time-series  predictive-models  prediction-interval 

Suponha que você observe o vetor de variáveis ​​independentes e variáveis ​​dependentes de , com probabilidade . Suponha que sejam independentes. Além disso, suponha que você receba pesos positivos , que são arbitrários, e calcule o Estimador de Máxima Verossimilhança ponderado (WMLE?): Qual é a distribuição do WMLE, \ hat …

7 estimation  maximum-likelihood  weighted-data  weights 

Eu estou querendo saber se dados inteiros do preditor devem ser tratados como categóricos (portanto, exigindo codificação) ou contínuos. Por exemplo, se o intervalo de um determinado preditor Xfor todo o número entre 1 e 230, posso tratá-lo como uma variável contínua ou devo codificá-lo para obter 230 (ou talvez …

7 regression  classification  categorical-data  continuous-data 

Estou procurando algumas referências sobre como criar gráficos / visualizações de dados eficazes. Encontrei vários livros que mostram como criar visualizações de dados usando certas ferramentas (como R / ggplot vs python / pandas), mas não é exatamente isso que estou procurando. Estou procurando uma referência que explique diferentes tipos …

7 data-visualization  references 

Pergunta: Alguém tem uma recomendação para uma referência que seja "a introdução mais acessível" às estatísticas direcionais ? Quando digo "acessível", quero dizer que muitos autores são tão experientes e com conhecimento em seu campo que muitas vezes tomam como certas coisas que são confusas para os recém-chegados. Assim, se …

7 references  circular-statistics  information-geometry 

Deixe é um número de eventos no processo de Poisson de taxa unitária ( ) dentro de intervalo de comprimento . Sabe-se que pelo menos um evento foi observado no intervalo, quero encontrar probabilidade de que haja mais eventos no intervalo.XTXTX_Tλ=1λ=1\lambda = 1TTT Minha intuição é que .Pr(XT>1∣XT>0)=Pr(XT>0)Pr(XT>1∣XT>0)=Pr(XT>0)\Pr(X_T > 1 …

7 self-study  conditional-probability  poisson-process  paradox 

Parece um problema comum, mas não consigo encontrar uma solução. Eu tenho um conjunto de observações binárias e dois modelos diferentes, cada um com previsões para cada observação. Eu quero comparar a calibração dos modelos. Existem várias abordagens para comparar a discriminação desses modelos (ou seja, consulte o roc.test no …

7 r  machine-learning  logistic  calibration  scoring-rules 

Estou estimando o modelo onde e são parâmetros , é um vetor de parâmetros length, é uma matriz de dados , a variável dependente é binária e é um modelo probit, portanto, a função de distribuição cumulativa da normal normal distribuição. Para derivar a expectativa, assumiu-se que os erros são …

7 r  maximum-likelihood  nonlinear  nls 

Dadas as duas formulações equivalentes do problema para a regressão do LASSO, e \ min (RSS) tais que \ sum | \ beta_i | \ leq t , como podemos expressar a -para-um entre \ lambda e t ?min(RSS+λ∑|βi|)min(RSS+λ∑|βi|)\min(RSS + \lambda\sum|\beta_i|)min(RSS)min(RSS)\min(RSS)∑|βi|≤t∑|βi|≤t\sum|\beta_i|\leq tλλ\lambdattt

7 lasso 

Suponha que inicialmente eu esteja lidando com a função de probabilidade de , em que .logL(θ1,…,θm,θm+1,…,θk)log⁡L(θ1,…,θm,θm+1,…,θk)\log L(\theta_1, \ldots, \theta_m, \theta_{m+1}, \ldots, \theta_k)θj∈Rθj∈R\theta_j \in \mathbb{R} Suponha que, por qualquer motivo, eu tenha decidido inserir no algumas estimativas de primeiro estágio , , obtidas de alguma outra maneira e depois maximizar sobre …

7 estimation  maximum-likelihood  asymptotics 

Existe uma regra prática antiga para estatísticas multivariadas que recomenda um mínimo de 10 casos para cada variável independente. Mas geralmente é onde há um parâmetro para cada variável. Por que estou perguntando: estou trabalhando em um exemplo de livro didático que usa 500 casos de treinamento (de 25.000 no …

7 self-study  neural-networks 

Existe uma distribuição de junta paramétrica tal que XXX e YYY sejam uniformes em [0,1][0,1][0, 1] (isto é, uma cópula) e E[Y|X=x]E[Y|X=x]\mathbb{E}[Y | X = x] é linear (com o que quero dizer afim) em xxx ? Ou seja, E[Y|X=x]=a+bxE[Y|X=x]=a+bx\mathbb{E}[Y \;|\; X = x] = a + b\,x enquanto XXX …

7 uniform  joint-distribution  conditional-expectation  copula