Estatísticas e Big Data

Gostaria de saber qual é a diferença entre esses dois tipos de anteriores: Não informativo Impróprio

10 bayesian  prior  improper-prior 

Se eu tiver uma matriz de design , em que é o número de observações da dimensão , qual é a complexidade da solução para com LASSO, wrt e ? Acho que a resposta deve se referir a como uma iteração do LASSO é escalonada com esses parâmetros, e não …

10 optimization  lasso  regularization  time-complexity 

Eu enfrentei uma pergunta de entrevista para um trabalho em que o entrevistador me perguntou que seu é muito baixo (entre 5 a 10%) para um modelo de elasticidade de preço. Como você resolveria essa questão?R2R2R^2 Eu não conseguia pensar em outra coisa senão o fato de fazer o diagnóstico …

10 regression  self-study  theory 

Por que estou recebendo previsões diferentes para expansão polinomial manual e usando a polyfunção R ? set.seed(0) x <- rnorm(10) y <- runif(10) plot(x,y,ylim=c(-0.5,1.5)) grid() # xp is a grid variable for ploting xp <- seq(-3,3,by=0.01) x_exp <- data.frame(f1=x,f2=x^2) fit <- lm(y~.-1,data=x_exp) xp_exp <- data.frame(f1=xp,f2=xp^2) yp <- predict(fit,xp_exp) lines(xp,yp) # …

10 r  regression  polynomial 

Entendo a mecânica de calcular os pesos usando as pontuações de propensão : e aplicando os pesos em uma análise de regressão, e que os pesos servem para "controlar" ou desassociar os efeitos das covariáveis ​​nas populações dos grupos de tratamento e controle com a variável de resultado.p(xi)p(xi)p(x_i)wi,j=treatwi,j=control=1p(xi)=11−p(xi)wi,j=treat=1p(xi)wi,j=control=11−p(xi)\begin{align} w_{i, j={\rm …

10 intuition  weighted-regression  propensity-scores 

Como devo coletar amostras com eficiência da seguinte distribuição? x∼B(α,β), x>kx∼B(α,β), x>k x \sim B(\alpha, \beta),\space x > k Se não for muito grande, a amostragem por rejeição pode ser a melhor abordagem, mas não sei como proceder quando for grande. Talvez exista alguma aproximação assintótica que possa ser aplicada?kkkkkk

10 random-generation  beta-distribution  truncation 

Estou tentando testar a capacidade da floresta aleatória de classificar amostras entre 2 grupos; Existem 54 amostras e números variáveis ​​de variáveis ​​usadas para classificação. Fiquei me perguntando por que as estimativas out-of-bag (OOB) podem variar até 5% umas das outras, mesmo quando estou usando 50 mil árvores? Isso é …

10 machine-learning  random-forest 

Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso funciona …

10 machine-learning  lasso  regularization 

Estou tentando utilizar a regressão de RF para fazer previsões sobre o desempenho de uma fábrica de papel. Eu tenho dados minuto a minuto para as entradas (taxa e quantidade de polpa de madeira entrando etc ...), bem como para o desempenho da máquina (papel produzido, energia consumida pela máquina) …

10 time-series  forecasting  cross-validation  random-forest  autoregressive 

Pode qualquer função contínua em [a, b], onde aeb são números reais, ser aproximada ou arbitrariamente próxima da função (em alguma norma) pelos Processos Gaussianos (Regressão)?

10 gaussian-process  approximation 

Ao discutir as taxas de realização de tarefas, existe uma maneira de mostrar que 0 em 20 tentativas é "pior" que 0 em 10 tentativas?

10 probability  sampling 

Estou seguindo o tutorial do Tensorflow mnist ( https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/tutorials/mnist/mnist_softmax.py ). O tutorial usa tf.train.Optimizer.minimize(especificamente tf.train.GradientDescentOptimizer). Não vejo nenhum argumento sendo passado em lugar algum para definir gradientes. O fluxo tensor está usando diferenciação numérica por padrão? Existe uma maneira de passar em gradientes como você pode scipy.optimize.minimize?

10 python  optimization  tensorflow 

Eu vi essa notação para mínimos quadrados comuns aqui . minw∥Xw−y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 Eu nunca vi as barras duplas e as 2 na parte inferior. O que significam esses símbolos? Eles têm terminologia específica para eles?

10 regression  least-squares  linear-model  linear-algebra  notation 

Programei e desenvolvo testes. Depois de fazer uma alteração no meu código, executo meus testes. Às vezes eles conseguem e outras vezes fracassam. Antes de executar um teste, escrevo um número de 0,01 a 0,99 para creditar que o teste será bem-sucedido. Quero saber se estou melhorando para prever se …

10 forecasting  decision-theory  calibration  scoring-rules 

Estou trabalhando em uma rede de convolução para reconhecimento de imagens e estava pensando se poderia inserir imagens de tamanhos diferentes (embora não muito diferentes). Neste projeto: https://github.com/harvardnlp/im2markup Eles dizem: and group images of similar sizes to facilitate batching Portanto, mesmo após o pré-processamento, as imagens ainda têm tamanhos diferentes, …

10 neural-networks  conv-neural-network  computer-vision