Estatísticas e Big Data

Pelo que entendi, as redes neurais profundas estão realizando o "aprendizado de representação", colocando as camadas em conjunto. Isso permite aprender estruturas dimensionais muito altas nos recursos. Obviamente, é um modelo paramétrico com números fixos de parâmetros, portanto, possui a limitação usual de que a complexidade do modelo pode ser …

8 machine-learning  bayesian  nonparametric  deep-learning 

Eu sou bastante novo no reconhecimento de dígitos e notei que muitos tutoriais usam a classificação SVM, por exemplo: http://hanzratech.in/2015/02/24/handwritten-digit-recognition-using-opencv-sklearn-and-python.html http://scikit-learn.org/stable/auto_examples/classification/plot_digits_classification.html Gostaria de saber se existem benefícios (específicos do domínio) para essa ferramenta, em comparação com, por exemplo, Redes neurais de aprendizagem profunda Classificação baseada em k-means Obrigado por qualquer …

8 svm  deep-learning  k-means  pattern-recognition  image-processing 

Eu já me deparei com esse problema algumas vezes agora, com revisores solicitando mais justificativas para o uso de LMMs, testes tradicionais em vez de ou para além de LMMs, e tabelas completas de estimativas de parâmetros semelhantes ao que você reportaria com um modelo linear regular . No momento, …

8 mixed-model  lme4-nlme  reporting 

A BBC analisou mais dados do referendo do Brexit; o primeiro gráfico em seu artigo chamou minha atenção: Parecia estranho dividir o eixo x em 50%. Certamente isso deveria ter sido dividido na mediana dos dados? (Ou a média se os dados eram normalmente distribuídos; mas, olhando de soslaio, isso …

8 data-visualization  statistics-in-media 

Eu tenho duas variáveis ​​aleatórias que são independentes e identicamente distribuídas, por exemplo, :ϵ1, ϵ0 0∼iidGumbel ( μ , β)ϵ1,ϵ0∼iidGumbel(μ,β)\epsilon_{1}, \epsilon_{0} \overset{\text{iid}}{\sim} \text{Gumbel}(\mu,\beta) F( ϵ ) = exp( - exp( - ϵ - μβ) ) ,F(ϵ)=exp⁡(−exp⁡(−ϵ−μβ)),F(\epsilon) = \exp(-\exp(-\frac{\epsilon-\mu}{\beta})), f( ϵ ) = 1βexp( - ( ϵ - μβ+ exp( - …

8 probability  logistic  conditional-probability  conditional-expectation  gumbel 

De acordo com a página da Wikipedia de valor-p : Quando o valor p é calculado corretamente, este teste garante que a taxa de erro do tipo I seja no máximo αα\alpha . No entanto, mais abaixo na página, esta fórmula é fornecida: Pr(RejectH|H)=Pr(p≤α|H)=αPr(RejectH|H)=Pr(p≤α|H)=α\Pr(\mathrm{Reject}\; H|H) = \Pr(p \leq \alpha|H) = …

8 hypothesis-testing  p-value  type-i-and-ii-errors 

Estou um pouco confuso com a fórmula para calcular a covariância no processo gaussiano (a adição de variação sempre me confunde, pois nem sempre é explicitamente indicada). A origem da confusão é que as fórmulas fornecidas no processo de reconhecimento de padrões e aprendizado de máquina por Bishop e Gaussian …

8 machine-learning  covariance  covariance-matrix  kernel-trick  gaussian-process 

Estou bastante confuso sobre como posso calcular os valores de AP ou mAP, pois parece haver alguns métodos diferentes. Eu quero especificamente obter os valores de AP / mAP para detecção de objetos. Tudo o que tenho certeza é: Rechamada = TP / (TP + FN), Precisão = TP / …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection 

Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o conjunto de treinamento …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

especialistas! Talvez você saiba como calcular o intervalo de confiança para xgboost? A fórmula clássica com distribuição t não pode ajudar, porque meus dados não são normalmente distribuídos. Ou não importa? Se você sugerir alguma literatura, será muito útil, mas as abordagens em R e Python (no contexto da biblioteca …

8 confidence-interval  xgboost 

Eu queria estimar o intervalo de confiança para o desvio padrão para alguns dados. O código R tem a seguinte aparência: library(boot) sd_boot <- function (x, ind) { res <- sd(x$ReadyChange[ind], na.rm = TRUE) return(res) } data_boot <- boot::boot(data, statistic = sd_boot, R = 10000) plot(data_boot) E eu tenho o …

8 r  confidence-interval  standard-deviation  bootstrap 

Ao executar a análise exploratória dos dados, frequentemente imprimirei os gráficos e escreverei comentários / anotações etc. As pessoas têm sugestões para uma melhor metodologia eletrônica? Estou especialmente interessado em python / R. Estou procurando por algo 'rápido (e sujo)' que não diminua o trabalho exploratório, mas ajude a registrar …

8 data-visualization  eda  project-management 

Eu vi a seguinte justificativa para o teste de Wald da hipótese nula para um parâmetro escalar . Quando θ n é o MTE para θ estimada a partir de uma amostra independente de tamanho n , sob a hipótese nula temos √ θH0:θ=θ0H0:θ=θ0H_0: \theta = \theta_0θθ\thetaθ^nθ^n\hat{\theta}_nθθ\thetannnna distribuição comon→∞, ondei(θ0)é …

8 hypothesis-testing  maximum-likelihood 

Eu executei o laço e, em seguida, validação cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Quando plogo cv, obtenho o seguinte: Notei também que recebo 2 lambdas diferentes: lambda.minelambda.1se Qual é a diferença entre essas lambdas? O que posso entender da plotagem acima em geral (sobre o que são esses intervalos …

8 r  cross-validation  interpretation  lasso 

Novo no aprendizado estatístico e de máquina e em alguns cursos on-line. Estou tentando entender a regressão logística com mais detalhes e notei uma diferença na fórmula entre o curso de Andrew Ng e o curso de aprendizagem estatística de Stanford. Abaixo, eu posto uma imagem de link nas duas …

8 regression  machine-learning  logistic